AI انفرنس نیٹ ورکس کے لیے InfiniBand بمقابلہ RoCE

منتخب کریں۔انفینی بینڈجب آپ کا اندازہ کام کا بوجھ زندہ رہتا ہے یا متوقع دم میں تاخیر سے مر جاتا ہے، اور انتخاب کریں۔RoCE(آر ڈی ایم اے اوور کنورجڈ ایتھرنیٹ) جب آپ کسی ایتھرنیٹ فیبرک پر RDMA-کلاس کارکردگی چاہتے ہیں تو آپ اس ٹیم کے ساتھ اسکیل، شیئر اور کام کرسکتے ہیں جو آپ کے پاس پہلے سے موجود ہے۔ ہر جگہ کوئی بھی آپشن نہیں جیتتا۔ صحیح کال کا انحصار آپ کے انفرنس پیٹرن، آپ کے p99 اور p999 لیٹینسی اہداف، GPU اسکیل، بجٹ، اور آپ کی ٹیم میں اصل میں کتنی نقصان دہ-ایتھرنیٹ ٹیوننگ کی مہارت پر منحصر ہے۔

نیٹ ورک انفرنس ٹیموں کی توقع سے زیادہ کیوں اہمیت رکھتا ہے۔

سالوں سے، تخمینہ کو GPU کہانی کے آسان نصف کے طور پر سمجھا جاتا تھا: ایک واحد نوڈ پر بھرا ہوا ماڈل، درخواستیں آزادانہ طور پر پیش کی جاتی ہیں، بہت کم مشرق-مغربی ٹریفک۔ وہ تصویر اب پرانی ہو چکی ہے۔ جدید اندازہ تیزی سے تقسیم ہو رہا ہے، اور کئی نمونے تانے بانے پر حقیقی دباؤ ڈالتے ہیں۔

• ٹینسر متوازیGPUs میں ایک ہی پرت کو تقسیم کرتا ہے، لہذا ہر ٹوکن مرحلہ ان کے درمیان تمام-کم کرنے یا تمام-جمع کرنے کی کارروائیوں کو متحرک کرتا ہے۔ یہ متواتر، تاخیر سے-حساس، کراس-GPU ٹریفک ہے جسے GPUs انتظار کے دوران بلاک کر دیتے ہیں۔
• پائپ لائن متوازیایک مرحلے سے دوسرے مرحلے تک ہینڈ ایکٹیویشنز، اکثر نوڈس کے پار، ہر فارورڈ پاس میں کراس-نوڈ انحصار شامل کرتے ہیں۔
• الگ الگ پری فل اور ڈی کوڈکمپیوٹ-ہیوی پری فل فیز کو لیٹینسی-حساس ڈی کوڈ فیز سے الگ کرتا ہے، پھر KV کیشے کو ان کے درمیان منتقل کرتا ہے۔ وہ منتقلیاں بڑی اور پھٹی ہوئی ہیں، اور کوئی بھی تاخیر براہ راست سست وقت-سے-فرسٹ-ٹوکن اور انٹر-ٹوکن لیٹینسی کے طور پر ظاہر ہوتی ہے۔
• بازیافت-بڑھی ہوئی نسل (RAG)مشرق-مغربی ٹریفک کو ویکٹر اور تلاش کی خدمات میں شامل کرتا ہے۔ یہ اجتماعی کارروائیوں کے مقابلے میں عام طور پر کم تاخیر-اہم ہوتا ہے، لیکن یہ اب بھی تانے بانے کو لوڈ کرتا ہے، خاص طور پر اعلی استفسار والیوم پر۔
• ملٹی-کرایہ دار کی خدمتبہت سے ماڈلز اور صارفین کو ایک ہی کپڑے پر رکھتا ہے، جہاں مائکرو برسٹ اور شور-پڑوسی اثرات غالب خطرہ بن جاتے ہیں۔

جب نیٹ ورک رکاوٹ بنتا ہے تو علامات مہنگی ہوتی ہیں: زیادہ وقت-سے-پہلے-ٹوکن، ڈیٹا کا انتظار کرتے ہوئے GPU کا رک جانا، تھرو پٹ جو پھٹنے سے گر جاتا ہے، اور غیر مستحکم p95 اور p99۔ اور یہ وہ حصہ ہے جو بینچ مارکس کو بڑھاتا ہے: اوسط تاخیر اس سب کو چھپا دیتی ہے۔ پیداوار کا اندازہ دم پر لگایا جاتا ہے، مطلب پر نہیں۔

InfiniBand بمقابلہ RoCE: AI انفرنس کے لیے خلاصہ ٹیبل

InfiniBand کیا ہے؟

InfiniBand ایک مقصد سے بنایا ہوا نیٹ ورک فیبرک ہے جسے شروع سے ہی کم تاخیر، زیادہ تھرو پٹ، اور بے نقصان مواصلات کے لیے ڈیزائن کیا گیا ہے۔ یہ ایتھرنیٹ کا تیز ذائقہ نہیں ہے۔ یہ اپنے میزبان چینل اڈاپٹر، سوئچز، سب نیٹ مینیجر، کیبلنگ ایکو سسٹم، اور کنجشن-کنٹرول ماڈل کے ساتھ آتا ہے۔ اس کی متعین قدر تعییناتی رویہ ہے: بہت سے GPUs سخت وقت کے تقاضوں کے ساتھ بات چیت کر سکتے ہیں، اور تانے بانے مستقل طور پر برتاؤ کرتے رہتے ہیں یہاں تک کہ جب اجتماعی ٹریفک بھاری ہو۔

جدید AI-اورینٹڈ InfiniBand پلیٹ فارم اس بنیاد کو وسعت دیتے ہیں جن کا مقصد بڑے GPU کلسٹرز پر ہوتا ہے۔ NVIDIA کی کوانٹم InfiniBand لائن، مثال کے طور پر، اضافہ کرتی ہے۔انکولی روٹنگ، ان-نیٹ ورک کمپیوٹنگ، اور ٹیلی میٹری-بیسڈ کنجشن کنٹرول، جو تانے بانے کو ٹریفک کو ذہانت سے پھیلانے اور ایک کرایہ دار کے بوجھ کو دوسرے سے الگ کرنے میں مدد کرتا ہے۔ اندازہ کے لیے، InfiniBand اپنی جگہ اس وقت کماتا ہے جب کام کا بوجھ ہلچل کو برداشت نہیں کر سکتا یا جب متعدد GPU نوڈس کو ڈیٹا کا فوری اور مستقل تبادلہ کرنا چاہیے۔

تجارتی-آف لاگت، ایکو سسٹم کا ارتکاز، اور آپریشنل اسپیشلائزیشن ہیں۔ ایک وقف شدہ InfiniBand فیبرک کا مطلب ہے وقف شدہ سوئچز، اڈاپٹر، کیبلز یا آپٹیکل ماڈیولز، اور انجینئرز جو InfiniBand فیبرک مینجمنٹ کے ساتھ آرام دہ ہیں۔ ایک ایسی تنظیم کے لیے جو پہلے سے ہی بڑی ایتھرنیٹ اسٹیٹس چلا رہی ہے، علیحدہ فیبرک پر بولٹ لگانے سے حصولی کی پیچیدگی، اسپیئر-پارٹس کی منصوبہ بندی، اور اوور ہیڈ کی نگرانی ہوتی ہے۔

RoCE کیا ہے (RDMA over Converged Ethernet)؟

RoCE، RDMA، ڈائریکٹ میموری-سے-میموری ڈیٹا موومنٹ کو کم CPU اوور ہیڈ کے ساتھ، ایتھرنیٹ نیٹ ورکس پر لاتا ہے۔ RoCEv2، جدید ڈیٹا سینٹرز میں استعمال ہونے والا ورژن، پرت 3 آئی پی نیٹ ورکس میں روٹ ایبل ہے اور اسےانفینی بینڈ ٹریڈ ایسوسی ایشن. یہی روٹیبلٹی RoCE کو قدرتی طور پر ایتھرنیٹ لیف-اسپائن ڈیزائنز میں فٹ ہونے دیتی ہے جب کہ واقف NICs، سوئچز، آپٹکس، اور مانیٹرنگ ٹولز کا دوبارہ استعمال کرتے ہوئے

پکڑنے کی بات یہ ہے کہ RDMA ٹرانسپورٹ تقریباً-نقصان کے بغیر نیٹ ورک کا حامل ہے۔ ایک پیکٹ چھوڑیں اور نقل و حمل دوبارہ منتقلی کے رویے پر واپس آجائے جو دم کی تاخیر کو برباد کر دیتا ہے۔ لہذا RoCE کو بغیر کسی نقصان کے تانے بانے کی طرح برتاؤ کرنے کے لیے اس کے نیچے ایتھرنیٹ کی ضرورت ہے، اور یہ خاص طور پر دو میکانزم کی محتاط ترتیب پر منحصر ہے:ترجیحی بہاؤ کنٹرول (IEEE 802.1Qbb)، جو ڈراپ کو روکنے کے لیے ایک ہی ٹریفک کلاس کو روکتا ہے، اورواضح بھیڑ کی اطلاع (ECN)، جو جلدی بھیڑ کا اشارہ کرتا ہے لہذا بھیجنے والے بفرز کے اوور فلو سے پہلے سست ہوجاتے ہیں۔ اس قطار کے انتظام، بفر ایلوکیشن، اور QoS میپنگ میں شامل کریں، اور یہ واضح ہو جاتا ہے کہ اعلی-کارکردگی RoCE عام ایتھرنیٹ نہیں ہے۔

اچھی طرح سے، RoCE پروڈکشن انفرنس سروسز کی ایک وسیع رینج کے لیے کافی تاخیر اور تھرو پٹ فراہم کرتا ہے، اور بہت سے انفرنس ورک بوجھ تقسیم شدہ تربیت کے مقابلے میں کم مضبوطی سے ہم آہنگ ہوتے ہیں، جو RoCE کے حق میں کام کرتی ہے۔ خراب طریقے سے کیا گیا ہے، یہ پیکٹ کا نقصان، ہیڈ-لائن بلاک کرنے، بھیڑ پھیلانے، اور غیر مستحکم ٹیل پیدا کرتا ہے، یہ سب براہ راست خدمت کے معیار میں کمی کا باعث بنتے ہیں۔

InfiniBand بمقابلہ RoCE لیٹنسی: p99 inference کے لیے کون سا بہتر ہے؟

دونوں کپڑے اعلی-بینڈوڈتھ، کم-لیٹنسی نیٹ ورکنگ فراہم کر سکتے ہیں۔ وہ اس میں مختلف ہیں کہ وہ وہاں کیسے پہنچتے ہیں۔ InfiniBand تعمیر کے لحاظ سے تعیین پسند ہے، اس لیے مخلوط بوجھ کے باوجود بھی جٹر کم رہتا ہے۔ RoCE بہت سے کام کے بوجھ کے لیے اس کا مقابلہ کر سکتا ہے، لیکن نتیجہ ایتھرنیٹ کے تانے بانے پر منحصر ہے اور اسے کتنی اچھی طرح سے ٹیون کیا گیا ہے۔

تعیناتی کے نقطہ نظر سے، پیداوار میں اصل مسئلہ شاذ و نادر ہی چوٹی بینڈوتھ ہے۔ یہ مخلوط، پھٹی ہوئی، کثیر-کرایہ دار ٹریفک کے تحت پریشان ہے۔ ایک RoCE تانے بانے جو صاف ستھرے، iperf-سٹائل کے تھرو پٹ ٹیسٹ کو حاصل کرتا ہے اب بھی اپنے p99 ہدف سے اس لمحے محروم رہ سکتا ہے جب مائیکرو برسٹ اور تنازعہ تصویر میں داخل ہوتا ہے۔ لیب بینچ مارک اور پروڈکشن ایس ایل اے کے درمیان وہ فرق ہے جہاں زیادہ تر حیرتیں رہتی ہیں۔

InfiniBand کا کنارہ ہوتا ہے جب:

• سروس میں سخت p99 یا p999 تاخیر کے اہداف ہیں۔
• انفرنس ٹینسر یا پائپ لائن کے متوازی کے ساتھ متعدد GPU نوڈس پر پھیلا ہوا ہے، یا الگ الگ پری فل اور ڈی کوڈ کا استعمال کرتا ہے۔
• GPU کا استعمال نیٹ ورک میں تاخیر کے لیے انتہائی حساس ہے، اس لیے اسٹالز مہنگے ہیں۔
• کلسٹر بہت کم تعداد میں اعلی-ترجیحی کام کا بوجھ چلاتا ہے جہاں پیشین گوئی لچک سے زیادہ ہوتی ہے۔

RoCE عام طور پر کافی اچھا ہوتا ہے جب:

• درخواستیں زیادہ تر آزاد ہیں، یا جوڑے ڈھیلے ہیں۔
• کام ایک نوڈ یا نوڈس کی ایک چھوٹی تعداد کے اندر چلتا ہے۔
• بیچ تھرو پٹ انتہائی-کم ٹیل لیٹینسی سے زیادہ اہمیت رکھتا ہے۔
• ٹیم پہلے سے ہی ایتھرنیٹ چلاتی ہے، اور قیمت یا وینڈر لچک ایک ترجیح ہے۔
• کلسٹر متعدد کرایہ داروں یا مخلوط کام کے بوجھ کو سپورٹ کرتا ہے۔

RoCE بمقابلہ InfiniBand لاگت: اصل میں TCO کو کیا چلاتا ہے؟

RoCE کو اکثر سستا آپشن کہا جاتا ہے، لیکن سوئچ کی قیمت تصویر کا ایک چھوٹا سا حصہ ہے۔ ایک حقیقت پسندانہ موازنہ پورے اسٹیک کو دیکھتا ہے: نیٹ ورک اڈاپٹر یا HCAs، سوئچز، آپٹیکل ماڈیولز، DAC، AOC، اور فائبر کیبلنگ، ریک ٹوپولوجی، پاور اور کولنگ، نیٹ ورک آپریٹنگ سسٹم، مانیٹرنگ اور ٹیلی میٹری، انجینئرنگ ٹائم، اسپیئر پارٹس، وینڈر سپورٹ، اور 400G یا 400G کا راستہ۔

InfiniBand عام طور پر ایک اعلی قیمت کا حامل ہوتا ہے کیونکہ اس کے لیے ایک مخصوص فیبرک اور خصوصی اجزاء کی ضرورت ہوتی ہے۔ ایسے ماحول میں جہاں تعیین پسندانہ رویہ اولین ترجیح ہے، یہ ٹیوننگ اور ٹربل شوٹنگ کی کوششوں کو کم کر سکتا ہے جس کا ایک لازوال ایتھرنیٹ فیبرک مطالبہ کرتا ہے۔ RoCE ہارڈ ویئر کی لاگت کو کم کرتا ہے جب ایک موجودہ ایتھرنیٹ اسٹیٹ، صحیح ڈیٹا سینٹر برجنگ سپورٹ کے ساتھ، دوبارہ استعمال کیا جا سکتا ہے، لیکن یہ بے ترتیب تانے بانے کو ڈیزائن کرنے، تصدیق کرنے، نگرانی کرنے اور خرابیوں کا ازالہ کرنے میں کوششوں کو تبدیل کرتا ہے۔ کم- لاگت والا RoCE ڈیزائن تیزی سے مہنگا ہو جاتا ہے اگر یہ غیر مستحکم تاخیر اور بار بار فائر فائٹنگ کا سبب بنتا ہے۔

لاگت اور خطرہ جسمانی تہہ پر مرتکز ہوتے ہیں جیسے جیسے رفتار بڑھتی ہے۔ 400G اور 800G میں، آپٹکس بل اور فیل موڈ دونوں پر حاوی ہیں۔ سب سے تیز-اسپیڈ پورٹس پر اترتے ہیں۔QSFP-DD یا موازنہ فارم کے عوامل، اور دائیں سے مماثل ہے۔سنگل-موڈ یا ملٹی موڈ آپٹکسآپ کی حقیقی رسائی ایک ایسے کپڑے پر زیادہ خرچ کرنے سے بچنے کے آسان ترین طریقوں میں سے ایک ہے جسے طویل-دوری کے ماڈیولز کی ضرورت نہیں ہے۔

دو ٹوک الفاظ میں: اگر آپ کی ٹیم کے پاس بے نقصان-ایتھرنیٹ مہارت کی کمی ہے تو RoCE سستا آپشن نہیں ہے۔ ہارڈ ویئر پر ہونے والی بچت کو فیبرک کو مستحکم رکھنے کی انجینئرنگ لاگت سے تیزی سے کھایا جا سکتا ہے۔

اسکیل ایبلٹی اور آپریشنز

اسکیل ایبلٹی پورٹ کی گنتی سے زیادہ ہے۔ اس میں یہ شامل ہے کہ جب کوئی چیز ناکام ہوجاتی ہے تو فیبرک کو کتنی آسانی سے تعینات کیا جاتا ہے، اس کی نگرانی کی جاتی ہے، اسے پھیلایا جاتا ہے اور بازیافت کیا جاتا ہے۔

InfiniBand مضبوط ہوتا ہے جب کلسٹر کو پہلے دن سے ہی ایک سرشار اعلی-پرفارمنس فیبرک کے طور پر ڈیزائن کیا جاتا ہے۔ یہ پیمانے پر مستقل رویہ فراہم کرتا ہے، لیکن یہ InfiniBand-مخصوص ٹولنگ کی توقع کرتا ہے، جیسا کہ سب نیٹ مینیجر اور متحد فیبرک مینجمنٹ، اور عملہ جو InfiniBand کے تصورات سے راضی ہے۔ یہ GPU ورک بوجھ کے ارد گرد بنائے گئے سنٹرلائزڈ AI کلسٹرز کے لیے قدرتی فٹ بناتا ہے۔

ایتھرنیٹ ڈیٹا سینٹر کے ڈیزائن میں RoCE سلاٹ: لیف-سپائن ٹوپولاجیز، آئی پی روٹنگ، ای سی ایم پی، اور مانوس نگرانی کے طریقے۔ یہی وجہ ہے کہ یہ کلاؤڈ-سٹائل اور ملٹی-کرایہ دار GPU انفراسٹرکچر کو اپیل کرتا ہے۔ یہ جس نظم و ضبط کا تقاضا کرتا ہے وہ مستقل مزاجی ہے۔ پی ایف سی، ای سی این، کیو ایس، بفر مینجمنٹ، اور کنجشن کنٹرول کو پورے راستے میں مربوط طریقے سے ڈیزائن کرنا ہوگا، کیونکہ فیبرک کے ایک کونے میں ایک چھوٹی سی غلط کنفیگریشن ایک ہی وقت میں بہت سے کام کے بوجھ کو پھیل سکتی ہے اور ان کو گھٹا سکتی ہے۔ جسمانی پرت کو بھی صاف پیمانے پر پیمانہ کرنا پڑتا ہے۔ اعلی-کثافتایم پی او اور ایم ٹی پی ٹرنک اور بریک آؤٹ کیبلنگہر توسیع کو کیبلنگ پہیلی میں تبدیل کرنے کے بجائے بڑھتے ہوئے پتی-ریڑھ کی ہڈی کے تانے بانے کو قابل انتظام رکھتا ہے۔

عکس-تصویر کا نقطہ بیان کرنے کے قابل ہے: InfiniBand کا جواز پیش کرنا مشکل ہے جب قیاس زیادہ تر ایک ہی نوڈ کے اندر رہتا ہے اور فیبرک کو بمشکل استعمال کیا جاتا ہے۔

ہر انفرنس ورک بوجھ کے لیے کون سا نیٹ ورک

جب RoCE کافی اچھا ہے، اور جب یہ خطرناک ہو جاتا ہے۔

RoCE آزادانہ یا ڈھیلے طریقے سے جوڑے جانے والی درخواستوں، تھرو پٹ-اورینٹڈ بیچ ورک، اور ملٹی-کرایہ داروں کے کلسٹرز کے لیے کافی ہے جہاں آپ تنہائی کو ٹیون کر سکتے ہیں، خاص طور پر جب ٹیم ڈیٹا سینٹر برجنگ ایتھرنیٹ میں روانی سے کام لے۔ یہ مخصوص، قابل شناخت طریقوں سے خطرناک ہو جاتا ہے:

• پی ایف سی کا طوفان۔توقف کے فریم اوپر کی طرف پھیلتے ہیں اور ٹریفک کو منجمد کرتے ہیں جس کا اصل بھیڑ سے کوئی تعلق نہیں تھا۔
• لائن بلاک کرنے کا-سر-۔موٹے ترجیحی نقشہ سازی سے ایک بھیڑ والے طبقے کو قطار میں شریک دوسرے کو روکنے کی اجازت ملتی ہے۔
• ECN غلط فہمی۔بہت دیر سے نشان زد کریں اور آپ کو قطرے ملیں گے۔ بہت جارحانہ طور پر نشان زد کریں اور آپ غیر ضروری طور پر تھرو پٹ کو تھروٹل کرتے ہیں۔
• مائیکرو برسٹ بھیڑ۔سب-سیکنڈ برسٹ اوور فلو بفرز لیکن ایک-سیکنڈ ریزولوشن پر ان نمونوں کی نگرانی کے لیے پوشیدہ رہیں۔
• متضاد ترتیب۔پتے اور ریڑھ کی ہڈی میں غیر مماثل ترتیبات مقامی رہنے کے بجائے بھیڑ پھیلانے کا سبب بنتی ہیں۔

ان میں سے کوئی بھی وجہ RoCE سے بچنے کی نہیں ہے۔ وہ بغیر کسی نقصان کے تانے بانے کو ترتیب سے آخر تک ڈیزائن کرنے اور اسکیل کرنے سے پہلے ٹھیک-دانے دار، مائیکرو برسٹ- آگاہ ٹیلی میٹری میں سرمایہ کاری کرنے کی وجوہات ہیں۔

جب انفینی بینڈ اس کے قابل ہے، اور جب آپ ضرورت سے زیادہ خرید رہے ہیں۔

InfiniBand سخت p99 اور p999 اہداف، مضبوطی سے جوڑے ہوئے ملٹی-نوڈ سرونگ، اور مشن-اہم کام کے بوجھ کے لیے اپنے پریمیم کے قابل ہے جہاں SLA جرمانے زیادہ ہیں، خاص طور پر فیبرک کے ارد گرد ڈیزائن کیے گئے ایک سرشار GPU کلسٹر پر۔ آپ ممکنہ طور پر اس وقت ضرورت سے زیادہ خریداری کر رہے ہیں جب تخمینہ نوڈ کے اندر رہتا ہے، جب کام تھرو پٹ-اورینٹڈ بیچ ہوتا ہے، جب آپ کو اسٹوریج، مینجمنٹ، اور ملٹی-کرایہ دار کلاؤڈ ٹریفک کو لے جانے کے لیے ایک ہی کپڑے کی ضرورت ہوتی ہے، یا جب آپ کے پاس InfiniBand کو اچھی طرح سے چلانے کی آپریشنل صلاحیت کی کمی ہوتی ہے۔

وہ اخراجات جو سوئچ کوٹ پر ظاہر نہیں ہوتے ہیں وہ حقیقی ہیں: ایکو سسٹم کا ارتکاز، آپ کے ایتھرنیٹ نیٹ ورک کے متوازی طور پر دوسرا فیبرک چلانے کا اوور ہیڈ، اور اسپیئرز، آپٹکس اور مانیٹرنگ کے لیے الگ منصوبہ بندی۔

منتخب کرنے سے پہلے InfiniBand بمقابلہ RoCE کی جانچ کیسے کریں۔

پروٹوکول کی ساکھ یا مخصوص شیٹ پر فیصلہ نہ کریں۔ ایک ایسے معیار کا فیصلہ کریں جو پیداوار سے ملتا جلتا ہو۔ ایک عملی ترتیب:

• دم میں SLA کی وضاحت کریں۔p50، p95، p99، اور p999 کو وقت کے لیے--پہلے-ٹوکن اور انٹر-ٹوکن لیٹینسی پر سیٹ کریں، نہ صرف اوسط۔
• حقیقت پسندانہ ٹریفک کو دوبارہ چلائیں۔ایک کلین اسٹریم کے بجائے برسٹی، مخلوط ماڈل سائز اور ملٹی-کرایہ دار کنکرنسی کا استعمال کریں۔
• بھیڑ کو لوڈ کریں۔تانے بانے کو اس وقت تک دھکیلیں جب تک کہ یہ حقیقی طور پر متنازعہ نہ ہو جائے، پھر GPU کے استعمال کی پیمائش کریں۔ اگر GPUs نیٹ ورک پر رک رہے ہیں، تو فیبرک آپ کی رکاوٹ ہے۔
• صحیح کاؤنٹرز دیکھیں۔توقف کے فریموں، ECN مارکس، پیکٹ ڈراپس، ری ٹرانسمیشنز، پورٹ ایرر کاؤنٹرز، اور 400G اور 800G پر، FEC کی خرابیوں کو ٹریک کریں۔
• جسمانی پرت کی توثیق کریں۔صاف، صحیح طریقے سے نصب فائبر کے معاملات؛محتاط فائبر کی تنصیبوقفے وقفے سے روکتا ہے، مشکل{0}}نقصانوں کی تشخیص کرنے میں-ہائی-اسپیڈ لنکس کا خطرہ ہوتا ہے۔

اگر RoCE اپنے p99 ہدف کو حقیقت پسندانہ، متنازعہ، کثیر-کرایہ داروں کے بوجھ کے تحت مستحکم کاؤنٹرز کے ساتھ رکھتا ہے، تو یہ ایک مضبوط اور قیمت-موثر انتخاب ہے۔ اگر یہ صرف کلین سنگل-سٹریم ٹیسٹ پاس کرتا ہے، تو آپ نے ابھی تک اس چیز کا تجربہ نہیں کیا ہے جو آپ کے SLA کا فیصلہ کرتی ہے۔

سے بچنے کے لئے عام غلطیاں

• فرض کریں کہ تمام قیاس ہلکا نیٹ ورکنگ ہے۔کچھ اندازہ سادہ اور آزاد ہوتا ہے۔ کچھ تقسیم شدہ، لیٹنسی-حساس، اور بینڈوتھ-بھوک لگی ہے۔ اس سب کو آسان سمجھنا انڈر بلٹ انفراسٹرکچر کی طرف جاتا ہے۔
• صرف اوسط تاخیر کا موازنہ کرنا۔پیداوار کا اندازہ دم پر منحصر ہے۔ ہمیشہ حقیقت پسندانہ ٹریفک کے تحت p95، p99، اور p999 کا جائزہ لیں۔
• RoCE کا بطور پلگ-اور-ایتھرنیٹ چلائیں۔اعلی-کارکردگی RoCE کو جان بوجھ کر بے نقصان-فیبرک ڈیزائن، کنجشن کنٹرول، اور مسلسل مشاہدے کی ضرورت ہوتی ہے۔
• InfiniBand کا انتخاب صرف اس لیے کرنا کہ یہ تیز تر ہے۔بہترین کارکردگی کا آپشن ہمیشہ بہترین کاروباری آپشن نہیں ہوتا ہے۔ اگر کام کے بوجھ کو تعییناتی رویے کی ضرورت نہیں ہے، تو RoCE بہتر قیمت فراہم کر سکتا ہے۔
• جسمانی تہہ کو نظر انداز کرنا۔400G اور 800G میں، کیبلز، آپٹکس، کنیکٹرز، اور فائبر کی صفائی وقفے وقفے سے غلطیاں پیدا کرتی ہے جو تلاش کرنا مشکل اور ٹھیک کرنا مہنگا ہوتا ہے۔

نیچے کی لکیر

AI تخمینہ کے لیے، InfiniBand اور RoCE دونوں درست ہیں، اور وہ مختلف ترجیحات کو پورا کرتے ہیں۔ InfiniBand کا انتخاب کریں جب آپ کو حقیقی-وقت، SLA-حساس، یا مضبوطی سے جوڑے ہوئے تخمینے کے لیے انتہائی مستقل کم-لیٹنسی نیٹ ورک کی ضرورت ہو۔ جب آپ کو قابل توسیع، ایتھرنیٹ-بیسڈ، لاگت-بیچ انفرنس کے لیے موثر فیبرک، ملٹی-کرایہ دار GPU سروسز، RAG ورک بوجھ، اور لچکدار انفراسٹرکچر کی ضرورت ہو تو RoCE کا انتخاب کریں۔

فیصلہ کام کے بوجھ، تاخیر کے ہدف، کلسٹر اسکیل، آپ کی آپریشنز کی صلاحیت، اور اپ گریڈ روڈ میپ سے شروع ہونا چاہیے، پروٹوکول سے نہیں۔ اگر آپ کے کلسٹر کو بھاری بوجھ کے تحت سخت p99 رکھنا ضروری ہے، تو InfiniBand سنجیدگی سے غور کا مستحق ہے۔ اگر آپ کا مقصد ایک ایتھرنیٹ ڈیٹا سینٹر میں معاشی طور پر اندازہ لگانا ہے، تو RoCE عام طور پر زیادہ عملی راستہ ہوتا ہے۔ کسی بھی طرح سے، پیداوار کے تحت بینچ مارک-جیسے کہ آپ کمٹمنٹ سے پہلے لوڈ کریں۔