AI کلسٹر نیٹ ورک ڈیزائن: اسپائن-لیف، RoCE اور NICs

AI کلسٹر نیٹ ورک ڈیزائن GPU سرور NICs، لیف-اسپائن بینڈوڈتھ، اوور سبسکرپشن ریشو، RoCE سیٹنگز، آپٹکس اور کیبلنگ کو سائز دینے کا عمل ہے لہذا تقسیم شدہ ٹریننگ ٹریفک کلسٹر اسکیلز کے طور پر قابل قیاس رہتا ہے۔ ان میں سے کوئی بھی غلط ہو جائے اور نیٹ ورک - نہ کہ GPU - رکاوٹ بن جائے۔

AI کلسٹر نیٹ ورکنگ کیوں مختلف ہے۔

ایک روایتی انٹرپرائز ڈیٹا سینٹر میں، نیٹ ورک شمالی-جنوبی صارف ٹریفک، اسٹوریج تک رسائی، ورچوئلائزیشن اور انتظام کے مرکب کو ہینڈل کرتا ہے۔ مشرق-مغربی ٹریفک موجود ہے لیکن شاذ و نادر ہی غالب بوجھ ہے۔ AI کلسٹر میں، صورت حال پلٹ جاتی ہے۔ GPU سرورز تقسیم شدہ ٹریننگ ایکسچینج گریڈینٹ چلاتے ہیں اور کام کے ہر مرحلے کے دوران پیرامیٹرز کو ہم آہنگ کرتے ہیں۔ یہ مواصلات حساب کا حصہ ہے، اس کا کوئی ضمنی اثر نہیں۔

اگر ایک $30,000 GPU تمام-کارروائیوں کو کم کرنے کے دوران نیٹ ورک پر انتظار کرنے میں اپنا 30% وقت صرف کرتا ہے، تو کلسٹر بیکار بیٹھنے کے لیے اپنی کمپیوٹ صلاحیت کے 30% کے لیے مؤثر طریقے سے ادائیگی کرتا ہے۔ یہی معاشی وجہ ہے کہ AI نیٹ ورکنگ کو بہت زیادہ توجہ ملتی ہے۔

کام کے بوجھ کی تین خصوصیات ڈیزائن کو آگے بڑھاتی ہیں:

• پھٹی ہوئی مشرقی-مغربی ٹریفک۔اجتماعی مواصلاتی کارروائیاں جیسے سبھی-کم کرنا، سبھی-جمع اور کم کرنا-سکیٹر بیک وقت کئی نوڈس میں ہم آہنگی پیدا کرتے ہیں۔
• ٹیل-دیرتا کی حساسیت۔ایک سست نوڈ پورے تربیتی مرحلے میں تاخیر کرتا ہے۔ متوقع تاخیر اوسط تاخیر سے زیادہ اہمیت رکھتی ہے۔
• بڑھوتری-کی پیمائش کریں۔کلسٹر جو 32 GPUs سے شروع ہوتے ہیں اکثر 18 مہینوں میں 256 یا 1,024 تک بڑھ جاتے ہیں۔ تانے بانے کو دوبارہ ڈیزائن کیے بغیر پیمانہ ہونا چاہیے۔

کیوں ریڑھ کی ہڈی-لیف AI کلسٹرز میں فٹ بیٹھتا ہے۔

ریڑھ کی ہڈی-لیف ہائپر اسکیل ڈیٹا سینٹرز کے لیے معیاری تانے بانے ہے کیونکہ یہ ہر سرور-سے-سرور کے راستے کو ایک ہی ہاپ گنتی اور ایک ہی نظریاتی بینڈوتھ فراہم کرتا ہے۔ AI کام کے بوجھ کے لیے، یہ یکسانیت براہ راست تربیت کے مزید متوقع اوقات میں ترجمہ کرتی ہے۔

ایک ریڑھ کی ہڈی-لیف ٹوپولوجی میں، GPU سرورز لیف سوئچ سے جڑتے ہیں، اور ہر پتی ہر ریڑھ کی ہڈی سے جڑ جاتی ہے۔ کوئی بھی GPU-سے-GPU مواصلات بالکل ایک پتی، ایک ریڑھ کی ہڈی، اور ایک اور پتی کو عبور کرتا ہے۔ متغیر لیٹنسی یا چوک پوائنٹس کو متعارف کرانے والی کوئی جمع تہیں نہیں ہیں۔

متوقع تاخیر

مساوی-کاسٹ ملٹی-پاتھ (ECMP) روٹنگ اسپائن سوئچز کے درمیان بہاؤ پھیلاتا ہے۔ جب انکولی روٹنگ یا ڈائنامک لوڈ بیلنسنگ کے ساتھ صحیح طریقے سے ترتیب دیا جاتا ہے، تو یہ ہیش کے تصادم کو روکتا ہے جس کی وجہ سے کچھ بہاؤ دوسروں کے مقابلے میں بہت سست ہوتے ہیں

ہائی بائیسیکشن بینڈوتھ

بائیسیکشن بینڈوڈتھ کلسٹر کے کسی بھی دو برابر حصوں کے درمیان دستیاب تھرو پٹ ہے۔ AI ٹریننگ نان-بلاکنگ یا اس کے قریب-غیر-بلاکنگ ڈیزائن سے فائدہ اٹھاتی ہے جہاں لیف-سے-ریڑھ کی ہڈی کی اپلنک کی گنجائش سرورز کا سامنا کرنے والی ڈاؤن لنک کی گنجائش کے برابر یا تقریباً برابر ہوتی ہے۔ IETF ان تصورات کی وضاحت اور بحث کرتا ہے۔آر ایف سی 7938، جو BGP-بڑے پیمانے پر ڈیٹا سینٹرز میں بڑے پیمانے پر استعمال ہونے والے روٹڈ Clos کپڑے کا احاطہ کرتا ہے۔

آسان پیمانہ-باہر

مزید سرورز شامل کرنے کے لیے مزید پتے شامل کریں۔ مزید بائسیکشن بینڈوڈتھ شامل کرنے کے لیے مزید ریڑھ کی ہڈیاں شامل کریں۔ چند ہزار GPUs سے پرے کلسٹرز کے لیے، ایک سپر-ریڑھ کی ہڈی (5-اسٹیج کلوز) یا ریل کے لیے موزوں ٹوپولوجی اسی اصول کو ایک پرت کو مزید بڑھاتی ہے۔

AI کلسٹر نیٹ ورک کے بنیادی اجزاء

GPU سرورز اور NICs

NIC وہ جگہ ہے جہاں کپڑا میزبان سے ملتا ہے۔ AI کلسٹرز میں، NIC سلیکشن ہر چیز کو نیچے کی طرف لے جاتا ہے - سوئچ پورٹ کی رفتار، آپٹکس کی پسند، اور کیبلنگ کی کثافت۔

AI کام کے بوجھ کے لیے انتخاب کا معیار:

• پورٹ کی رفتار:200G، 400G یا 800G فی پورٹ۔ GPU نسل اور PCIe بینڈوتھ سے میچ کریں۔
• PCIe نسل:ایک 400G NIC کو PCIe Gen5 x16 کی ضرورت ہے تاکہ میزبان-سائیڈ تھروٹلنگ سے بچ سکے۔ PCIe Gen4 x16 کیپس ~256 Gbps قابل استعمال۔
• RDMA اور RoCEv2 سپورٹ:کرنل-بائی پاس GPU کمیونیکیشن لائبریریوں جیسے NCCL کے لیے درکار ہے۔
• GPUDirect RDMA:میزبان میموری کی کاپیاں ہٹا کر براہ راست GPU-کو-NIC DMA کی اجازت دیتا ہے۔
• ملٹی-ریل کی صلاحیت:بہت سے AI سرورز 4 یا 8 NICs فی نوڈ، ایک فی GPU جوڑا، ریل-آپٹمائزڈ ٹوپولاجیز کے لیے استعمال کرتے ہیں۔

آج ایک عام 8-GPU سرور کام کے بوجھ اور بجٹ کے لحاظ سے یا تو 4×400G NICs (ایک فی دو GPUs) یا 8×400G NICs (ایک فی GPU) استعمال کرتا ہے۔ سے حوالہ آرکیٹیکچرزNVIDIA نیٹ ورکنگ دستاویزاتتفصیل سے ڈیزائن کی تجارت کا احاطہ کریں۔

پتی اور ریڑھ کی ہڈی کے سوئچز

AI فیبرکس کے لیے سوئچ سلیکشن کا معیار انٹرپرائز سلیکشن سے مختلف ہے۔ بفر کا سائز، کنجشن کنٹرول رویہ اور ٹیلی میٹری فیچر کی وسعت سے زیادہ اہمیت رکھتی ہے۔

• فی-پورٹ کی رفتار اور ریڈکس:51.2 Tbps سوئچ ASIC 64×800G پورٹ یا 128×400G پورٹس فراہم کرتا ہے۔ ریڈکس اس بات کا تعین کرتا ہے کہ کپڑا کتنا فلیٹ ہو سکتا ہے۔
• بفر فن تعمیر:گہرے بفر انکاسٹ برسٹ کو جذب کرتے ہیں لیکن تاخیر کا اضافہ کرتے ہیں۔ اتلی بفر تاخیر کو کم کرتے ہیں لیکن بھیڑ کے عین مطابق کنٹرول کی ضرورت ہوتی ہے۔
• RoCE فیچر سیٹ:ECN مارکنگ، PFC، DCQCN یا مساوی کنجشن کنٹرول، اور ترجیحی قطاروں کا مناسب ہینڈلنگ ختم-سے-ختم ہوتا ہے۔
• ٹیلی میٹری:ان بینڈ نیٹ ورک ٹیلی میٹری (INT)، فی-قطار کی گہرائی کی رپورٹنگ، اور ECN مارکس اور PFC توقف کے لیے مائیکرو سیکنڈ-ریزولوشن کاؤنٹر۔

آپٹکس، ڈی اے سی اور اے او سی کیبلنگ

400G اور 800G میں، کیبلنگ پلانٹ ایک حقیقی انجینئرنگ مسئلہ بن جاتا ہے۔ فارم کے عوامل، لنک بجٹ اور بریک آؤٹ کنفیگریشن سب کو ابتدائی منصوبہ بندی کی ضرورت ہے۔

• DAC (ڈائریکٹ اٹیچ کاپر):400G کے لیے ~3 میٹر تک، سب سے کم قیمت اور سب سے کم پاور۔ بھاری اور بڑے پیمانے پر۔
• AOC (ایکٹو آپٹیکل کیبل):~30 میٹر تک، DAC سے پتلا، لیکن طے شدہ-لمبائی اور دونوں سروں پر آپٹکس پاور استعمال کرتا ہے۔
• پلگ ایبل آپٹکس:AOC فاصلے سے آگے درکار ہے۔ QSFP-DD اور OSFP فارم فیکٹرز 400G/800G پر حاوی ہیں۔ MPO/MTP فائبر اسمبلیاں متوازی-فائبر کنکشن کو سنبھالتی ہیں۔

400G/800G پر انٹر-ریک لنکس اور سٹرکچرڈ کیبلنگ کے لیے، MPO ختم کرنے پر متوازی آپٹکس اب معیاری ہیں۔ ٹرنک کیبلز اور بریک آؤٹ اسمبلیوں کے درمیان انتخاب کا انحصار آپ کے سوئچ پورٹ مختص کرنے پر ہے - ہمارا دیکھیںMPO بریک آؤٹ کیبل گائیڈعملی انتخاب کی منطق کے لیے، اور وسیع ترایم پی او ٹرنک بمقابلہ بریک آؤٹ موازنہجب پتی-سے-ریڑھ کی ہڈی کے چلنے کی منصوبہ بندی کرتے ہیں۔

AI فیبرکس میں RoCE اور Lossless Ethernet

RoCEv2 (RDMA over Converged Ethernet v2) AI کام کے بوجھ کے لیے غالب ایتھرنیٹ ٹرانسپورٹ ہے۔ یہ NICs کو ڈیٹا کو براہ راست GPU میموری والے خطوں کے درمیان منتقل کرنے دیتا ہے بغیر کسی دانا کی شمولیت کے۔ NCCL، تقریباً تمام تقسیم شدہ تربیتی فریم ورک کے تحت GPU کمیونیکیشن لائبریری، InfiniBand دستیاب نہ ہونے پر RoCEv2 استعمال کرتی ہے۔

جب صحیح طریقے سے ترتیب دیا جائے تو RoCE اچھی طرح سے کام کرتا ہے۔ غلط طریقے سے ترتیب دینے پر یہ بدصورت ناکام ہوجاتا ہے۔ دیانفینی بینڈ ٹریڈ ایسوسی ایشنRoCE وضاحتیں شائع کرتا ہے، اور زیادہ تر NIC اور سوئچ وینڈر تفصیلی کنفیگریشن گائیڈ شائع کرتے ہیں جن کی پیروی آخر-سے-تک ہونی چاہیے۔

بے عیب رویہ کیوں اہمیت رکھتا ہے۔

RDMA کو بغیر کسی نقصان کے نقل و حمل کا خیال کرتے ہوئے ڈیزائن کیا گیا تھا۔ جب پیکٹ گر جاتے ہیں، آر ڈی ایم اے کی بازیابی مہنگی ہوتی ہے - جاؤ-واپس-N دوبارہ ٹرانسمیشن ملی سیکنڈز کے لیے ایک تربیتی مرحلہ کو روک سکتی ہے، جو مائیکرو سیکنڈ-پیمانے کے RDMA بجٹ سے بہت زیادہ ہے۔

ایتھرنیٹ پر تقریباً بے نقصان رویے کے لیے، فیبرک دو میکانزم کا استعمال کرتا ہے جو مل کر کام کرتے ہیں:

• PFC (ترجیحی بہاؤ کنٹرول، IEEE 802.1Qbb):ایک سوئچ آنے والی ٹریفک کو ایک مخصوص ترجیحی قطار میں روکتا ہے جب اس کا بفر بھر جاتا ہے۔ یہ ایک آخری-مکانیزم ہے۔
• ECN (واضح بھیڑ کی اطلاع، RFC 3168):جب قطاریں کسی دہلیز کے قریب پہنچتی ہیں تو مارک پیکٹ کو سوئچ کرتا ہے۔ NIC بفرز کے اصل میں بھرنے سے پہلے اپنی بھیجنے کی شرح کو کم کر دیتا ہے، مثالی طور پر PFC سے مکمل طور پر گریز کرتا ہے۔

مقصد یہ ہے کہ ECN تقریباً تمام بھیڑ کا انتظام کرے، PFC کے ساتھ حفاظتی جال کے طور پر۔ اگر آپ کو مستقل-ریاست ٹریفک میں PFC کا وقفہ نظر آتا ہے، تو آپ کی ECN حدیں غلط ہیں یا آپ کا کپڑا چھوٹا ہے۔

عام RoCE تعیناتی کی ناکامیاں

اے آئی کلسٹر نیٹ ورک کو کیسے ڈیزائن کیا جائے: ایک ورکنگ فریم ورک

یہ وہ سیکشن ہے جو سب سے زیادہ "AI نیٹ ورکنگ" مضامین کو چھوڑ دیتے ہیں۔ ذیل کے سات مراحل ہر مرحلے پر آپ کو ٹھوس معلومات اور آؤٹ پٹ فراہم کرتے ہیں۔

مرحلہ 1: کام کے بوجھ اور پیمانے کی وضاحت کریں۔

ان پٹ:کام کے بوجھ کی قسم (پہلے سے تربیت، ٹھیک-ٹیوننگ، انفرنس، مکسڈ)، ہدف GPU شمار آج، 18 ماہ میں ہدف GPU شمار، ماڈل سائز کی حد۔

آؤٹ پٹ:ایک ورک بوجھ پروفائل جو NIC کی رفتار اور اوور سبسکرپشن رواداری سے آگاہ کرتا ہے۔ فرنٹیئر ماڈلز کی بڑی پری ٹریننگ 400G+ فیبرکس کو بلاک نہ کرنے-کا مطالبہ کرتی ہے۔ ٹھیک-ٹیوننگ ورک بوجھ 2:1 اوور سبسکرپشن کو برداشت کر سکتا ہے۔ انفرنس کلسٹرز کو اکثر کم بینڈوتھ کی ضرورت ہوتی ہے لیکن ٹیل لیٹنسی کم ہوتی ہے۔

مرحلہ 2: NIC رفتار کا انتخاب کریں اور فی سرور شمار کریں۔

فیصلے کی منطق:

• بڑے ماڈلز کی پہلے سے تربیت، 8-GPU سرورز → 4–8×400G NICs فی سرور، یا 4×800G
• درمیانی-پیمانے کی تربیت، 8-GPU سرورز → 2–4×400G NICs فی سرور
• انفرنس سرونگ → 1–2×200G یا 400G NICs فی سرور، ماڈل کی ہم آہنگی پر منحصر ہے

میزبان پر PCIe بینڈوتھ کی تصدیق کریں۔ ایک واحد 400G پورٹ کو لائن ریٹ پر چلنے کے لیے PCIe Gen5 x16 کی ضرورت ہوتی ہے۔ 800G کو دوگنا کرنے کے لیے Gen6 یا دو سلاٹس میں تقسیم کرنے کی ضرورت ہے۔

مرحلہ 3: پتی کی تہہ کا سائز بنائیں

کام کی مثال - 32-نوڈ کلسٹر، 8 GPUs فی نوڈ، 4×400G NICs فی نوڈ:

• کل سرور-سامنے والے بندرگاہوں کی ضرورت ہے: 400G پر 32 × 4=128 بندرگاہیں
• ڈاؤن لنک بینڈوتھ فی نوڈ: 4 × 400=1.6 Tbps
• کل کلسٹر ڈاؤن لنک بینڈوتھ: 32 × 1.6=51.2 Tbps

64-پورٹ 400G لیف سوئچ (25.6 Tbps کل گنجائش) کا استعمال کرتے ہوئے، ہر لیف 32 سرور پورٹس کو جوڑ سکتا ہے اور بقیہ 32 پورٹس کو اپ لنکس کے طور پر استعمال کر سکتا ہے۔ 4 پتیوں کے ساتھ، آپ تمام 128 سرور پورٹس کا احاطہ کرتے ہیں۔ ہر پتی ریڑھ کی ہڈی کی طرف 32 × 400G=12.8 Tbps اپلنک کا حصہ ڈالتی ہے۔

مرحلہ 4: ریڑھ کی پرت کا سائز بنائیں

ایک غیر-بلاکنگ (1:1) ڈیزائن کے لیے، کل اپلنک کی گنجائش کل ڈاؤن لنک کی گنجائش کے برابر ہونی چاہیے۔ مرحلہ 3 سے:

• کل لیف اپ لنک درکار ہے: 4 پتی × 12.8 Tbps=51.2 Tbps
• اگر ہر ریڑھ کی ہڈی میں 32×400G پورٹس=12.8 Tbps ہیں تو آپ کو 4 ریڑھ کی ہڈی کی ضرورت ہے۔
• ہر پتی 8 اپ لنکس فی ریڑھ کی ہڈی کا استعمال کرتے ہوئے تمام 4 ریڑھ کی ہڈیوں سے جوڑتی ہے (8 × 400G × 4=12.8 Tbps فی پتی - میچز)

اگر 64-پورٹ 400G اسپائن سوئچز استعمال کر رہے ہیں، تو ہر ریڑھ کی ہڈی میں کلسٹر بڑھنے کی اضافی صلاحیت ہوتی ہے، جو کہ مرحلہ 1 سے 18 ماہ کے منصوبے کے لیے مفید ہے۔

مرحلہ 5: اوور سبسکرپشن ریشو سیٹ کریں۔

مرحلہ 6: الگ الگ کمپیوٹ، اسٹوریج اور مینجمنٹ ٹریفک

تنہائی بڑھانے کے لیے تین اختیارات:

• QoS کلاسز کے ساتھ مشترکہ تانے بانے:الگ الگ DSCP ترجیحات پر حساب، ذخیرہ اور انتظام۔ سب سے کم قیمت؛ محتاط QoS ترتیب کی ضرورت ہے۔
• منطقی طور پر الگ کیے گئے VLANs/VRFs:ایک ہی ہارڈ ویئر، الگ الگ کنٹرول طیارے۔ متعدد کرایہ داروں کے کلسٹرز کے لیے مفید۔
• جسمانی طور پر الگ الگ کپڑے:کمپیوٹ بمقابلہ اسٹوریج کے لیے وقف شدہ NICs، سوئچز اور کیبلنگ۔ سب سے زیادہ قیمت؛ فرنٹیئر-ماڈل کلسٹرز میں عام جہاں کوئی بھی تنازعہ ناقابل قبول ہے۔

AI کے لیے سٹوریج ٹریفک خود ہی بھاری ہے - چیک پوائنٹ ایک بڑے ماڈل کے لیے لکھتا ہے مختصر برسٹ میں سینکڑوں گیگا بائٹس کو منتقل کر سکتا ہے۔ اس کے لیے واضح طور پر منصوبہ بندی کریں۔ ایک اعلی-کثافت ساختہ کیبلنگ پلانٹ استعمال کر رہا ہے۔MPO/MTP ٹرنک کیبلزایک ہی فزیکل انفراسٹرکچر میں متوازی کپڑوں کو چلانے کو آسان بناتا ہے۔

مرحلہ 7: پیداوار سے پہلے تصدیق کریں۔

نیٹ ورک-سطح کے ٹیسٹ کچھ مسائل کو پکڑتے ہیں۔ کام کا بوجھ-سطح کے ٹیسٹ باقی کو پکڑ لیتے ہیں۔

• بینڈوتھ:iperf3 یا ib_send_bw ہر نوڈ جوڑے کے درمیان؛ NIC لائن ریٹ کے 90%+ تک پہنچنا چاہئے۔
• تاخیر:ib_read_lat یا اس سے ملتا جلتا؛ چیک تقسیم، نہ صرف اوسط. P99.9 مطلب سے زیادہ اہمیت رکھتا ہے۔
• پیکٹ کا نقصان:بوجھ کے نیچے 24-گھنٹے سوک ٹیسٹ چلائیں؛ RoCE ٹریفک کلاس میں کوئی بھی غیر صفر نقصان ایک مسئلہ ہے۔
• ECN مارکنگ سلوک:پی ایف سی کے فائر ہونے سے پہلے نشانات کی تصدیق کریں۔ اگر پی ایف سی کے وقفے مستقل حالت میں بار بار ہوتے ہیں، تو دوبارہ تبدیل کریں۔
• اجتماعی مواصلات:پورے کلسٹر سائز پر NCCL ٹیسٹ (all_reduce_perf، all_gather_perf) چلائیں۔ وینڈر حوالہ نمبروں سے موازنہ کریں۔
• جاب-لیول ٹیسٹ:4-6 گھنٹے تک نمائندہ تربیتی کام چلائیں۔ مناسب طریقے سے- سائز کے ماڈل پر GPU استعمال - پائیدار قدریں 50% سے نیچے دیکھیں عام طور پر نیٹ ورک کے مسئلے کی نشاندہی ہوتی ہے۔

روایتی ڈیٹا سینٹر نیٹ ورک بمقابلہ AI اسپائن-لیف فیبرک

ایتھرنیٹ RoCE بمقابلہ InfiniBand: فوری فیصلہ گائیڈ

یہ سوال تقریباً ہر AI کلسٹر پروجیکٹ میں سامنے آتا ہے۔ دونوں کام کرتے ہیں۔ انتخاب عام طور پر آپریشنل فٹ پر آتا ہے، خالص کارکردگی نہیں۔

• InfiniBand کا انتخاب کریں اگر:آپ کی ٹیم پہلے سے ہی InfiniBand فیبرکس چلاتی ہے، آپ بغیر کسی نقصان کے نقل و حمل کا آسان ترین راستہ چاہتے ہیں، یا آپ ایک مکمل-مربوط وینڈر ریفرنس آرکیٹیکچر خرید رہے ہیں۔
• ایتھرنیٹ RoCE کا انتخاب کریں اگر:آپ کی آپریشنز ٹیم ایتھرنیٹ-مقامی ہے، آپ ملٹی-وینڈر سوئچ کے اختیارات چاہتے ہیں، آپ کو موجودہ ڈیٹا سینٹر نیٹ ورکس کے ساتھ AI فیبرک کو مربوط کرنے کی ضرورت ہے، یا آپ موجودہ InfiniBand ٹوپولاجیز صاف سپورٹ کرتے ہوئے اس سے آگے اسکیلنگ کی توقع رکھتے ہیں۔

الٹرا ایتھرنیٹ کنسورشیم، جو 2023 میں تشکیل دیا گیا تھا، خاص طور پر AI کام کے بوجھ کے لیے ایتھرنیٹ کی بہتری کو معیاری بنانے پر فعال طور پر کام کر رہا ہے۔ 2026 میں زیادہ تر نئے کلسٹرز کے لیے، Ethernet RoCE ایک قابل دفاع ڈیفالٹ ہے جب تک کہ دوسری صورت میں انتخاب کرنے کی کوئی خاص وجہ نہ ہو۔

سے بچنے کے لئے عام غلطیاں

این آئی سی چیک کیے بغیر سوئچز کو اپ گریڈ کرنا

اگر آپ کے NICs 400G پر چلتے ہیں یا آپ کے میزبان PCIe کی بینڈوتھ ختم ہو جاتی ہے تو 800G سوئچ فیبرک آپ کے لیے کچھ نہیں کرتا۔ پہلے میزبان سائیڈ کو ڈیزائن کریں، پھر سوئچ سائیڈ۔ PCIe Gen5 x16 ایک واحد پورٹ کو تقریباً 504 Gbps حقیقی-عالمی تھرو پٹ - تک محدود کرتا ہے جو 400G کے لیے آرام دہ ہے، 800G کے لیے معمولی۔

پورٹ کی رفتار کو بہتر بنانا لیکن کیبلنگ کی کثافت کو نظر انداز کرنا

64-پورٹ 400G چھوڑنے پر، ہر سوئچ کے نیچے کیبلنگ بغیر منصوبہ بندی کے جسمانی طور پر غیر منظم ہو سکتی ہے۔ بریک آؤٹ کیبلز کا استعمال کریں جہاں مناسب ہو، ریشوں کو سٹرکچرڈ پاتھ ویز سے روٹ کریں، اور کنیکٹر کی اقسام کو معیاری بنائیں۔ کنیکٹر کے معیار اور تیز رفتاری سے ختم ہونے کا معاملہ - ہمارافائبر آپٹک کنیکٹر کی اقسام گائیڈLC، MPO اور ابھرتے ہوئے اعلی-کثافت کے عوامل کے درمیان تجارت کا احاطہ کرتا ہے۔

RoCE کو پلگ-اور-پلے کے طور پر استعمال کرنا

اصلی AI کلسٹرز میں ڈیزائن کی سب سے بڑی غلطی غلط سوئچ کا انتخاب نہیں کرنا ہے - یہ اس بات کا اندازہ نہیں لگا رہا ہے کہ RoCE کنفیگریشن کے کام کی کتنی ضرورت ہے۔ ECN تھریشولڈز، PFC ترجیحات اور MTU مستقل مزاجی کے لیے بجٹ کا وقت۔ کسی بھی پروڈکشن کام کا بوجھ چلنے سے پہلے توثیق کے ایک وقفے کے مرحلے کی منصوبہ بندی کریں۔

QoS کے بغیر تمام ٹریفک کو ایک فیبرک پر ملانا

اگر وہ کمپیوٹ ٹریفک کے ساتھ بفرز کا اشتراک کرتے ہیں تو اسٹوریج کی نقل، مانیٹرنگ ایجنٹ اور مینجمنٹ ٹریفک ٹریننگ کے مرحلہ وار کو برباد کر سکتے ہیں۔ یا تو انہیں جسمانی طور پر الگ کریں یا علیحدہ ترجیحات اور ECN کنفیگریشن کے ساتھ سخت QoS کلاسز کا نفاذ کریں۔

صرف آج کے کلسٹر کے لیے عمارت

زیادہ تر AI کلسٹرز ابتدائی تعیناتی کے دو سالوں کے اندر 4–8× بڑھتے ہیں۔ سوئچ ریڈکس اور ریڑھ کی ہڈی کی صلاحیت کا انتخاب کریں جو غیر-خلل انگیز توسیع کی اجازت دیتا ہے۔ لائیو AI ڈیٹا سینٹر میں کیبلز کھینچنا مہنگا ہے۔ تعیناتی کے وقت نالی اور پیچ کی صلاحیت کی منصوبہ بندی سستی ہے۔

400G سے 800G تک کب قدم بڑھانا ہے۔

800G NICs اور سوئچ دستیاب ہیں لیکن فی پورٹ زیادہ مہنگے ہیں۔ قدم بڑھانے پر غور کریں جب:

• فی-GPU بینڈوتھ کی ضرورت اس سے زیادہ ہے جو 400G فراہم کر سکتا ہے - مثال کے طور پر، H100 اور NVLink 5 کے ساتھ نئے GPUs زیادہ بیرونی بینڈوڈتھ کی توقع کرتے ہیں
• NCCL تمام-کلسٹر سائز کے ساتھ ٹائم سکیل کو خراب طریقے سے کم کرتا ہے، جو نیٹ ورک کی سنترپتی کو ظاہر کرتا ہے
• 400G پر کیبل کی کثافت جسمانی طور پر غیر منظم ہوتی جارہی ہے - کم 800G بندرگاہیں مزید 400G بندرگاہوں کی جگہ لے سکتی ہیں
• آپ کے روڈ میپ میں اگلی GPU نسل کو کلسٹر کی فرسودگی ونڈو کے اندر اس کی ضرورت متوقع ہے۔
• آپ ایک فرنٹیئر-ماڈل ٹریننگ کلسٹر بنا رہے ہیں جہاں کسی بھی کمپیوٹ کے بیکار وقت کی لاگت آپٹکس اپ گریڈ سے کافی زیادہ ہوتی ہے۔

2026 میں زیادہ تر پروڈکشن کلسٹرز کے لیے، 400G لاگت، ایکو سسٹم کی پختگی، اور صلاحیت کا صحیح توازن بنا ہوا ہے. 800G اعلیٰ سطح پر اور کلسٹرز کے لیے آگے کی سرمایہ کاری کے طور پر جو آج بنائے جا رہے ہیں اور 4-5 سال تک چلنے کی توقع ہے۔

نتیجہ

سب سے مضبوط AI کلسٹر نیٹ ورک وہ نہیں ہے جس میں تیز ترین سوئچز ہوں۔ یہ وہ جگہ ہے جہاں NIC کا انتخاب، لیف/سپائن سائزنگ، اوور سبسکرپشن، RoCE کنفیگریشن، ٹریفک کی علیحدگی اور فزیکل کیبلنگ سب ایک دوسرے کو سپورٹ کرتے ہیں اور جس کام کے بوجھ کے لیے انہیں منتخب کیا گیا تھا۔

کام کے بوجھ اور 18-ماہ کی ترقی کے منصوبے سے شروع کریں۔ حقیقی نمبروں کا استعمال کرتے ہوئے ہر پرت پر بینڈوتھ کی ضروریات کا حساب لگائیں، نہ کہ صرف انگوٹھے کے اصول۔ RoCE end کو ترتیب دیں-سے-ختم کریں اور حقیقی اجتماعی مواصلاتی معیارات کے ساتھ توثیق کریں۔ کیبلنگ پلانٹ کے لیے بجٹ - 400G اور 800G پر، جسمانی تہہ اب معمولی نہیں ہے۔

وہ کلسٹر جو اپنے GPUs کو ہر تربیتی مرحلے کے ذریعے 95%+ استعمال میں مصروف رکھتا ہے وہی ہے جس نے ان تمام پرتوں پر توجہ دی۔ وہ جھرمٹ جو ایک تیز سوئچ اور سست فیبرک کے ساتھ بھیجتا ہے یہ بتانے میں برسوں گزارے گا کہ GPUs کیوں بیکار ہیں۔

مزید پڑھنا

• RFC 7938 - BGP بڑے-پیمانے کے ڈیٹا سینٹرز میں
• InfiniBand ٹریڈ ایسوسی ایشن - RoCE وضاحتیں۔
• NVIDIA نیٹ ورکنگ دستاویزات
• فائبر آپٹک کیبل انسٹالیشن گائیڈ
• اندراج نقصان بمقابلہ واپسی نقصان کی وضاحت کی گئی ہے۔