Високошвидкісне оптичне з’єднання: рішення для центрів обробки даних
Apr 27, 2026| Минулого кварталу ми мали клієнта, який повернув сорок модулів 400G DR4 із заявою про випадкові перекриття зв’язку на комутаторах Arista 7060X5. Перш ніж ми навіть відкрили документи RMA, наш інженер-випробувач поставив одне запитання: чи перевірили виMPO роз'ємиперед установкою? Вони не мали. Ми провели модулі через нашу повну регресію, очні діаграми чисті, BER нижче 1E-13 по всіх чотирьох смугах,Показання DDM номінальні. Тоді ми попросили їх надіслати фотографії кінців-кабелів під волоконним мікроскопом. Кожен роз’єм був забруднений твердими частинками. Сорок модулів, без дефектів. Проблема була в пилу.
Щомісяця ми бачимо певну версію цього. Високошвидкісне розгортання оптичних з’єднань у будь-якому масштабі стикається з тією самою стіною, і цифри це підтверджують: десь від 65% до 70% усіх збоїв у з’єднанні 400G і 800G пов’язані з забрудненням роз’єму, а не збоями трансивера. (Польові дані IEEE 802.3 через AscentOptics) Ми говоримо про це першим, тому що це визначає те, як ми думаємо про все рішення про взаємоз’єднання. Модуль майже ніколи не є найслабшою ланкою. Фізичний рівень навколо нього.
Ваш шаблон трафіку визначає вашу архітектуру оптичного з’єднання
Кожен починає з номера деталі.QSFP-DD або OSFP, SR або DR, багатомодовий або одно-режим. Ми теж це робимо. Але розгортання, які пройшли успішно для наших клієнтів, почалися десь в іншому місці: як насправді виглядає трафік?
Широкомасштабне-навчання штучного інтелекту генерує-до-все спілкування графічного процесора, яке виявляється напрочуд передбачуваним у часових масштабах від хвилин до годин. Google використовує це за допомогою комутаторів оптичних схем у своїй мережі Jupiter, змінюючи фізичні шляхи світла між стійками замість комутації пакетів. Їхні опубліковані результати десятиліття виробничого використання: зниження потужності на 41%, зниження капіталовкладень на 30% і збільшення часу безвідмовної роботи в 50 разів порівняно з попередньою архітектурою Clos. (Google SIGCOMM'22) Ці цифри реальні, але вони належать компанії, яка протягом п’яти років витратила від 500 до 1 мільярда доларів на інфраструктуру OCS. Кілька клієнтів середнього-розміру зверталися до нас з проханням оцінити доцільність OCS для їх середовища. У кожному разі, як тільки вони провели цифри в масштабі до -500 вузлів, вимоги до капіталу переважили переваги реконфігурації, і вони залишилися на звичайній спинній листі з використанням змінних модулів.
Висновок перевертає рівняння. Трафік різкий і непередбачуваний на рівні потоку, а толерантність до затримки близька до нуля. Ви не можете переналаштувати оптичні шляхи на основі-запиту. Те, що вам потрібно, — це стабільно надлишкова структура з детермінованою затримкою, яка підштовхує вас до підключених приймачів-передавачів у топології spine-leaf, де кожне посилання завжди підсвічується. Ми продаємо модулі для обох сценаріїв, і інженерні розмови абсолютно різні. Покупці навчальних кластерів хочуть знати про загальну пропускну здатність на стійку та потужність на біт. Покупці висновків запитують про хвостову затримку та про те, що відбувається, коли посилання перестає працювати.
Для традиційних корпоративних і колокольних середовищ нижче гіпермасштабування домінує вартість порту, а зворотна сумісність із існуючими оптоволоконними установками має більше значення, ніж щільність пропускної здатності. Ми перевірили нашМодулі 400G QSFP-DD на 14 платформах комутаторіввключаючи Cisco Nexus 93600CD, Arista 7060X5 і Juniper QFX5220. У таких середовищах домінуючою проблемою є не швидкість. Це те, чи розпізнається модуль мікропрограмою комутатора без ручних команд перевизначення.
Мертва зона 800G, яка застає інженерів зненацька
На 400G вибір з’єднання складався з двох-етапів: виміряйте відстань, виберіть мідь або оптоволокно. Пасивний ЦАП з комфортом покривав від 3 до 5 метрів. 800G зламав це. Кожна смуга працює 112G PAM4. Втрати міді на цих частотах приблизно подвоюються порівняно з 400G, і результатом є жорстка стеля близько 2 метрів для пасивного кабелю.
Ми навчилися цьому дорогим способом. Перший клієнт замовив нашЗбірки пасивного ЦАП 800Gу 3-метровій довжині на основі їх розташування в стійці 400G. Навчання з’єднання не вдалось на понад 60% портів. Мідь не була дефектною; просто фізика цього не дозволяла. Вони перейшли на AEC для ділянок від 3 до 5 метрів і підключаються оптичні модулі для всього іншого, і розгортання стабілізувалося протягом тижня. Відтоді ми припинили приймати замовлення на пасивний ЦАП 800G на висоті вище 2,5 метрів і додали пораду щодо відстані розгортання до процесу підтвердження замовлення.
AEC тепер володіє розривом від 3 до 7 метрів. Цифрові ретаймери регенерують сигнал електрично без оптичного перетворення, що знижує вартість, але збільшує затримку. Лише KP4 FEC витрачає від 50 до 100 наносекунд на кожен стрибок на 800G, а ретаймер накопичує більше. Ми виміряли загальну додану затримку від 85 до 110 нс для збірок AEC, які ми зараз постачаємо. Для зв’язків хребта-листа ці накладні витрати не помітні в продуктивності програми. Для тісно пов’язаних кластерів GPU це інша історія. На основі даних профілювання трьох клієнтських розгортань, на яких працюють вузли H100, якщо комунікаційні витрати вашого навчального завдання вже перевищують 15%, ці додаткові сто наносекунд на стрибок між кількома рівнями комутаторів починають збільшуватися в операціях NCCL AllReduce.
За межами 7 метрів підключаються оптичні трансивери для 800G є єдиним життєздатним шляхом. Фізичний рівень тут вимагає значного посилення. Наскрізні --бюджети внесених втрат за IEEE 802.3ck становлять менше 1,5 дБ для більшості класів охоплення 800G, і кожне сполучене з’єднання MPO має залишатися нижче 0,35 дБ. Ми бачили, що встановлене оптоволокно, яке пройшло сертифікацію на 100G, показує значення PMD у два-три рази вище номінальних специфікацій після кількох років стиснення в кабельних лотках, що відповідає звіту дослідницької групи мережі Juniper у 2023 році. Наша стандартна рекомендація перед розгортанням будь-якого трансивера 800G: запустіть OTDR та PMD на кожному існуючому сегменті оптоволокна. Не зразок. Кожен сегмент. Вартість повторного-протягування двох магістральних кабелів становить незначну частину вартості налагодження переривчастих клапанів зв’язку протягом шести місяців.
CPO проти LPO проти Pluggable: де кожна технологія насправді стоїть у 2026 році
Ком-пакована оптика змінить спосіб побудови комутаційної інфраструктури центру обробки даних. Ми говоримо це як виробник змінних модулів, тому сприймайте нашу думку як поінформовану, а не нейтральну.
На OFC 2026 дані про надійність прототипів CPO показали потенційно нижчу кількість відмов, ніж у традиційних змінних модулів. Без циклів механічного вставлення або відкритих поверхонь з’єднувачів домінуючі типи несправностей змінних модулів просто не застосовуються. Платформа комутаторів Bailly 51.2T CPO від Broadcom продемонструвала приблизно на 70% менше споживання електроенергії на оптичному шарі порівняно з еквівалентними конфігураціями, що підключаються. (Звіт про оптичне з’єднання DataMIntelligence) NVIDIA показала CPO-інтегровані комутатори на GTC 2026, плануючи масштабувати-розгортання у вікні з 2027 по 2028 рік.
Наша позиція: якщо ви не любитель гіпермасштабування, створюючи нестандартний комутатор, підключаюча оптика — єдиний варіант, який можна розгортати принаймні до 2027 року. CPO потребує архітектури плат, яку більшість постачальників комутаторів ще не поставили, стандартів роз’ємів, які ще не розроблені, і цілого нового посібника для обробки несправностей, які ви не можете виправити, витягнувши модуль. Екосистеми для загальних корпоративних закупівель ще не існує. Минулого року двоє наших потенційних клієнтів відклали оновлення з 400G-до 800G, чекаючи CPO. Обидва зрештою повернулися та розмістили підключаються замовлення після того, як їхні розриви пропускної здатності стали виробничими інцидентами. Детальніше про інженерне обґрунтування цієї позиції ми писали на нашомуаналіз архітектури підключеного трансивера.
LPO сидить в іншому місці. Видалення DSP із модуля вимикає єдиний найбільш енергоспоживання-компонент, відповідальний за до половини загального енергоспоживання модуля. Результатом є на 30–50% менше споживання та до 15 наносекунд менша затримка. Наприкінці 2025 року ми почали надсилати запити пропозицій-для LPO. Три з чотирьох надійшли від клієнтів, які створювали кластери GPU одного-постачальника на NVIDIA Spectrum-X. None-operated багато-фабрики постачальників, які розкажуть вам все про те, де LPO працює сьогодні. Якщо ваша мережа змішує постачальників комутаторів, LPO несумісний із вашим середовищем. Якщо ви використовуєте штучний інтелект від одного-кластера, це може бути найрозумніше доступне оновлення, і ми очікуємо, що до середини 2027 року готові модулі-LPO будуть відповідати кваліфікації.
Що означають термічні запаси 800G для вибору модуля
Теплова математика на 800G застає людей зненацька. Щільність потужності високошвидкісного оптичного з’єднання в цьому поколінні створює проблеми, яких просто не було при 400G. 64-портовий комутатор, повністю завантажений модулями 800G з потужністю 16 Вт кожен, споживає приблизно 1 кВт лише потужності трансивера, а власна ASIC комутатора споживає від 400 до 500 Вт. Це 1,4-1,5 кВт на комутатор. Вісім комутаторів на магістральному рівні дають вам понад 11 кВт лише від мережевого обладнання в стійках, які часто були забезпечені загальною потужністю від 8 до 10 кВт.
Juniper Networks прямо попереджає, що сторонні-модулі з високим енергоспоживанням, зокрема когерентні типи ZR і ZR+, можуть спричинити термічне пошкодження хост-обладнання, а відповідальність за це лягає на користувача. (Поширені запитання щодо оптики Juniper Networks 800G) Це не аргумент проти-оптичних модулів сторонніх виробників. Це аргумент для того, щоб знати, що саме ви підключаєте. У нашій кваліфікації термічного циклу ми тестуємо кожну конструкцію модуля 800G при постійній температурі переходу 85 градусів протягом 2000 годин і відстежуємо дрейф струму зміщення лазера як основний індикатор старіння. Агрегати, які перевищують 38 мА, знімаються з виробничої лінії. При щільності 800G різниця між кресленням модуля 14 Вт і одним кресленням 18 Вт визначає, чи залишатиметься стійка в тепловій зоні чи спрацьовуватиме тривога про відключення о 2:00. Помилка в специфікаціях завжди дратувала. На таких рівнях потужності це дорого.
Ми постачаємо модулі, що підключаються, від 1G SFP до 800G OSFP і тестуємо на основних платформах комутаторів. Ми ведемо записи про те, що працює, а що ні. Якщо вам потрібна перевірка сумісності з певним середовищем комутатора або потрібні специфікації-класу тепла та потужності для високо-стійок 800G, наші інженери проводять такі бесіди щотижня. нашСторінка приймача 800G OSFP і QSFP-DD800має специфікації, параметри-класу охоплення та зразки форм запиту для кожного модуля, який ми постачаємо.