Оптичні модулі 400G в сучасних мережах

 

Війни форм-факторів, які ніхто не виграв

 

QSFP-DD і OSFP виникли в процесі стандартизації, як два брати і сестри, які не могли домовитися ні про що, крім того, що обидва хотіли 400G. Галузь потребувала восьми електричних смуг зі швидкістю 50 Гбіт/с кожна, і два різні консорціуми вирішили вирішити цю проблему двома різними способами.

QSFP-DD виграв аргумент щодо сумісності. Він підходить для існуючих кліток QSFP28, якщо ви досить сильно примружитесь і не заперечуєте другий ряд шпильок. Зворотна сумісність має значення, коли у вас є десятки тисяч розгорнутих портів і фінансовий директор, який ставить гострі запитання про багатожильні активи.

OSFP виграв термічний аргумент. Трохи більший корпус і вбудований радіатор означають, що ви можете фактично розсіювати 15-20 Вт, які споживають ці модулі, не обробляючи сусідні порти. Я бачив лінійні карти, де кутові порти QSFP-DD стабільно нагрівалися на 8 градусів вище, ніж середні, оскільки конструкція повітряного потоку передбачала конверти потужності 100G.

Жоден насправді не виграв. Більшість гіпермасштабувальників використовували QSFP-DD для простоти інвентаризації. Більшість розгортань телекомунікаційних систем використовували OSFP, тому що їхні когерентні модулі потребували теплового запасу. Усі інші вибрали те, що поставив їхній постачальник комутаторів, і пішли далі.

Варіант QSFP112 заслуговує на згадку, оскільки він заплутує всіх. Чотири смуги по 100G кожна-той самий агрегат 400G, менше смуг, новіші SerDes. Для з’єднання мережевих адаптерів важливо, де ви хочете зв’язуватися з-сервером-TOR без складного редуктора DSP. Це має менше значення, ніж стверджують продавці в інших місцях.

 

PAM4 змінив усе (і зламав кілька речей)

 

Ось що ніхто адекватно не пояснює, коли вони продають вам 400G: сигналізація PAM4 обмінює завадостійкість на ефективність пропускної здатності, і цей компроміс не є безкоштовним.

Кодування NRZ використовувало два рівні сигналу. Високий чи низький. Один або нуль. Ваш приймач просто мав розрізнити ці два стани, і очкова діаграма дала вам комфортні запаси. PAM4 використовує чотири рівні-00, 01, 10, 11-це означає, що тепер ваш приймач має розрізняти три порогові перетини з розділенням напруги на одну третину. Теоретичний штраф SNR 9,54 дБ зовсім не є теоретичним. Він відображається на ваших лічильниках BER до FEC щодня.

DSP всередині модуля 400G робить героїчну роботу, компенсуючи це. Вирівнювання-прямого каналу, вирівнювання зворотного зв’язку для прийняття рішення, синхронізація та відновлення даних-все працює на швидкості 53,125 ГБод на смугу. Коли він працює, його не видно. Коли це не працює, ви отримуєте сплески виправних помилок, які періодично перемежовуються помилками, які не можна виправити, і бажаєте з’ясувати, чи проблема у вашому модулі, оптоволокні, хості чи космічному фоновому випромінюванні.

 

 

Варіанти довжини хвилі: більше, ніж просто охоплення

 

Технічні характеристики охоплення розповідають лише частину історії.

400G-SR8 використовує 850-нм VCSEL через вісім паралельних волокон, націлюючи 100 метрів над OM4. Це дешево. Він багатомодовий. Для цього потрібен роз’єм MPO-16 з вісьмома волокнами TX і вісьмома RX. Це добре працює всередині стійки або між сусідніми стійками. У той момент, коли хтось запитує про те, щоб запустити його «трохи далі», нагадайте їм, що модальна дисперсія на 850 нм не погоджується.

400G-DR4 працює на 1310 нм через чотири паралельні одномодові-волокна, розраховані на 500 метрів. Роз’єм MPO-12 використовує вісім зовнішніх волокон і залишає невикористаними чотири-факт, який спантеличує монтажників кабелю приблизно один раз за розгортання. DR4 став робочою конячкою для підключення-кінцевої системи в одномодових установках, оскільки 500 метрів охоплює більшість геометрій центрів обробки даних із запасним місцем.

400G-FR4 використовує довжини хвиль CWDM4 (1271, 1291, 1311, 1331 нм), мультиплексовані на одну пару волокон за допомогою дуплексного LC. Два кілометри досягають. Саме тут 400G починає здаватися економним для з’єднань кампусу, оскільки ви не тягнете вісім-волоконних магістралей MPO між будівлями.

400G-LR4 розтягує той самий захід CWDM4 на 10 кілометрів із вищою потужністю запуску та кращими приймачами. Стрибок ціни з FR4 до LR4 все ще дивує відділи закупівель, які не оновили свою розумову модель із ціноутворення 100G-LR4.

 

Зв'язний слон

 

400G-ZR заслуговує на окремий розділ, оскільки він представляє принципово іншу технологію в одному форм-факторі.

Усе, що я описав досі, використовує оптику прямого-виявлення. Світло потрапляє, фотодіод перетворює його, DSP очищає. Когерентна оптика кодує інформацію як по амплітуді, так і по фазі в двох поляризаціях одночасно, а потім використовує гетеродин і складну цифрову обробку сигналу, щоб відновити все в приймачі. Результат: 400 Гбіт/с на 120+ кілометрах оптоволокна без підсилення в модулі, що підключається.

Стандарт OIF 400ZR визначає модуляцію 16QAM зі швидкістю 60 Гбод з подвійною поляризацією. Конкатенований FEC (м’яке-внутрішнє рішення Хеммінга, жорстке-зовнішнє рішення) забезпечує приблизно 10,8 дБ чистого посилення кодування. Все це споживає 15-20 Вт і генерує тепло, від якого модуль QSFP-DD плакав би.

Я бачив модулі ZR, встановлені в комутаторах, які не були розроблені для такого теплового навантаження. Шасі комутатора повідомляло про нормальні температури, оскільки його датчики впуску вимірювали холодне повітря. Модуль повідомив про 73 градуси, оскільки він був затиснутий між двома іншими модулями ZR із недостатнім повітряним потоком. Посилання працювало-ледве-з підвищеними поправками FEC, які ніхто не помітив, доки до-FEC BER не перевищив порогове значення, і пакети не почали скидатися.

Варіанти ZR+ і MZR розширюють охоплення за рахунок сумісності. Удосконалення-спеціальних постачальників потужності запуску, чутливості приймача та алгоритмів FEC можуть подовжити зв’язки понад 400 км, але ви купуєте рішення, а не товар.

 

 

Запитання третьої-сторони

 

Я мав цю розмову приблизно шістсот разів.

"Чи можемо ми використовувати-оптику 400G третьої сторони?"

Технічно так. Специфікації MSA створені саме для забезпечення сумісності-від багатьох постачальників. Сумісний QSFP-DD від виробника X має працювати так само, як і QSFP від ​​виробника Y. Стандарти IEEE визначають оптичні та електричні параметри. CMIS (специфікація загального інтерфейсу керування) стандартизує спосіб спілкування хоста з модулем.

Практично, це залежить.

Механізми автентифікації Cisco еволюціонували від прямого підходу «помилка-вимкнення порту» на старих платформах до більш складної перевірки постачальника, яка реєструє попередження, але не обов’язково вимикає функціональність. Служба не підтримується{2}}командою трансивера залишається аварійним люком. Arista, як правило, більш дозвільна, але відмовляється підтримувати проблеми, які можуть виникнути через сторонні-модулі. Позиція Juniper залежить від платформи та версії програмного забезпечення таким чином, що вимагає звернення до їхніх матриць сумісності.

Я без вагань використовую оптику-третіх сторін у лабораторних умовах. Для виробничих шляхів, які передають прибутковий трафік о 2 годині ночі, коли щось виходить з ладу? Я хочу мати можливість зателефонувати до TAC і попросити їх допомогти замість того, щоб негайно відмовлятися від «замінити на підтримувані трансивери».

Математика витрат змінює цей розрахунок для гіперскейлерів, які купують модулі десятками тисяч і наймають інженерів-оптиків, які можуть самостійно характеризувати та кваліфікувати постачальників. Це інша математика для підприємств, які купують сотні модулів через канали розподілу з обмеженими технічними ресурсами.

 

Теплова реальність

 

Модуль 400G QSFP-DD споживає десь від 10 до 15 Вт залежно від варіанту та постачальника. Когерентний модуль ZR 400G споживає 15-20 Вт. 800G QSFP-Модуль DD800-вже розгорнутий у кластерах AI споживає 18-25 Вт.

Помістіть 64 з них у комутатор 2RU, і ви отримаєте 640 Вт лише від оптики без урахування ASIC комутатора, пам’яті, вентиляторів і блоків живлення. Проблема теплового проектування перемістилася від «адекватної» до «критичної» за одне покоління.

Я спостерігав, як тепловізор знімає повністю-завантажений перемикач хребта 400G під час кваліфікаційного випробування. Найгарячіші модулі були не такими, якими ви очікували. Кутові позиції, за вітром від вихлопу ASIC, нагрівалися сильніше, ніж центральні модулі лицьової-панелі, які отримували свіже повітря. Стандартні показники температури DDM показали розкид на 17 градусів між портами, які нібито були ідентичними.

Технічні характеристики модуля обіцяють роботу від 0 градусів до 70 градусів, але криві продуктивності не виглядають так само під кутом 70 градусів, як під кутом 25 градусів. Зростає пороговий струм лазера. Ефективність нахилу знижується. Дрейф довжини хвилі-, а для систем CWDM4 і DWDM дрейф довжини хвилі означає перехресні перешкоди з сусідніми каналами.

Системи-повітряного охолодження наближаються до своїх можливостей. Рідинне охолодження для комутаторів залишається екзотикою, але стає все більш необхідним для кластерів AI/ML, де графічні процесори та оптика конкурують за той самий тепловий бюджет.

 

 

Тестування реалій

 

Стандарти IEEE визначають точки відповідності. Вони не гарантують, що ваше конкретне посилання працюватиме.

TDECQ (передавач і дисперсія закриття ока Quaternary) є PAM4 еквівалентом OMA (Optical Modulation Amplitude), але більш складним. Він намагається охарактеризувати якість передавача таким чином, щоб передбачити продуктивність приймача. Вимірювання потребує еталонних приймачів і математичних перетворень, які різняться між постачальниками тестового обладнання таким чином, що викликає нескінченні дебати в комітеті стандартів.

Попереднє-тестування FEC BER має більше значення, ніж будь-коли. «Відбиток» ваших бітових помилок-випадкових чи вибухових, рівномірно розподілених чи зосереджених у певних символах PAM4-визначає, чи зможе FEC справді їх виправити. Справжні випадкові помилки чудово поєднуються з кодами Ріда-Соломона. Пакетні помилки через проблеми з відновленням тактової частоти або неправильну поведінку DSP можуть перевантажити FEC, навіть якщо необроблений BER виглядає прийнятним.

Я навчився вимагати статистику pre-FEC від кожного посилання 400G, а не лише post-FEC. Посилання, яке показує 0.00 post-FEC BER під час роботи pre-FEC BER на рівні 2×10⁻⁴, виглядає чудово, доки ви не зрозумієте, що маржі майже не залишилося. Додайте злегка забруднений роз’єм або застарілий лазер, і це з’єднання без попередження перекинеться через скелю FEC.

 

Забруднення роз’єму

 

При 400G проблема забруднення стає гострою. Модульоване око має менший запас. Частинки, які були б невидимі на низьких швидкостях, тепер послаблюються настільки, щоб мати значення.

Серцевини одномодового-волокна мають діаметр 9 мікрометрів. Роз’єм MTP/MPO-12 містить вісім активних оптоволоконних шляхів (чотири TX, чотири RX) і чотири невикористаних. Кожен цикл спарювання ризикує зараженням. Кожен забруднений торець ризикує втратою вставки, яка з’їдає ваш бюджет зв’язку.

Необхідна дисципліна прибирання не-підлягає обговоренню, але рідко дотримується її постійно. Очищувачі-в один клік, сухі серветки для захисту від статики, вологе прибирання ізопропіловим спиртом, який потрібно негайно витерти насухо, а не дати випаруватися-кожен метод має прихильників і критиків. З чим усі погоджуються: перевірте оптоволоконний приціл перед підключенням, а якщо він забруднений, очистіть його та перевірте знову.

Я спостерігав, як команда розгортання витратила цілий день на усунення несправностей переривчастого зв’язку 400G-DR4. Кілька змін модулів. Огляд конфігурації. Нарешті вийшов на огляд і виявив будівельне сміття на адаптері перегородки, яке ніхто не думав перевіряти. Двадцять секунд із інструментом для чищення виправили те, що не вдалося за чотири години усунення несправностей.

 

 

Що все це означає для планування

 

Якщо ви сьогодні розгортаєте нову структуру центру обробки даних, 400G є основою для опорного рівня та дедалі частіше для кінцевих-під’єднань. Ціна за біт знизилася до того, що розрив 4×100G від модуля 400G часто дешевший, ніж окремі модулі 100G. DR4 для всього, що перевищує 30 метрів усередині будівлі. FR4 для з'єднань кампусу. LR4 або ZR, якщо ви переходите між сайтами.

Якщо ви підприємство, яке планує розгорнути перше 400G, комутаційні платформи вдосконалилися, ланцюжок постачання модулів стабілізувався, а ціноутворення більше не потребує підпису керівника-на кожне замовлення на придбання. Почніть із оновлення-корінця, доведіть, що ваша кабельна інфраструктура може впоратися з жорсткішою толерантністю до забруднення, і зрозумійте, що ваші інструменти керування мають почати збирати статистику FEC, перш ніж вона вам дійсно знадобиться.

Якщо ви читаєте це гіпермасштабувальник, ви вже перевищили 400G для кластерів GPU і цікавитеся, як 1,6T буде фактично розгорнуто. Успіхів у вирішенні теплових проблем; Я прочитаю ваші роботи через два роки.

Самі модулі стали надзвичайно надійними. Проблеми існують скрізь: забруднені роз’єми, неправильно налаштовані режими FEC, теплові конструкції, які передбачають вчорашні конверти потужності, а також організації підтримки, які все ще навчаються вирішувати проблеми з цілісністю сигналу PAM4. Негламурні основи-чистять ваші роз’єми, вимірюють температуру, розуміють ваш бюджет FEC-важливіші, ніж дебати щодо специфікацій.