Розуміння оптичного модуля вагою 400 г

 

Чому 400G сталося, коли це сталося

 

Існує певна неминучість прогресування пропускної здатності, на яку звикли очікувати ветерани галузі. Стрибок з 10G до 40G на той час був значним. Потім з’явилося 100G, і раптом усі заговорили про архітектуру spine-leaf та схеми трафіку на схід-захід. Але 400G? Цей перехід був іншим.

Схема модуляції NRZ, яка добре служила нам від 1G до 25G, просто не могла економічно масштабуватися понад 100G. Фізика стала дорогою. Цілісність сигналу стала кошмаром. Технічно ви могли б посилити NRZ, звичайно-але криві витрат не мали сенсу для масштабного розгортання. Отже, галузь повернулася до PAM4.

Що робить PAM4-і це варто зрозуміти, якщо ви специфікуєте інфраструктуру-це кодує два біти на символ замість одного. Чотири рівні амплітуди замість двох. Подвійна пропускна здатність даних без подвоєння швидкості передачі даних. Компроміс? Співвідношення сигналу-до-шуму досягає приблизно 10 дБ порівняно з NRZ. Це не тривіально. Ось чому кожен модуль 400G постачається з вбудованим прямим виправленням помилок і чому DSP (процесор цифрових сигналів) став таким критичним компонентом у цих трансиверах.

 

 

Війни форм-факторів

 

Я вже багато років спостерігаю за дебатами QSFP-DD проти OSFP на виставках і зустрічах із закупівель. Обидві сторони мають вагомі аргументи. Жоден не виграв остаточно.

QSFP-DD вийшов із альянсу QSFP-DD MSA із зворотною сумісністю як головною особливістю. У вас є купа модулів QSFP28, які ви не готові замінити? Вони потраплять прямо в клітку QSFP-DD. Розміри-18,35 мм ширина, 89,4 мм довжина — зберігають знайомий форм-фактор. Ви можете розмістити 36 портів на передній панелі 1U. Це 14,4 Тбіт/с сукупної пропускної здатності, якщо заповнити кожен слот. Для операторів, які поступово оновлюють, це має величезне значення.

OSFP застосував інший підхід. Група Octal Small Form-factor Pluggable сказала: забудьте про зворотну сумісність, оптимізуємо для керування температурою та майбутньої масштабованості. При ширині 22,58 мм і довжині 107,8 мм модулі OSFP мають більшу площу поверхні для розсіювання тепла. Вони підтримують конверти потужності до 15-20 Вт порівняно зі стелею QSFP-DD 12-15 Вт. Коли ви використовуєте когерентну оптику або плануєте 800G, цей запас стає актуальним.

NVIDIA пішла-на OSFP для своєї платформи Quantum-2 InfiniBand. Це не нічого. Але корпоративні комутатори від Cisco та Arista все ще переважно постачають порти QSFP-DD.

 

Що насправді означають літери

 

Якщо ви коли-небудь дивилися на специфікацію, дивуючись, чому DR4 коштує менше, ніж FR4, незважаючи на те, що обидва є «модулями 400G», ви не самотні. Номенклатура дотримується шаблонів, але ці шаблони мають винятки, а винятки мають власну логіку.

• SR (короткий діапазон): Багатомодове волокно, довжина хвилі 850 нм. 400G-SR8 використовує вісім паралельних смуг 50G PAM4 через роз’єм MPO-16. Діапазон досягає приблизно 100 метрів на волокні OM4-70 метрів на OM3. Є також SR4, який упаковує 100G у кожну з чотирьох смуг за допомогою високошвидкісних VCSEL. Таке ж охоплення, менше волокон. Варіант 400G-SR4.2 (іноді званий BIDI) стає розумнішим завдяки двонаправленій передачі, працюючи на двох довжинах хвилі в кожному напрямку, щоб досягти 400G лише по чотирьох волокнах.
• DR4: одномодове-волокно, 1310 нм, 500 метрів. Це робоча конячка для внутрішніх-з’єднань центру обробки даних, які довші, ніж може обслуговувати SR. Кожна з чотирьох оптичних ліній передає 100G PAM4 по виділеній парі волокон. Роз’єм MPO-12. Можливість прориву тут є значною-один DR4 можна розділити на чотири незалежні канали 100G-DR, що допомагає під час підключення застарілого обладнання 100G.
• FR4: Два кілометри, один-режим. Ось де архітектура коробки передач заробляє на свою користь. Модуль використовує вісім електричних смуг 50G, перетворює їх на чотири оптичні смуги 100G через DSP, а потім за довжиною хвилі-мультиплексує всі чотири в одну пару волокон за допомогою інтервалу CWDM4 (1271, 1291, 1311, 1331 нм). Дуплексний роз'єм LC. Набагато більш акуратне підключення кабелів, ніж паралельний підхід DR4.
• LR4 і далі: Та сама схема довжини хвилі, що й FR4, але оптимізована для радіусу дії 10 км. ER4 розганяється до 40 км. ZR4 досягає 80 км, але вимагає узгодженого виявлення-цілком іншої технології, іншої ціни, іншого варіанту використання. Стандарт 400ZR від OIF спеціально націлений на додатки DCI для метро, ​​де потрібна вставна когерентна оптика на передній панелі комутатора.

 

 

Питання DSP

 

Кожен трансивер 400G містить цифровий сигнальний процесор. Кожен. Це не обов’язково-Модуляція PAM4 просто не працює без складної обробки сигналу.

Що насправді робить DSP? Вирівнювання-прямого каналу для компенсації втрати каналу. Вирівнювання зворотного зв’язку рішення для інтер-символьної інтерференції. Годинник і відновлення даних для вилучення часу з отриманого сигналу. Кодування FEC під час передачі, декодування FEC і виправлення помилок під час отримання. У когерентних модулях додайте до цього списку компенсацію хроматичної дисперсії та керування дисперсією режиму поляризації.

DSP споживає електроенергію. Багато чого. У багатьох модулях 400G на DSP припадає більше половини загального енергоспоживання. Marvell, Broadcom і Inphi (зараз є частиною Marvell) змагаються за скорочення вузлів процесів і підвищення ефективності. Перехід від 7-нм до 5-нм DSP забезпечив значну-економію електроенергії порядку 20% для еквівалентної функціональності.

Тривають дебати щодо того, чи слід DSP переміщувати в саму ASIC комутатора (те, що деякі називають «лінійною підключаючою оптикою» або LPO). Аргумент: якщо ви вже виконуєте обробку сигналу на комутаторі, навіщо копіювати це в кожному трансивері? Контра-аргумент включає взаємодію модулів і практичні проблеми кваліфікації оптики на різних платформах комутаторів. Це відбуватиметься протягом наступних кількох років.

 

Кремнієва фотоніка входить в картину

 

Пам’ятаєте, коли всі вважали, що лазери на основі фосфіду індію будуть домінувати на 400G? Розповідь змінилася.

Intel і Cisco на початку зробили ставку на кремнієву фотоніку-інтегруючи оптичні компоненти на кремнієві підкладки за допомогою стандартних процесів виготовлення CMOS. Обіцянка завжди стосувалась витрат у масштабі. Традиційна дискретна оптика потребує ручного складання лазерних чіпів, модуляторів, фотодетекторів, кожен із різних матеріалів. Кремнієва фотоніка дозволяє створити більшу частину оптичного механізму на одному кристалі.

Кремнієві фотонічні модулі 400G-DR4, які постачаються сьогодні, пропонують переконливу економію для гіпермасштабного розгортання. Вони не завжди дешевші за-альтернативи на основі EML-все ще-але траєкторія витрат надає перевагу кремнію, оскільки продуктивність продукції покращується. Споживання електроенергії також має переваги, особливо в секції модулятора.

Тим не менш, кремній робить посередній лазер. Проблема непрямої забороненої зони не була вирішена. Тож навіть кремнієві фотонічні модулі зазвичай використовують зовнішню гібридну мікросхему InP або GaAs,-інтегровану в кремнієву платформу. Це елегантна інженерія, але «кремнієва фотоніка» залишається дещо бажаною термінологією.

 

Енергетичні та теплові реалії

 

Повітряне охолодження досягає своїх практичних меж для цих щільностей. Рідинне охолодження-холодні пластини на ASIC комутаторів, потенційне занурення для цілих стійок-більше не є екзотикою. Це просто дорога інфраструктура, яку організації все ще вчаться визначати та підтримувати.

 

Сценарії прориву

 

Одна можливість, якій не приділяється достатньо уваги: ​​модулі 400G часто можуть бути налаштовані для роботи в режимі розриву, представляючи кілька низько-інтерфейсів до головної системи.

400G-SR8 може перетворитися на два канали 200G-SR4, або два канали 100G-SR4, що працюють на половинній швидкості, або навіть вісім незалежних каналів 50G («каналізований» або варіант SR8-C). 400G-DR4 може роз’єднатися до чотирьох 100G-DR-з’єднань — корисно, коли вам потрібно під’єднати порт комутатора 400G до чотирьох окремих серверів 100G.

Тут стає цікаво прокладка кабелів. Дуплексний джгут від MPO-12 до 4xLC використовує один порт DR4 і розгортає його до чотирьох незалежних пар SMF. Мережевим архітекторам подобається ця гнучкість, але наслідки для управління кабелем реальні. Ваш план структурованих кабелів повинен враховувати сценарії прориву з першого дня, інакше ви будете використовувати спеціальні коммутаційні кабелі через шість місяців після розгортання.

 

Що означає 800G для 400G

 

Галузь швидко розвивається. 800Зараз постачаються трансивери G-переважно варіанти SR8 і DR8 для з’єднань кластерів AI. Чи робить це 400G застарілим? Навіть близько.

Екосистема 400G стала дорослішою. Вартість модуля суттєво знизилася. Взаємодія між постачальниками добре-налагоджена. Для більшості потреб корпоративних і хмарних мереж 400G представляє найкращу продуктивність, вартість і звичність роботи. Протягом багатьох років він залишатиметься об’ємною грою для листоподібних-матеріалів і підключення-центру обробки даних загального призначення.

800G і, зрештою, 1,6T будуть домінувати в середовищах AI/ML, де графічні процесори повинні переміщувати навчальні дані з абсурдною швидкістю. Інший ринок, інші вимоги, різні розмови про бюджет. Більшості мереж не доведеться йти за цією кривою.

 

 

Практичні міркування, про які ніхто не пише

 

Деякі речі навчилися на важкому шляху:

Сумісність модуля EEPROM має більше значення, ніж визнають постачальники. «Сумісні» трансивери, які добре працюють в одній моделі комутатора, можуть викликати помилки в іншій моделі з тією самою ASIC, але іншою мікропрограмою. Збільште час тестування під час кваліфікації-оптики третьої сторони.

Роз’єм LC на модулях FR4 і LR4 є дуплексним-загалом два волокна-, але роз’єм MPO на DR4 та SR8 використовує полірування APC (кутовий фізичний контакт). Змішування роз’ємів APC і UPC призведе до зворотних втрат і періодичних помилок 20 дБ+. Кольорове кодування існує неспроста.

Модулі PAM4 від різних виробників можуть мати дещо різні реалізації FEC. Стандарти залишають простір для тлумачення. Якщо ви бачите незрозуміло високу кількість виправлених помилок у посиланні, спробуйте замінити один кінець на той самий-модуль постачальника, перш ніж звинувачувати волоконний завод.

Температура має значення. Ці модулі зазвичай розраховані на температуру корпусу до 70 градусів, але продуктивність знижується до того, як ви досягнете цієї стелі. Тримайте їх спокійно, якщо ви хочете мати послідовну поведінку.

 

Дорога вперед

 

Оптичні модулі 400G перейшли від передової до основної інфраструктури. Технологічні рішення-QSFP-DD проти OSFP, паралельна проти WDM, кремнієва проти дискретної оптики-більше не несуть такого ризику, як три роки тому. Існують надійні ланцюжки поставок. Кілька кваліфікованих постачальників конкурують за ціною та функціями. Органи стандартизації виправили більшість крайових випадків сумісності.

Для мережевих архітекторів, які планують розгортання сьогодні, система вибору проста: відповідність форм-фактора вашій стратегії платформи комутатора, вибір типу трансивера (SR/DR/FR/LR) на основі фактичних вимог до охоплення та не перевищуйте-спец. 400G-LR4 коштує значно дорожче, ніж 400G-DR4. Якщо ваші найдовші пробіжки становлять 300 метрів, ви витрачаєте бюджет без будь-яких операційних переваг.

Наступні кілька років принесуть поступові вдосконалення: DSP з нижчою потужністю, кращий вихід кремнієвої фотоніки, можливо, певну стандартизацію навколо лінійних архітектур. Але фундаментальна технологічна платформа стабілізувалася. 400G більше не з’являється. Тепер це просто інфраструктура-та, яку ви можете впевнено планувати.

А чесно? Після хаосу ранньої ери 100G цю передбачуваність варто оцінити.