Майбутнє даних: оптичний модуль вагою 400 г

 

 

Війни форм-факторів, про які ніхто не говорить чесно

 

Завітайте на будь-яку конференцію з оптичних мереж, і ви почуєте дискусію QSFP-DD проти OSFP, оформлену як технічне порівняння. Це не так. Це політична боротьба, вбрана в специфікації.

QSFP-DD виграв боротьбу за гучність перед поставкою першого комутатора 400G. Зворотна сумісність із клітинками QSFP28 означала, що кожен оператор мережі теоретично міг оновити без руйнування існуючої інфраструктури. Це «теоретично» робить важку роботу-Я спостерігав, як інженери витрачають цілі вихідні, намагаючись змусити застарілу мікропрограму комутатора розпізнавати модулі подвійної-щільності, які фізично підходять, але електрично не працюють.

OSFP вийшов із табору Arista з простим кроком: більший модуль, краща теплотехніка, розроблений для 400G з нуля замість того, щоб змушувати вісім смуг у клітку, створену для чотирьох. Вбудований радіатор витримує 15-20 Вт без жодних потовиділень. QSFP-DD на 12 Вт? Уже розширюють теплові обмеження у розгортанні з високою щільністю.

У будь-якому випадку промисловість вибрала QSFP-DD. Перемагає сумісність. Завжди.

Але ось що ніколи не згадується у статтях про порівняння форм-факторів: різниця в тепловій потужності різко збільшується в масштабі. 32-портовий комутатор 400G, повністю заповнений модулями QSFP-DD, розсіює приблизно 640 Вт тільки від оптики. Це до комутатора ASIC, площини керування, вентиляторів, блоків живлення. Ми говоримо про 1,5-2 кіловати в шасі 1RU. Розробка повітряного потоку, необхідна для утримання цих модулів нижче лімітів температури з’єднання, межує з аерокосмічним дизайном.

 

PAM4 зробив усе складніше

 

Усі відзначають PAM4 за подвоєння спектральної ефективності. Ніхто не згадує про інженерний кошмар, який він створив.

NRZ був простий. Два рівня напруги. Сигнал представляє одиницю або нуль. Ваша діаграма очей має один отвір. Якщо він чистий, ти золотий.

PAM4 передає два біти на символ, використовуючи чотири рівні амплітуди. Три розташовані один на одному отвори для очей. Кожне око становить приблизно одну-третину висоти еквівалентного ока NRZ. Межі шуму руйнуються. Раптом кожен міліметр сліду PCB має значення. Кожен віаз створює відображення. Будь-який розрив імпедансу між основною ASIC і коміркою оптичного модуля стає проблемою надійності.

Я витратив шість місяців на налагодження розгортання 400G, де на певних портах з’являлися випадкові помилки CRC. Першопричина? Трохи{2}}-роз’єм на головній платі створив достатньо зворотних втрат, щоб пошкодити нижнє око PAM4. Ідеально підходить для 100G трафіку. Катастрофічно для 400G.

Реакцією промисловості стало обов’язкове FEC. Ви не можете запустити оптику 400G PAM4 без прямого виправлення помилок-необроблений BER просто перевищує допустимі порогові значення. RS(544,514) додає приблизно 300 наносекунд затримки. Не величезний. Але скажіть це кластеру HPC, який запускає завдання MPI, де кожна мікросекунда хвостової затримки впливає на час виконання завдання.

 

 

Кремнієва фотоніка повинна була врятувати нас

 

Висота кремнієвої фотоніки звучить ідеально на папері. Використовуйте десятиліття інвестицій у виробництво CMOS. Інтегруйте модулятори, фотодетектори та хвилеводи на одному чіпі. Досягніть ефекту масштабу, якого ніколи не могли отримати дискретні компоненти InP і GaAs. Енергоспоживання падає на 20-30%. Витрати врешті-решт досягають паритету, а потім підривають традиційні підходи.

Intel поставила понад три мільйони кремнієвих фотонних трансиверів 100G. Alibaba розгорнула кремнієві фотонні модулі 400G DR4 у своїй хмарній мережі, починаючи з 2020 року. Технологія працює.

Але кремнієва фотоніка має брудний секрет: джерела світла все одно не можуть бути кремнієвими.

Вам потрібен зовнішній лазер-зазвичай матриця з фосфіду індію-з’єднана з кремнієвим PIC або через волокно. Така гібридна інтеграція ускладнює виробництво. Страждає врожайність. Цінова перевага, яку всі обіцяли, продовжує витіснятися наступним поколінням.

Серед компаній, які подвоюють виробництво кремнієвої фотоніки для 400G, є деякі дуже розумні люди, які роблять дуже дорогі ставки. Придбання Cisco Luxtera та Acacia склали 3,26 мільярда доларів. Це не бюджетні гроші на НДДКР. Це стратегічні інвестиції в інфраструктуру.

Дані про частку ринку розповідають про більш складну історію. За даними LightCounting, кремнієві фотонні модулі все ще становлять менше 10% від загального обсягу поставок 400G, незважаючи на роки галасу. Традиційні трансивери на основі EML- домінують у програмах DR4 і FR4. Технологічний перехід відбувається повільніше, ніж передбачалося в прес-релізах.

 

Що приховують специфікації щодо охоплення

 

Угода про найменування IEEE для оптики 400G здається корисною, поки ви не спробуєте купити модулі.

400G-SR8: 100 метрів по багатомодовому волокну. Вісім паралельних смуг на 850 нм. Підходить для з’єднань у-стійці. Жахливий для будь-чого іншого.

400G-DR4: 500 метрів по одномодовому-волокну. Чотири паралельні смуги на 1310 нм. Робоча конячка для більшості з’єднань центрів обробки даних.

400G-FR4: 2 кілометри, одномодовий-режим, довжини хвиль CWDM, мультиплексовані на одну пару волокон. Використовує дорогі лазери із зовнішньою модуляцією.

400G-LR4: 10 кілометрів. Та сама схема довжини хвилі, що й FR4, але з оптичним підсиленням для збільшення охоплення.

Досить просто. За винятком того, що виробники постійно грають з цими позначеннями.

Я бачив «сумісні з DR4» модулі, які досягали 500 метрів у лабораторних умовах і виходили з ладу на 300 метрах із фактичною оптоволоконною установкою, яка має дещо підвищені втрати роз’єму. Специфікація говорить про 500 метрів із бюджетом зв’язку 7 дБ. Математика спрацьовує ідеально, припускаючи незаймані зв’язки всюди. Реальність включає в себе брудні з’єднувачі, недосконалі з’єднання та волокна, які проходили через стелю трохи довший шлях, ніж зазначено на кресленнях прокладання кабелів.

Досяжність 2 км FR4 звучить достатньо, доки ви не з’єднаєте будівлі в кампусі й не виявите, що ваш оптоволоконний шлях становить 2,3 кілометри. Тепер вам потрібні модулі LR4 втричі дорожче, або ви творчо підходите до підсилення, або погоджуєтесь, що це посилання насправді не працюватиме.

 

Рішення DR4 проти FR4

 

Це насправді має значення для реальних розгортань, і ніхто не пояснює це добре.

DR4 використовує чотири паралельні волокна для передачі та чотири для прийому. Всього вісім волокон. Роз'єм MPO-12 з чотирма невикористаними позиціями. Максимальна дальність 500 метрів. Споживана потужність зазвичай 8-10 Вт. Вартість модуля становить приблизно 60% від еквівалента FR4.

FR4 використовує мультиплексування за довжиною хвилі, щоб помістити всі чотири смуги на одну пару волокон. Дуплексний роз'єм LC. Максимальна дальність 2 кілометри. Споживана потужність зазвичай 10-12 Вт. Преміальна ціна, оскільки лазери EML недешеві.

Топологія волокна визначає все.

Ви вказали новий центр обробки даних зі структурованою кабельною мережею? Паралельне волокно має сенс. Проведіть магістральні кабелі MPO між рядами. Використовуйте DR4 всюди. Нижча вартість оптики компенсує додаткове волокно.

Браунфілд із наявним заводом дуплексного волокна? FR4 або ви тягнете новий кабель.

Змішане середовище з деякими паралельними запусками та деякими двосторонніми заводами? Ласкаво просимо до кошмару сумісності. У підсумку ви отримаєте обидва типи модулів, різні стилі роз’ємів і принаймні одну шафу, де хтось використав не той патч-корд і витратив чотири години на усунення несправностей попереджень про «з’єднання».

 

Проривне питання

 

Модуль 400G-DR4 містить чотири смуги 100G. Кожна смуга працює незалежно на оптичному рівні. Це дає змогу-підключити один порт комутатора 400G до чотирьох окремих пристроїв 100G за допомогою волоконно-роз’ємної збірки.

Економіка звучить переконливо. Один порт 400G. Чотири сервера 100G. Немає необхідності в додаткових портах комутатора.

Реальність складніша.

Комутатори ASIC не завжди підтримують довільні конфігурації прориву. Для деяких платформ потрібна спеціальна мікропрограма. Інші дозволяють прорив лише на певних групах портів. Декілька реалізують прорив в апаратному забезпеченні, але стек програмного забезпечення не відкриває опцію конфігурації.

Гірше того: розривні кабелі створюють опорні кошмари. Проблема в модулі 400G, роз'ємному вузлі чи одному з чотирьох портів пристрою 100G? Для усунення несправностей потрібно поміняти кабелі, перевірити кожну ногу окремо та молитися, щоб проблему можна було відтворити.

Я бачив, як організації всюди стандартизували нативну мережу 100G спеціально для уникнення складності прориву. Оптика коштує дорожче. Страждає щільність портів комутатора. Але простота експлуатації виграє.

 

 

Реальність енергоспоживання

 

Кожна таблиця даних модуля 400G містить перелік споживаної енергії. Цифри технічно точні і практично марні.

Типова потужність QSFP-DD DR4 може становити 8,5 Вт. Це малюнок модуля з шини 3,3 В комутатора за нормальних робочих умов. Це не включає додаткову потужність, яку споживає ASIC комутатора, керуючи цими вісьмома смугами 50G PAM4. Це не враховує накладні витрати на керування температурою-потужніші вентилятори, додатковий потік повітря, можливо, додаткове охолодження.

При 32 портах на комутатор різниця між 8-ватними та 12-ватними модулями становить 128 Вт. Це не тривіально, коли ви плануєте розподіл електроенергії для цілого ряду стійок.

Перехід від 100G до 400G не збільшує споживання електроенергії на порт у чотири рази-допомагає підвищення ефективності завдяки інтеграції та вдосконаленню DSP. Але сукупна потужність на комутатор абсолютно зросла. Центри обробки даних, які планували щільність електричної та охолоджувальної інфраструктури близько 100G, виявляють обмеження пропускної здатності під час оновлення до 400G при повній заселеності.

 

Сумісність не двійкова

 

Продавці люблять стверджувати, що «сумісні з усіма основними платформами комутаторів». Це твердження є технічно виправданим і практично вводить в оману.

Сумісність оптичного модуля залежить не тільки від фізичної придатності та електричної сигналізації. Протоколи DOM (цифрового оптичного моніторингу) залежать від постачальників. Реалізації CMIS (Common Management Interface Specification) мають достатню гнучкість, щоб дві «сумісні» реалізації могли не взаємодіяти належним чином. Деякі комутатори перевіряють ідентифікаційні коди постачальників і повністю відмовляються запалювати нерозпізнані модулі.

Сірий ринок «сумісної» оптики 400G вибухнув саме тому, що модулі брендів-коштують у 3-5 разів дорожче, ніж альтернативи сторонніх виробників. Деякі з цих альтернатив працюють бездоганно. Інші викликають незначні проблеми, які проявляються лише за певних моделей трафіку або після тижневої роботи.

Я особисто тестував сторонні-модулі 400G DR4, які пройшли всі вимірювання відповідності в лабораторії, а потім видали невиправні помилки FEC у 2% трафіку під робочим навантаженням. Температура всередині модуля під час роботи з високою -смугою пропускання перевищила температуру, яку могли витримати оптичні компоненти. Модуль запрацював. Поки цього не сталося.

 

Що означає 800G для 400G

 

Перехід на 800G вже триває. Сьогодні Hyperscalers розгортають 800G. Решта індустрії слідуватиме протягом 18-24 місяців.

Це не застаріває 400G-модулі постачатимуться роками-але це змінює економіку.

800G використовує вісім смуг 100G замість восьми смуг 50G у 400G. Така ж модуляція PAM4, вища швидкість символів на смугу. Фізика стає складнішою. Теплові оболонки досягають 20-25 Вт на модуль. Перевага теплового запасу OSFP стає більш актуальною на цих рівнях потужності.

Що ще важливіше, модулі 800G можуть створювати подвійні конфігурації 400G. Один модуль 800G-2xDR4 забезпечує два незалежних канали зв’язку 400G. Для середовищ зі змішаними вимогами до 400G і 800G ця можливість прориву спрощує керування запасами.

Оператори центрів обробки даних, з якими я спілкувався, здебільшого тримаються 400 Гбіт для кінцевого-з’єднання, тоді як оцінюють 800 Гбіт для з’єднань кластерів GPU, де найбільше значення має щільність пропускної здатності. Навчання штучного інтелекту з усіма-до-шаблонами зв’язку справді навантажує зв’язки 400G так, як ніколи не робив традиційний трафік із півночі-півдня.

 

Co-Packaged Optics Horizon

 

Усі в галузі знають, що CPO приходить. Оптичні трансивери, інтегровані безпосередньо з комутаторами ASIC. Зовсім немає модулів, що підключаються. Споживання електроенергії падає з 15 пікоджоулів на біт, можливо, до 5, потенційно нижче 1 пікоджоуля в міру розвитку технології.

NVIDIA оголосила про плани CPO для обладнання 2025/2026. Meta і Microsoft продемонстрували прототипи. OIF стандартизує інтерфейси.

Питання не в тому, чи відбувається CPO. Для вашого поточного циклу планування важливо, чи це відбувається досить швидко.

Я читаю: підключена оптика буде домінувати принаймні до 2028 року для більшості розгортань. CPO може з’явитися в користувацьких збірках гіперскейлера раніше. Операційна гнучкість модулів із можливістю гарячої заміни--здатність замінити несправну оптику без вимкнення комутатора-важлива для середовищ без N+1 резервування всюди.

Плануйте підключені 400G і 800G сьогодні. Бюджет оцінки CPO на три роки. Не дозволяйте слайдам дорожньої карти постачальника прискорювати часові рамки, чого не може витримати виробнича реальність.

 

Практичні поради, які справді допомагають

 

Для нових збірок: стандартизуйте DR4 з інфраструктурою паралельного оптоволокна. Економія коштів у порівнянні з FR4 поєднується з тисячами модулів. Заплануйте потужність і охолодження для 10 Вт на модуль, навіть якщо специфікації обіцяють 8.

Для модернізації: нав’язливо перевірте свій існуючий волоконний завод. Знайте фактичні виміряні втрати на кожному сегменті. Виявіть порушення 400-метрового обмеження DR4 до того, як прибуде ваша оптика.

Для кластерів штучного інтелекту: 800G – це вже правильна відповідь. Вимоги до пропускної здатності виправдовують премію. Не переходьте-наполовину до 400 г, якщо ваші робочі навантаження переростуть його за 18 місяців.

Для всіх: ретельно тестуйте-оптику сторонніх розробників перед масовим розгортанням. Економія реальна. Так само і невдачі. Проведіть перевірку за допомогою ваших конкретних комутаційних платформ під реалістичним навантаженням, перш ніж витрачати інвентаризацію.

Технологія працює. Двадцять мільйонів модулів 400G і 800G було відвантажено у 2024 році неспроста. Але перехід від 100G вимагає уваги до деталей, які зручно пропускати в специфікаціях і маркетингових матеріалах. Фізиці байдужі ваші терміни розгортання.