Карта мережевого інтерфейсу (NIC)

Ваш сервер має порти 100G, але мережевий адаптер підтримує лише 10G. Вітаємо -, ви щойно заплатили за пропускну здатність, якою ніколи не скористаєтеся. Плата мережевого інтерфейсу є найбільш забутим вузьким місцем у сучасному дизайні мережі. У той час як інженери стурбовані специфікаціями комутаторів і трансиверів, мережевий адаптер тихо визначає фактичну пропускну здатність, яку може забезпечити кожен сервер. Цей посібник виходить за рамки базових визначень, щоб пояснити, як працюють мережеві карти, які типи існують і - найважливіше - як правильно підібрати мережеву картутрансивер, ЦАП кабель, абоAOCдля максимальної продуктивності.

 

 

Що таке карта мережевого інтерфейсу?

Плата мережевого інтерфейсу (NIC), яка також називається мережевим адаптером або контролером мережевого інтерфейсу, є апаратним забезпеченням, яке підключає сервер, робочу станцію або пристрій зберігання даних до мережі. Він обробляє перетворення між даними всередині хост-системи та сигналами по дроту чи оптоволокну -, керуючи всім: від інкапсуляції кадру та перевірки контрольної суми до обробки переривань і передачі DMA.

Кожен мережевий адаптер має унікальну MAC-адресу, записану в мікропрограму, яка служить ідентифікатором пристрою в мережі рівня 2. Перші мережеві карти постачалися як окремі карти розширення PCI. Сьогодні більшість споживчих ПК використовують LAN-on-чіп материнської плати (LOM) для базового підключення 1G. Але в центрах обробки даних і корпоративних середовищах виділені карти NIC залишаються важливими, оскільки бортові контролери просто не можуть забезпечити пропускну здатність, можливість розвантаження або щільність портів, які вимагають сучасні робочі навантаження.

 

 

Як насправді працює мережевий адаптер: крім «надсилання та отримання»

Пояснення підручника - "Мережні карти інкапсулюють дані у фрейми та надсилають їх" - є технічно правильним, але втрачає те, що робить мережеві карти цінними. Ось що відбувається під капотом у сучасному сервері NIC:

 

Обробка кадрів

На стороні передачі мережевий адаптер бере дані з мережевого стеку ОС, додає заголовки Ethernet і контрольні суми CRC, а потім серіалізує їх в електричні або оптичні сигнали. На стороні прийому він повертає процес, перевіряючи CRC і видаляючи заголовки перед передачею корисного навантаження на хост.

 

Розвантажити двигуни

Саме тут мережеві карти заробляють на утримання. Сучасні мережеві адаптери розвантажують завдання, які в іншому випадку споживали б цикли ЦП: обчислення контрольної суми TCP/UDP, розвантаження сегментації TCP (TSO), розвантаження великого прийому (LRO) і масштабування сторони прийому (RSS), яке розподіляє вхідний трафік між кількома ядрам ЦП. Без цих розвантажень мережевий адаптер 25G міг би наситити ядро ​​процесора лише обробкою пакетів.

 

Обхід ядра з DPDK

Навіть із розвантаженням апаратного забезпечення мережевий стек ядра ОС створює накладні витрати на надвисоку швидкість пакетів. NIC, які підтримують DPDK (Data Plane Development Kit), дозволяють програмам читати та записувати пакети безпосередньо з простору користувача, повністю минаючи ядро. Це зменшує затримку-пакета з мілісекунд до однозначних-мікросекунд -, що є вимогою для високо-торгівлі, функцій-площини користувача 5G і робочого навантаження NFV, що підвищує-швидкість лінії на 100G-лінках.

 

DMA і об'єднання переривань

Замість того, щоб центральний процесор копіював кожен пакет, мережевий адаптер використовує прямий доступ до пам’яті для запису кадрів безпосередньо в системну оперативну пам’ять. Об'єднання переривань групує кілька подій пакетів в одне переривання ЦП, що значно зменшує накладні витрати на високій швидкості пакетів.

 

Підтримка віртуалізації

У віртуалізованих середовищах SR-IOV (однокоренева віртуалізація вводу-виводу) дозволяє одному фізичному мережевому адаптеру представляти кілька віртуальних функцій, кожну з яких призначено безпосередньо віртуальній машині. Це повністю обходить віртуальний комутатор гіпервізора, забезпечуючи майже-голу-металеву продуктивність мережі для віртуальних машин.

 

 

Типи мережевих карток: практична класифікація

 

За типом інтерфейсу - Це те, що визначає ваші кабелі

Тип порту NIC	Роз'єм	ЗМІ	Типова швидкість	Максимальна відстань
RJ45 (Base-T)	RJ45	Cat5e/Cat6/Cat6a мідь	1G / 2.5G / 5G / 10G	100m
SFP+	LC дуплекс	Трансивери 10G SFP+або 10GКабелі DAC	10G	80 км (волокно) / 7 м (DAC)
SFP28	LC дуплекс	Трансивери 25G SFP28або 25G DAC	25G	40 км (волокно) / 5 м (DAC)
QSFP+	MPO або LC	Трансивери 40G QSFP+	40G	40 км (волокно) / 7 м (DAC)
QSFP28	MPO або LC	Трансивери 100G QSFP28або 100 грКабелі DAC	100G	80 км (волокно) / 5 м (DAC)
QSFP-DD	MPO або LC	Трансивери 400G QSFP-DD	400G	10 км+ (волокно)

Чому це важливо:Тип порту NIC визначає, які трансивери та кабелі можна використовувати. Вибір дво-портової мережевої карти SFP28 блокує вас в екосистемі SFP28 -Оптичні модулі 25G SFP28, SFP28Кабелі DACабо SFP28кабелі AOC. Оберіть неправильно, і вам доведеться купувати адаптери або міняти карти.

 

Примітка щодо роз’ємів MPO проти LC:Порти QSFP+ і QSFP28 із позначкою «SR4» використовують паралельну оптику - чотири смуги 10G або 25G, що передаються одночасно. Це вимагаєПатчкорди MPO/MTP-12з 8 або 12 волоконними сердечниками, а не стандартним дуплексомLC кабелівикористовується модулями SFP+ або SFP28. Якщо ви вперше розгортаєте оптику 40G або 100G SR4, існуюча інфраструктура двох-волоконних патч-панелей не працюватиме - планом для магістральних кабелів і касет MPO.

 

Через інтерфейс шини - PCIe Generation має значення

Усі сучасні серверні мережеві карти використовують PCIe. Але покоління PCIe та ширина смуги встановлюють жорстку стелю пропускної здатності:

• PCIe 3.0 x8:~64 Гбіт/с - достатньо для подвійного-порту 25G або одного-порту 40G
• PCIe 3.0 x16:~128 Гбіт/с - достатньо для одного-порту 100G
• PCIe 4.0 x16:~256 Гбіт/с - потрібно для подвійного-порту 100G або одного-порту 200G
• PCIe 5.0 x16:~512 Гбіт/с - вмикає мережеві карти 400G

NIC 100G, підключений до слота PCIe 3.0 x8, фізично не може забезпечити 100G. Перед покупкою завжди перевіряйте генерацію та ширину слота PCIe вашого сервера.

 

За форм-фактором - OCP NIC 3.0 є новим стандартом

Традиційні додаткові карти PCIe все ще домінують на корпоративних серверах, але гіпермасштабовані центри обробки даних значною мірою перейшли на стандарт OCP NIC 3.0 (як малий форм-фактор, так і великий форм-фактор). OCP NIC підключаються до спеціального мезонінного слота на материнській платі сервера замість того, щоб займати стандартний слот розширення PCIe. Переваги є суттєвими: можливість гарячої-заміни без вимкнення живлення сервера, покращена теплова конструкція з прямим потоком повітря через мережевий адаптер і коротший електричний шлях до ЦП, що зменшує проблеми з цілісністю сигналу на швидкостях 100G+. Якщо ваша серверна платформа підтримує OCP 3.0 -, а більшість сучасних проектів основних ODM підтримує -, це має бути вашим першим вибором для розгортання мережевих карт 100G і 200G.

 

За рівнем інтелекту

Стандартні мережеві картиобробляти базову обробку пакетів із розвантаженням апаратного забезпечення. Підходить для більшості додатків підприємств і центрів обробки даних.

SmartNICдодайте програмований блок обробки даних (DPU), який може виконувати правила брандмауера, шифрування, балансування навантаження та телеметрію безпосередньо на мережевій картці, звільняючи ядра центрального процесора для робочих навантажень програми. У хмарній інфраструктурі, де монетизується кожне ядро ​​ЦП, SmartNIC окупають себе, повертаючи ядра, які в іншому випадку запускали б OVS або IPsec.

RDMA NIC (RNIC)підтримка протоколів віддаленого прямого доступу до пам’яті, як-от RoCEv2 або iWARP, що дозволяє-пересилати пам’ять між-серверами з однозначною-мікросекундною затримкою. У навчальних кластерах GPU, побудованих навколо прискорювачів NVIDIA H100 або A100, мережеві карти RDMA не є додатковими - вони є основою. Кожному вузлу графічного процесора потрібне з’єднання 200G або 400G RDMA, щоб-зниження градієнтної синхронізації не ставало вузьким місцем навчання. Крім штучного інтелекту, мережеві карти RDMA однаково важливі для робочих навантажень HPC і систем зберігання під керуванням NVMe-oF, де ядро-обхідних шляхів даних скорочує затримку доступу до сховища в 10 разів.

 

 

Як вибрати правильний мережевий адаптер: система прийняття рішень

Крок 1 - Визначте вимоги до швидкості.Зіставте його з пропускною спроможністю комутатора, а не з максимальною теоретичною потребою. Якщо ваш комутатор ToR має порти 25G, спрямовані-на сервер, 25G NIC є правильним вибором -, а не 10G (надто повільно) або 100G (марно).

Крок 2 - Виберіть тип інтерфейсу.Для -з’єднань у стійці менше 5 метрів об’єднайте мережеву плату в пару з aЦАП кабельза найнижчу вартість і затримку. Для між-стійкових з’єднань до 100 метрів використовуйте anКабель AOCабо трансивер-короткого радіусу дії зLC волоконний патчкорд. Для зв’язків від-до-будівель або кампусу використовуйте-далекий доступоптичний трансивер-, наприклад aМодуль 100G QSFP28 LR4з одномодовим-волокном іПатчкорди MPO/MTP.

Крок 3 - Перевірте сумісність з PCIe.Перевірте доступну генерацію слотів PCIe вашого сервера та ширину смуги відповідно до вимог мережевої карти.

Крок 4 - Оцініть потреби розвантаження.Запускаєте віртуалізацію з десятками віртуальних машин? Надайте пріоритет підтримці SR-IOV. навчальний кластер ШІ? Можливість RDMA не-підлягає обговоренню. Хмарні-мікросервіси? SmartNIC із програмованим конвеєром економить ядра ЦП.

Крок 5 - Плануйте резервування двох-портів.Виробничі сервери завжди повинні мати принаймні два порти NIC для агрегації посилань (LACP) або активного-резервного перемикання після відмови. Подвійні-карти NIC є більш-ефективними, ніж дві однопортові-карти.

 

 

Поширені помилки NIC (і як їх уникнути)

Купівля 10G RJ45 NIC для використання в центрі обробки даних.10GBASE-T NIC споживає на 2–5 Вт більше енергії на порт, ніж SFP+ NIC, і виділяє значно більше тепла. У стійці з 40 серверами це 80–200 Вт непотрібного теплового навантаження. використанняТрансивери 10G SFP+натомість із мережевими адаптерами SFP+.

Ігнорування оновлень прошивки та драйверів.Помилки мікропрограми мережевої плати спричиняють безшумне скидання пакетів, помилки CRC і зниження продуктивності. Постачальники випускають критичні патчі прошивки, які часто не застосовуються, тому що мережева карта «здається, працює добре».

Невідповідність швидкості NIC і швидкості порту комутатора.Мережевий адаптер 25G, підключений до порту комутатора 10G, автоматично -переходить на 10G -, але деякі мережеві адаптери справляються з цим погано, що призводить до переривань зв’язку або помилок CRC. Завжди перевіряйте сумісність швидкості або використовуйте відповідне обладнання.

 

 

поширені запитання

Яка різниця між NIC і LOM?

LOM (LAN на материнській платі) — це базовий мережевий контролер, інтегрований у материнську плату сервера, який зазвичай пропонує підключення 1G або 10G Base-T. Спеціальна мережева карта забезпечує вищу швидкість (25G–400G), розширені можливості розвантаження, як-от SR-IOV, і параметри оптичного інтерфейсу для використання з оптоволокномтрансивериіDAC/кабелі AOC.

Чи можу я використовувати трансивери-третіх сторін у моїй мережній карті?

так Більшість мережевих карт від Intel, Mellanox/NVIDIA та Broadcom приймають -сумісні з MSA-треті сторониоптичні трансивери. Однак деякі прошивки мережевих плат можуть відображати попередження про сумісність. Відомі постачальники надають трансивери, закодовані для певних марок мережевих адаптерів, щоб забезпечити чисту роботу.

Яка швидкість мережевого адаптера мені потрібна для ШІ та машинного навчання?

Для навчальних кластерів GPU (NVIDIA H100, A100 або подібних) кожен вузол зазвичай потребує200Gабо 400G RDMA-NIC (RoCEv2), щоб запобігти вузьким місцям у мережі-зменшити градієнтну синхронізацію. Робочі навантаження з обслуговування висновків менш вимогливі та часто можуть працювати на 25G–100G залежно від розміру моделі та пропускної здатності запиту. Поєднайте тренувальні мережеві карти зМодулі 400G QSFP-DDдля з'єднань хребта або використанняТрансивери 100G QSFP28для посилань-до-сервера в менших кластерах.

Чи вартий SmartNIC додаткових витрат?

Для хмарних провайдерів і великих підприємств, які використовують потужну мережеву віртуалізацію, так - SmartNIC можуть відновити 4–8 ядер ЦП на сервер, розвантаживши функції віртуальної комутації, безпеки та телеметрії. Для стандартного-локального розгортання з помірною віртуалізацією зазвичай достатньо стандартного мережевого адаптера з підтримкою SR-IOV.

Як підключити мережевий адаптер до оптоволоконного кабелю?

Мережні карти з портами SFP+, SFP28, QSFP28 або QSFP-DD потребують відповідностіоптичний приймально-передавальний модульдля взаємодії з волокном. Вставте трансивер у порт NIC, а потім підключіть відповіднийволоконний патчкорд - LC дуплексдля портів типу SFP-,MPO/MTPдля паралельної оптики типу QSFP-. Для зв’язків на короткі -відстані в стійках, aЦАП кабельусуває потребу в трансивері та оптоволокні.