Гонка в области ИИ накладывает отпечаток на облик ЦОД: сетевая инфраструктура становится всё сложнее и сложнее в погоне за высокой пропускной способностью и минимальными задержками. За это приходится платить повышенным расходом энергии на обеспечение работы оптических трансиверов. Поэтому NVIDIA представила новое поколение коммутаторов с интегрированной кремниевой фотоникой, которое должно решать эту проблему, а заодно обеспечить повышенную надёжность и скорость развёртывания сетевой инфраструктуры.

По оценкам NVIDIA, традиционный облачный дата-центр на каждые 100 тысяч серверов расходует 2,3 МВт энергии на обеспечение работы оптических трансиверов, но в ИИ-кластерах, где каждому ускорителю нужно своё быстрое сетевое подключение, эта величина может достигать уже 40 МВт, т.е. до 10 % от общего уровня энергопотребления всего комплекса. Гораздо разумнее было тратить эту энергию на вычислительную, а не сетевую инфраструктуру.

Источник здесь и далее: NVIDIA

Новые коммутаторы Spectrum-X и Quantum-X должны решить эту проблему кардинально. В них применены новые ASIC, объединяющие на одной подложке чип-коммутатор и фотонные модули. Такой подход позволяет отказаться сразу от нескольких звеньев традиционной цепочки, входящих в классический оптический трансивер. Современный высокоскоростной трансивер включает восемь лазеров, которые потребляют порядка 10 Вт, и DSP-блок, который требует 20 Вт.

Интегрированная фотоника позволяет обойтись всего двумя внешними лазерами для обеспечения работы одного порта 1,6 Тбит/с. Лазеры соединяется в этой схеме непосредственно с фотонным модулем на борту новых ASIC. Собственно оптический движок в составе ASIC потребляет всего 7 Вт, ещё 2 Вт требует лазер. Разница в энергопотреблении минимум трёхкратная.

Кроме того, упрощение схемы соединений способствует повышению надёжности: NVIDIA говорит о 63-кратном улучшении целостности сигнала, которому не приходится добираться через несколько электрических соединений от ASIC до трансивера и внутри последнего, и о десятикратном повышении общей надёжности сети. Если в традиционной схеме потери сигнала на его электрическом пути могут составлять 22 дБ, то для схемы с фотонным модулем этот показатель составляет всего 4 дБ.

Новая схема упаковки ASIC достаточно сложна: в ней реализованы разъёмные оптические соединители, позволяющие реализовывать сценарии с различной конфигурацией портов коммутаторов, со скоростями от 200 до 800 Гбит/с. Флагманский коммутатор Spectrum SN6800 включает 512 портов 800GbE с совокупной скоростью коммутации 409,6 Тбит/с. Модель SN6810 компактнее, она предлагает 128 портов 800GbE и коммутацию до 102,4 Тбит/с.

Серия Quantum-X пока представлена моделью Quantum 3450-LD: 144 порта 800G InfiniBand с совокупной производительностью 115 Тбит/с. Сочетание высокой плотности с такими скоростями потребовала разработки и интеграции кастомной системы жидкостного охлаждения. Новые коммутаторы Quantum-X станут доступны во II половине этого года, а Spectrum-X — во II половине 2026 года.

В оптических движках собственной разработки NVIDIA использованы микрокольцевые модуляторы (MRM), реализация которых стала доступной благодаря сотрудничеству NVIDIA с TSMC в области упаковки «многоэтажных» чипов COUPE. Помимо TSMC в создании новых коммутаторов приняли участие компании Browave, Coherent, Corning Incorporated, Fabrinet, Foxconn, Lumentum, SENKO, SPIL, Sumitomo Electric Industries и TFC Communication.

Особенно серьёзно преимущества новой схемы проявляют себя в больших масштабах, на уровне сотен тысяч ускорителей. Время развёртывания снижается в 1,3 раза, а общая надёжность сети становится на порядок выше. Правда, пока что речь идёт только о коммутаторах — оптические кабели будут напрямую подключаться к их портам. Однако другой конец кабеля всё равно будет уходить в трансивер, обслуживающий отдельный ускоритель или узел. Также пока нет никаких планов по переводу NVLink на «оптику», поскольку внутри узла и NVL-стойки работать с «медью» по-прежнему проще и выгоднее.

Компания MikroTik анонсировала необычную стоечную систему RDS2216, которая фактически объединяет несколько устройств в корпусе формата 1U. Новинка может выполнять функции сервера с архитектурой Arm, сетевого хранилища данных (NAS) и коммутатора.

В основу решения положен процессор Annapurna Labs AL73400 (AWS Graviton). Чип объединяет 16 Armv8-ядер Cortex-A72 с частотой до 2 ГГц. В оснащение входят 32 Гбайт оперативной памяти DDR4 и 128 Мбайт флеш-памяти NAND. Задействован коммутационный чип Marvell Prestera 98DX4310 с частичной L3-разгрузкой.

Источник изображений: MikroTik

Система располагает двумя портами 10GbE с разъёмами RJ45, четырьмя портами SFP28 25GbE, двумя портами QSFP28 100GbE, а также четырьмя 10GbE-портами SFP+. Плюс к этому предусмотрены разъём 1GbE и консольный порт (RJ45). Имеются два порта USB 3.0 Type-A, а также пара SFF-8644. Сервер может нести на борту до 20 накопителей U.2 NVMe толщиной 7 мм (PCIe 3.0 x2) и поддержкой TCG OPAL. Кроме того, могут быть установлены два внутренних модуля М.2 с интерфейсом SATA.

Питание обеспечивают два блока с возможностью горячей замены, а за охлаждение отвечают десять вентиляторов. Диапазон рабочих температур простирается от -20 до +50 °C. В качестве программной платформы применяется RouterOS v7 (Special ROSE Edition). Эта система поддерживает такие функции, как шифрование данных, моментальные снимки, сжатие и совместное использование хранилища по протоколам NFS, iSCSI, SMB, NVMe/TCP. Устройство выполнено в оригинальном оливковом цвете. В продажу MikroTik RDS2216 поступит по ориентировочной цене $1950 без установленных накопителей.

В марте прошлого года Astera Labs анонсировала чипы Aries 6 для PCIe 6.0. Теперь компания Broadcom объявила о доступности собственных решений PCIe 6.0: дебютировали чип-коммутатор PEX 90144, а также ретаймеры BCM85668 и BCM85667.

Отмечается, что изделия с поддержкой PCIe 6.0 являются «критически важными высокопроизводительными строительными блоками», необходимыми для развёртывания передовой инфраструктуры ИИ. В тестировании продуктов приняли участие такие компании, как Micron и Teledyne LeCroy.

Источник изображений: Broadcom

Ретаймеры BCM85668 и BCM85667 поддерживают соответственно 8 и 16 линий PCIe 6. При производстве применяется 5-нм технология. Говорится об обратной совместимости с PCIe поколений 5/4/3/2/1, а также о совместимости с Compute Express Link (CXL 3.1). Возможна работа в режимах 64, 32, 16, 8, 5 и 2,5 GT/s (млрд пересылок в секунду). Изделие BCM85668 поддерживает бифуркацию x8, 2 x4 и 4 x2. В случае BCM85667 возможны конфигурации 1 x16, 4 x4 и 8 x2. Заявлена поддержка режимов с низким энергопотреблением и проприетарных режимов с малой задержкой (LL).

Чип-коммутатор PEX 90144, в свою очередь, имеет 144 линии. Изделие предназначено для координации потоков трафика. Полностью технические характеристики на данный момент не раскрываются. Год назад также упоминались чипы PEX 90104 и говорилось о разработке коммутаторов PCI Express 7.0 с поддержкой AMD AFL (Accelerated Fabric Link), коммутируемого варианта Infinity Fabric.

Компания QNAP Systems анонсировала неуправляемый коммутатор QSW-2104-2T-R2 в «настольном» форм-факторе. Утверждается, что это доступное решение подойдёт покупателям с ограниченным бюджетом, которым требуется инфраструктура стандарта 10GbE.

Устройство оснащено двумя портами 10GbE, которые также могут функционировать в режимах 1/2.5/5GbE и 100MbE. Кроме того, предусмотрены четыре разъёма 2.5GbE с поддержкой 1GbE и 100MbE. Во всех случаях используются гнёзда RJ45. Можно использовать существующие кабели Cat 5e/Cat 6/Cat 7, что сокращает затраты на модернизацию сетевой инфраструктуры.

Источник изображения: QNAP

Реализована совместимость со стандартами IEEE 802.3az и IEEE 802.3x Full-Duplex Flow Control. Встроенные средства обнаружения и блокировки сетевых петель помогают поддерживать бесперебойную работу.

Модель QSW-2104-2T-R2, по заявлениям QNAP, подходит для использования в домашних условиях, видеостудиях, офисах малых и средних предприятий, которым требуется высокоскоростное сетевое подключение для передачи больших объёмов данных, резервного копирования, обмена мультимедийным контентом или поддержания работы виртуальных машин.

Коммутатор имеет размеры 160 × 110 × 26 мм и весит 0,45 кг. Питание обеспечивает внешний адаптер; максимальное энергопотребление — 18 Вт. Диапазон рабочих температур — от 0 до +40 °C. Применено пассивное охлаждение.

Cisco объявила о расширенном партнёрстве с NVIDIA. Совместно компании намерены предоставить заказчикам гибкость выбора сетевых инфраструктур для обслуживания всё более интенсивных рабочих нагрузках ИИ и высокую производительность обмена данными между и внутри ЦОД, а также между облаками и между пользователями.

По словам Чака Роббинса (Chuck Robbins), председателя и генерального директора Cisco, сотрудничество «устранит барьеры для клиентов» и позволит им «оптимизировать свои инвестиции в инфраструктуру, чтобы раскрыть потенциал ИИ». Гендиректор NVIDIA Дженсен Хуанг (Jensen Huang) добавил, что ИИ развивается со «скоростью света», отметив преобразующий потенциал объединения глобального охвата Cisco с оптимизированными для ИИ Ethernet-решениями NVIDIA, что поможет компаниям по всему миру создать современную ИИ-инфраструктуру.

Источник изображения: Cisco

В рамках расширенного сотрудничества сетевая платформа NVIDIA Spectrum-X Ethernet на базе ASIC Cisco и NVIDIA послужит основой для многих корпоративных рабочих нагрузок ИИ. Использование унифицированной архитектуры, которая упрощает интеграцию и стандартизацию технологий Cisco и NVIDIA в корпоративных средах, позволит клиентам оптимизировать свои инвестиции в инфраструктуру, используя имеющиеся инструменты и процессы управления, охватывающие разные виды сетей.

Партнёрство двух компаний позволит их клиентам получать выгоду от текущих и будущих технологических достижений платформы NVIDIA Spectrum-X, таких как адаптивная маршрутизация, телеметрия, управление заторами и низкая задержка, а также предоставит им доступ к более широкому портфелю сетевых решений, безопасности и цифровой устойчивости Cisco, включая платформу Splunk. Поскольку компании развивают возможности ИИ и обучают модели на собственных данных, наличие комплексной стратегии безопасности становится критически важным, отмечено в пресс-релизе.

Источник изображения: NVIDIA

Если отбросить красивые маркетинговые слова, то новое сотрудничество сводится к двум основным пунктам. Во-первых, в состав платформы NVIDIA Spectrum-X теперь будут входить решения на базе ASIC Cisco Silicon One и DPU NVIDIA SuperNIC, причём допущены к платформе будут только чипы Cisco. У самой Cisco уже есть похожее решение на базе DPU Pensando от AMD.

Во-вторых, Cisco портирует на ASIC NVIDIA Spectrum фирменную сетевую ОС NX-OS, что позволит стандартизировать сетевые инфраструктуры в ЦОД, организовать единую точку управления всей сетью и интегрировать решения NVIDIA со стеком Nexus и с другими сервисами и продуктами Cisco, включая Nexus Dashboard, Nexus Hyperfabric AI, UCS и др. Cisco сама будет выпускать продукты на базе ASIC NVIDIA Spectrum.

Источник изображения: Cisco

Сотрудничество Cisco и NVIDIA распространяется на совместную разработку эталонных архитектур, включая NVIDIA Cloud Partner (NCP) и Enterprise Reference Architectures. Также Cisco и NVIDIA планируют продолжить сотрудничество для решения важных задач, таких как управление перегрузками и балансировка, и других эксплуатационных проблем, с которыми сталкиваются предприятия при масштабировании рабочих нагрузок ИИ.

Любопытно, что NVIDIA в конце концов присоединилась к консорциуму Ultra Ethernet, основанному Arista, Broadcom, Cisco и др. с целью создания современного интерконнекта для HCP- и ИИ-нагрузок на базе Ethernet. Фактически же консорциум во многом призван создать работающую альтернативу технологии Infiniband, которая монопольно контролируется и продвигается NVIDIA.

Компания QNAP Systems анонсировала неуправляемый коммутатор начального уровня QSW-3205-5T, ориентированный на использование в небольших офисах или дома. Устройство, выполненное в «настольном» форм-факторе, не требует сложной настройки и легко интегрируется в существующую сетевую инфраструктуру, говорит компания.

Новинка оснащена пятью портами 10GbE на основе разъёмов RJ45. Поддерживается работа в режимах 5GbE, 2.5GbE, 1GbE и 100MbE. Коммутатор автоматически настраивается на оптимальную скорость передачи данных в зависимости от подключенного оборудования. Порты совместимы с имеющимися сетевыми кабелями Cat6/Cat7.

Источник изображения: QNAP Systems

Устройство заключено в корпус с габаритами 44 × 210 × 160 мм, а масса составляет 0,96 кг. Диапазон рабочих температур простирается от 0 до +40 °C.  Питание обеспечивает внешний адаптер (12 В / 3 А). Коммутатор оборудован пассивным охлаждением на основе радиаторов.

Говорится о совместимости со стандартами IEEE 802.3az (Ethernet с энергосберегающим режимом) и IEEE 802.3x Full-Duplex Flow Control. Устройство имеет сертификацию по низкому уровню электромагнитных помех, что позволяет устанавливать его в офисных помещениях с постоянным присутствием людей. Встроенные функции обнаружения и блокировки сетевых петель помогают поддерживать стабильную работу. Поддерживается таблица MAC-адресов размером 16 Кбайт. На модель QSW-3205-5T предоставляется двухлетняя гарантия.

Компания Cisco анонсировала интеллектуальные коммутаторы семейства N9300 Series Smart Switches, которые, как утверждаются, позволяют переосмыслить подход к обеспечению безопасности в ИИ ЦОД путём интеграции средств защиты непосредственно в сетевую структуру.

В серию N9300 вошли модели Cisco 9324C-SE1U и Cisco 9348Y2C6D-SE1U типоразмера 1U. Они оснащены неназванным процессором Intel с 16 вычислительными ядрами, 96 Гбайт системной памяти и SSD вместимостью 480 Гбайт. Есть порт USB 3.0, а также порты управления RJ-45 и SFP (1 × 1GbE SFP у первой из названных версий и 2 × 10GbE SFP+ у второй).

Коммутаторы несут на борту ASIC Cisco Silicon One E100, которая отвечает за сетевые функции. Кроме того, имеются сетевые сопроцессоры (DPU) AMD Pensando второго поколения: четыре чипа Elba у модели Cisco 9324C-SE1U и два чипа Giglio у модификации Cisco 9348Y2C6D-SE1U. Эти DPU отвечают за такие задачи, как распределение данных, балансировка нагрузки, обеспечение безопасности, шифрование и пр.

По заявлениям Cisco, трафик интеллектуально перенаправляется между ASIC и DPU для достижения оптимальной производительности. Такой подход обеспечивает экономию средств благодаря консолидации оборудования, снижению энергопотребления и упрощению сетевой инфраструктуры. Клиенты получают возможность масштабировать сервисы и быстро адаптироваться к меняющимся бизнес-потребностям без необходимости в каких-либо дополнительных аппаратных решениях.

Источник изображений: Cisco

В составе коммутаторов DPU обеспечивают сервисную пропускную способность до 800 Гбит/с. Устройство Cisco 9324C-SE1U оснащено 24 портами 100G, а ToR-вариант Cisco 9348Y2C6D-SE1U — 48 портами 25G, двумя портами 100G и шестью портами 400G. За охлаждение отвечают шесть вентиляторов, а питание обеспечивает блок мощностью 1400 Вт. Диапазон рабочих температур — от 0 до +40 °C.

На устройствах применяется программная платформа Cisco NX-OS. Задействована фирменная система безопасности Cisco Hypershield на основе ИИ. По заявлениям разработчика, Hypershield интегрируется в коммутационный уровень, позволяя операторам дата-центров создавать защитный «микропериметр» вокруг каждой службы. Продажи младшей модели коммутатора начнутся предстоящей весной, старшей — летом.

Компания Spectra Logic анонсировала коммутатор Spectra OSW-2400, предназначенный для подключения ленточных накопителей в дата-центрах. Новинка, выполненная на основе стандарта Serial-Attached SCSI 4.0 (SAS-4), уменьшает или полностью устраняет необходимость в развёртывании более дорогой сетевой инфраструктуры Fibre Channel.

Коммутатор предоставляет до 48 линий 24G, работающих на скорости 22,5 Гбит/с. Таким образом, обеспечивается пропускная способность до 1,08 Тбит/с, а совокупная скорость передачи данных достигает 108 Гбайт/с. Отмечается, что затраты на подключение оборудования в случае Spectra OSW-2400 до 70 % ниже, чем при использовании сопоставимой инфраструктуры Fibre Channel.

Источник изображения: Spectra Logic

По заявлениям Spectra Logic, благодаря использованию активных оптических кабелей новинка обеспечивает возможность организации соединений протяжённостью до 100 м. Это позволяет охватывать ЦОД площадью до 10 тыс. м², а также организовывать передачу данных между несколькими этажами и даже между отдельно стоящими зданиями.

Коммутатор поддерживает ленточные приводы SAS-3, включая LTO-9 и IBM TS1170 Enterprise. Кроме того, заявлена обратная совместимость с устройствами SAS-2, в том числе LTO-6, LTO-7, LTO-8 и IBM TS1160 Enterprise. Поддерживаются ленточные библиотеки TFinity, T950, Spectra Cube и Spectra Stack.

Изделие оборудовано 12 портами Mini-SAS HD (24/12 Gb), к каждому из которых можно подключить до четырёх устройств, например, серверов или ленточных накопителей. Кроме того, имеется сетевой порт управления 1GbE. Коммутатор выполнен в форм-факторе 1U с размерами 439,7 × 304,8 × 44,5 мм. Предусмотрены два блока питания мощностью 220 Вт с возможностью горячей замены. За охлаждение отвечают три вентилятора, которые также допускают горячую замену.

Несмотря на торжество Ethernet, в мире сетей хранения данных (SAN) семейство технологий Fibre Channel не просто остаётся актуальным, но и продолжает развиваться. Компания Broadcom анонсировала пополнение в серии FC64-решений седьмого поколения. Это коммутатор Brocade G710, ориентированный на использование в SAN-средах малого и среднего бизнеса и предоставляющий от 8 до 24 FC64-портов SFP+.

По словам производителя, новинка обеспечивает рекордный в индустрии показатель задержки между портами, не превышающий 460 нс. Помимо этого, Brocade G710 может похвастаться надёжностью на уровне 99,9999%, функцией самовосстановления сети, а также высокой энергоэффективностью: при коммутирующей способности 1,5366 Тбит/с он потребляет лишь 65 Вт в конфигурации с 12 портами при половинной загрузке сети и 105 Вт с 24 портами при 100 % нагрузке.

Источник здесь и далее: Broadcom

Новинка способна работать в составе достаточно масштабных сетей: сертифицирована конфигурация, включающая 6000 активных узлов и 56 коммутаторов, с 19 «хопами» в SAN на базе Brocade Fabric OS. Также доступна сертификация и для более масштабных сетей, вплоть до 239 коммутаторов.

Поддерживаются все актуальные на сегодня скорости Fibre Channel в полнодуплексных режимах, от 8,5 Гбит/с (FC 8G) до 57,8 Гбит/с (FC 64G). В базовой конфигурации G710 имеет 8 активных портов, но с помощью пары POD (Ports on Demand) её легко нарастить до 24 портов. Для управления предусмотрены выделенные консольный порт и порт Ethernet, имеется разъём USB для выгрузки логов или перепрошивки устройства.

Сетевая безопасность обеспечивается за счёт управляемого доступа (реализованы все современные методы безопасной аутентификации), сетевой изоляции и аппаратного Root-of-Trust. Кроме того, компания-производитель сопровождает Brocade G710 пожизненной гарантией (до окончания сопровождения серии в целом) с техподдержкой в режиме 24x7.

Компания International Data Corporation (IDC) подвела итоги исследования мирового рынка сетевого оборудования корпоративного класса в III квартале уходящего года. Продажи Ethernet-коммутаторов и маршрутизаторов сократились в годовом исчислении.

В сегменте коммутаторов выручка в период с июля по сентябрь включительно составила $10,8 млрд. Это на 7,9 % меньше по сравнению с III четвертью 2023 года. В секторе решений для дата-центров выручка поднялась на 18,0 % в годовом исчислении, в секторе решений для прочих корпоративных заказчиков, напротив, сократилась на 24,7 %. Аналитики отмечают, что спрос на ЦОД-оборудование подпитывается внедрением ИИ-приложений, которые создают высокую нагрузку на каналы передачи данных.

Объём реализации коммутаторов стандартов 200/400GbE для дата-центров увеличился в денежном выражении на 126,3 % по отношению к III кварталу 2023 года. В сегменте коммутаторов, не связанных с ЦОД, продажи устройств 1GbE рухнули на 25,6 % в годовом исчислении.

Источник изображения: IDC

С географической точки зрения в США общий рынок коммутаторов Ethernet сократился на 6,5 % год к году. В Западной Европе падение составило 11,9 %, в Центральной и Восточной Европе — 17,8 %. В Азиатско-Тихоокеанском регионе, за исключением Японии и Китая, отмечено снижение на 8,7 % в годовом исчислении. В КНР продажи остались примерно на прошлогоднем уровне. В список крупнейших мировых поставщиков коммутаторов Ethernet входят Cisco, Arista Networks, Huawei, HPE и H3C с долями соответственно 37,2 %, 13,6 %, 9,7 %, 5,3 % и 4,1 %.

Продажи маршрутизаторов в III квартале 2024 года сократились на 17,4 % по сравнению с 2023-м — до $3,1 млрд. На поставщиков услуг пришлось 70,8 % от общего объёма рынка, а падение год к году составило 22,3 %. Корпоративный сегмент обеспечил 29,2 % продаж с падением на 2,4 %.