Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

По оценкам Dell'Oro Group, выручка от реализации кампусных Ethernet-коммутаторов в I квартале 2024 года в глобальном масштабе сократилась практически на четверть — на 23 % — по сравнению с аналогичным периодом предыдущего года. В результате объём рынка достиг двухлетнего минимума.

Говорится, что снижение спроса зафиксировано во всех регионах, за исключением Центральной и Латинской Америки (CALA). Отмечается сокращение отгрузок портов практически всех типов. Кроме того, в годовом исчислении снизилась средняя стоимость коммутаторов.

Источник изображения: Dell'Oro Group

Среди ведущих игроков названы Arista Networks, Cisco и Ubiquiti. У первой из названных компаний выручка от поставок кампусных Ethernet-коммутаторов в I четверти 2024-го поднялась более чем на 80 % год к году. Третий квартал подряд Arista наращивает рыночную долю. Ubiquiti также смогла незначительно увеличить объём реализации. У Cisco продажи, напротив, резко сократились: падение в годовом исчислении превысило 25 %. Годом ранее Cisco продемонстрировала существенный рост, связанный с удовлетворением отложенного спроса.

В исследовании отмечается, что некоторые поставщики кампусных Ethernet-коммутаторов в I квартале 2024 года смогли увеличить среднюю стоимость портов благодаря расширению ассортимента продукции. Прогнозируется, что спрос на устройства с поддержкой 5GbE-портов увеличится на фоне роста востребованности точек доступа стандарта Wi-Fi 7.

Финский телеком-гигант Nokia, только что избавившийся от непрофильной с его точки зрения дочерней компании Alcatel Submarine Networks (ASN), анонсировал планы приобрести Infinera за $2,3 млрд. По данным Silicon Angle, сделка должна помочь масштабировать оптический сетевой бизнес компании.

Nokia заявила, что покупка Infinera поможет ускорить развитие в сфере оптических сетевых решений. Информация о сделке появилась после решения Nokia продать бизнес ASN, связанный с выпуском, прокладкой и обслуживанием подводных интернет-кабелей. Это позволит компании переформатировать свой инфраструктурный бизнес, сконцентрировав внимание на фиксированных сетях, IP-решениях и оптических технологиях.

Nokia согласилась выкупить акции Infinera по $6,65/шт., т.е. на 28 % выше их стоимости на момент закрытия торгов в минувшую среду. Как минимум 70 % этой суммы придётся на денежные средства, до 30 % акционеры Infinera смогут получить в виде американских депозитарных акций, принадлежащих Nokia. Nokia также возьмёт на себя долг Infinera на сумму $760 млн в виде конвертируемых облигаций (при некоторых условиях можно конвертировать в акции компании). Oaktree Optical Holdings, L.P., владеющая 11 % акций, проголосовала за проведение сделки.

Nokia приняла решение переформатировать свой оптический сетевой бизнес ещё в 2021 году. Утверждается, что решение было верным и компания получила более широкое признание клиентов, нарастила продажи и увеличила прибыльность. В Nokia считают, что покупка Infinera увеличит масштаб бизнеса в области оптических сетей на 75 %, позволит ускорить выпуск продуктов и повысит конкурентоспособность. Так, Nokia получит разработчиков DSP и фотонных чипов, экспертов в области кремниевой фотоники и полупроводниковых материалов на основе фосфида индия.

Среди преимуществ сделки также отмечается то, что заказчики обеих компаний практически не пересекаются друг с другом. Это позволит Nokia расширить клиентскую базу и привлечь корпоративных заказчиков. Порядка 30 % продаж Infinera приходится на гиперскейлеров. Кроме того, Infinera в последнее время занималась разработкой высокоскоростных энергоэффективных оптических решений для построения сетей внутри ЦОД, которые ориентированы на обслуживание ИИ-кластеров.

Nokia заявила, что сделка позитивно скажется на прибыли на акцию в первый же год после закрытия. К 2027 году прибыль на акцию (EPS) вырастет на 10 %, а операционная прибыль поднимется на €200 млн. Чтобы компенсировать «размывание» акций, совет директоров компании проголосовал за увеличение и ускорение обратного выкупа ценных бумаг, благодаря чему количество акций в обращении уменьшится. Nokia ожидает, что единовременные затраты на интеграцию Infinera составят €200 млн.

Intel ведет исследования в области интегрированной фотоники уже много лет, поскольку успех в этой сфере критически важен для HPC-систем нового поколения. Два года назад компания сообщила о создании технологии, использующей существующие техпроцессы обработки 300-мм кремниевых пластин для формирования массива лазеров вкупе с модуляторами. А сейчас можно говорить о достижении новой важной вехи в этой области.

На OFC 2024 Intel продемонстрировала опытный образец CPU, оснащённый 64-канальным фотонным интерконнектом OCI (Optical Compute Interconnect). Каждый канал позволяет передавать данные на скорости 32 Гбит/с на расстоянии до 100 м, что позволит решить проблему масштабирования HPC-систем и ИИ-комплексов: пропускной способности 2 Тбит/с (256 Гбайт/с) в каждом направлении хватит на многое. А в перспективе скорость будет доведена до 32 Тбит/с.

Источник изображений: Intel

В настоящее время в системах подобного класса для высокоскоростного соединения узлов используются либо решения с внешними оптическими трансиверами, что серьёзно увеличивает стоимость и энергопотреблению в целом, либо классическую «медь», серьёзно ограниченную по максимальной длине кабеля. OCI позволяет избежать обеих проблем.

Чиплет использует DWDM (восемь длин волн на волокно) и при этом экономичен: энергозатраты на передачу информации составляют всего 5 пДж/бит против 15 пДж/бит у решений с внешними оптическими трансиверами. Ранее заявленную цифру 3 пДж/бит пришлось немного увеличить, что связано с интеграцией интерфейса PCIe.

Внешне продемонстрированный образец чипа напоминает выпускавшиеся когда процессоры Xeon с поддержкой Omni-Path, но вместо электрического разъёма у него теперь оптический соединитель на восемь пар волокон. С помощью простого пассивного переходника к нему в демонстрационной системе Inel был подключен типовой оптоволоконный кабель.

Поскольку речь идёт о чиплете, теоретически ничто не мешает разместить модуль OCI в составе GPU/NPU, FPGA, DPU/IPU и вообще любой модульной SoC. При этом чиплет совместим с PCIe 5.0, так что проблем с интеграцией быть не должно, хотя это и не самый оптимальный вариант. А на уровне упаковки поддерживается и UCIe.

Вкупе с предельной дистанцией до 100 м новый чиплет существенно упростит системы интерконнекта: за редкими исключениями, вроде NVIDIA NVLink или Intel Gaudi 3 с его массивом Ethernet-контроллеров, связь организуется посредством PCIe-адаптера InfiniBand, либо Ethernet, в которые устанавливаются оптические трансиверы. Впрочем, и у PCI Express вскоре появится поддержка оптических подключений, что будет на руку Ultra Accelerator Link (UALink).

В следующем поколении пропускная способность каждой линии OCI возрастёт с 32 до 64 Гбит/с, после чего Intel планирует довести число одновременно используемых длин волн до 16. Затем, в промежутке между 2030 и 2035 годами планируется достигнуть 128 Гбит/с на линию, уже с 16 длинами волн и 16 парами волокон. Но без конкуренции здесь не обойдётся. NVLink, который уже сейчас существенно быстрее (1,8 Тбайт/с в нынешнем поколении), вскоре тоже обзаведётся оптической версией. Похожие решения развивают Celestial AI, MediaTek и Ranovus, Lightmatter и Ayar Labs.

Nokia анонсировала опционное соглашение с властями Франции о продаже компании Alcatel Submarine Networks (ASN), занимающейся выпуском, прокладкой и ремонтом подводных кабелей и сопутствующими сетевыми решениями. Со стороны Франции в сделке участвует агентство Agence des participations de l'Etat (APE). Финская компания на время сохранит 20 % долю и место в совете директоров ASN, которые впоследствии будут переданы Франции.

ASN не является ключевым бизнесом Nokia, поэтому после продажи компания сможет уделять больше внимания сетевым инфраструктурным решениям на ключевых рынках и повышению прибыльности бизнес-группы Network Infrastructure, где останутся три подразделения: Fixed Networks, IP Networks и Optical Networks. Чистые продажи группы в целом, как ожидается, упадут на €1 млрд, но операционная рентабельность продаж вырастет на 100–150 базисных пунктов.

Французская ASN является одним из мировых лидеров в создании систем подводных сетевых коммуникаций «под ключ». В собственности у Nokia France (ранее Alcatel-Lucent) она существенно повысила выручку и сегодня имеет хорошие позиции для дальнейшего развития на растущем рынке подводных кабелей. ASN владеет флотом из семи кораблей, а в 2021 году компания анонсировала приобретение ещё двух судов.

Источник изображения: ASN

Франция имеет долгосрочные планы по развитию критической телеком-инфраструктуры и гарантирует продолжение работы ASN клиентам, сотрудникам и партнёрам. Французские власти также согласились инвестировать в развитие бизнеса компании. Агентство APE уже управляет большим портфелем активов в самых разных промышленных секторах, сервисах и бизнесах. 80 % доля в ASN обойдётся APE в €350 млн ($375 млн).

Сделку планируют закрыть в конце 2024 или начале 2025 гг., пока предстоят консультации заинтересованных структур и получение одобрения регуляторов. В Nokia заявляют, что её подразделение Network Infrastructure только выиграет от продажи, сконцентрировав внимание на других проектах, хотя ASN сегодня имеет очень сильные позиции. В самой ASN рассматривают сделку, как новую фазу развития компании. Рады соглашению и французские власти. Их представитель подчеркнул, что ASN — не только один из мировых лидеров на рынке подводных кабелей, но и единственная компания такого уровня в Европе.

Американские власти расследуют деятельность китайских телеком-операторов China Mobile, China Telecom и China Unicom. Datacenter Dynamics сообщает, что меры будут приниматься на фоне опасений, что принадлежащие государству компании могут обеспечивать китайское правительство сведениями об американских данных с помощью своих облаков и каналов связи.

По данным СМИ, власти уже завершили анализ рисков в отношении China Mobile и China Telecom, но пока не слишком преуспели в расследовании работы China Unicom. Все три компании в той или иной степени ведут дела в США, хотя в очень ограниченных масштабах — после решения ограничить их деятельность из-за возможных угроз национальной безопасности.

В 2022 году Федеральная комиссия связи (FCC) США отозвала разрешение подразделения China Unicom Americas предоставлять телекоммуникационные сервисы в США. Аналогичный запрет в отношении China Telecom ввели в 2021 году. Наконец, поданную China Mobile заявку на предоставление на территории США услуг телефонной связи отклонили ещё в 2019 году.

Источник изображения: Mudit Agarwal/unsplash.com

Ранее в 2024 году FCC предписала американским подразделениям China Telecom, China Unicom и China Mobile прекратить в стране операции связанные с фиксированным и мобильным доступом в интернет. Ранее регулятор объявил, что китайские телеком-компании эксплуатируются китайским правительством, находятся под его влиянием и контролируются им. Особо отмечены риски, связанные с доступом к точкам присутствия (POP) в США, обычно расположенным в ЦОД.

СМИ сообщают, что свидетельств предоставления значимых данных китайским властям найдено не было, как и следов нанесения какого-либо ущерба США. Несмотря на запреты, компании по-прежнему могли предоставлять в стране облачные сервисы. По данным источников СМИ, регуляторам ещё предстоит устранить эту потенциальную угрозу. В частности, возможен запрет на работу в ЦОД и маршрутизацию трафика. В результате даже оставшийся в стране бизнес китайской «большой тройки» будет парализован.

Буквально на днях сообщалось, что китайские компании ищут всё новые пути обхода американских санкций, например, используя запрещённые к экспорту чипы для вычислений на территории самих США. При этом США постоянно усиливают санкции, начиная с 2019 года. Был введён запрет на закупку телеком-оборудования ряда вендоров, использование Google Mobile Services, продажу технологий и чипов и т.д.

Сопроцессоры DPU уже нельзя назвать какой-то экзотикой. Их разрабатывают многие компании, преимущественно американские. Несмотря на растущее давление со стороны западных стран, не собирается проигрывать в этой гонке и Китай.

Разработчик сопроцессоров и программно определяемых ускорителей из КНР, стартап Yusur, работающий в союзе с Китайской Академии Наук уже шесть лет, представил третье поколение DPU под названием K2-Pro. При этом, по словам компании, уже налажено массовое производство новинки.

Первый DPU Yusur K1 был представлен ещё в 2019 году. И это была «проба пера», проверка самой возможности создания собственного DPU, способного ускорять работу сети, СУБД и ИИ. Чип использовал 55-нм техпроцесс, обеспечивал обработку 2 млн запросов SQL в секунду и имел производительность порядка 1 Топс.

Источник: Yusur

Уже в 2022 году был представлен полноценный DPU Yusur K2. Созданный с использованием 28-нм техпроцесса, он уже имел пару собственных интерфейсов 100GbE, мог обрабатывать 10 млн запросов SQL и развивал мощность 15 Топс. K2-Pro имеет схожие характеристики, но, как сообщает глава Yusur, на 30% экономичнее предшественника. Что касается сетевой производительности, то речь идёт об обработке до 80 млн пакетов в секунду при совокупной пропускной способности интерфейсов 200 Гбит/с.

Архитектура K2-Pro. Источник: Yusur

Технически в основе DPU Yusur серии K лежит программно-определяемая архитектура KPU с набором инструкций собственной разработки, работающая под управлением программной платформы HADOS, сочетающей в себе операционную систему, набор движков и API для реализации самых различных функций, а также все необходимые средства разработки. Поддерживается совместимость с P4, что упрощает разработку сетевых приложений для данной архитектуры.

Экосистема HADOS. Источник: Yusur

Также в составе K2-Pro имеется квартет управляющих ядер и набор движков, отвечающих за поддержку сетевых интерфейсов, разгрузку ряда сетевых операций, криптографии, SR-IOV, RDMA и NVMe-oF. В состав DPU входит BMC-контроллер на базе OpenBMC. Есть и два набора по 16 линий PCIe 3.0.

Планы Yusur относительно разработки следующих поколений DPU. Источник: Yusur

Планы по дальнейшему развитию данной серии DPU весьма серьёзные: в следующем поколении, K3, вычислительная мощность должна вырасти в 10 раз, с 15 до 150 Топс. В поколении K4 производительность как минимум утроится, а сетевая часть будет включать уже четыре интерфейса 200GbE.

Конкретных сроков исполнения своих планов Yusur не приводит, однако серьёзные намерения КНР в этой сфере очевидны. Представитель Китайской инженерной академии, профессор Чжэн Вэйминь (Zheng Weimin) отметил, что КНР обязана покончить с монополией на иностранные чипы класса DPU, дабы обеспечить суверенность и независимость в сфере ИТ-технологий.

Optic Marine Group (OMS), занимающаяся прокладкой и обслуживанием подводных интернет-кабелей, объявила о скором пополнении флота компании. По данным Datacenter Dynamics, на расширение привлечено в долг RM1,35 млрд ($292,5 млн) благодаря соглашению с консорциумом «известных финансовых институтов».

OMS объявила, что финансирование позволит компании получить новые возможности в обеспечении подводных телекоммуникаций. Руководимый KKR Capital Markets консорциум включает HSBC Bank, Affin Bank Bhd, Affin Hwang Investment Bank Bhd, BDO Capital & Investment Corporation, E-Sun Commercial Bank Ltd и SinoPac Co Ltd. В прошлом году компания уже получила $400 млн от группы KKR. Основанная в 1983 году OMS базируется в малайзийском Селангоре. Сегодня компания управляет шестью суднами для прокладки и ремонта кабелей, последний ввели в эксплуатацию в 2022 году.

Источник изображения: OMS Group

Всего же в мире на плаву остаётся около 60 подобных судов, многим из которых более 30 лет. Поскольку на планете имеется более 400 подводных кабелей и спрос только растёт, дефицит кораблей может привести к задержке реализации проектов и несвоевременным ремонтам. Например, на восстановление повреждённого кабеля у берегов королевства Тонга в своё время ушло 1,5 года, причём непосредственно ремонт занял всего 8 дней.

Компания «Казахтелеком» создала совместное предприятие (СП) с азербайджанским телекоммуникационным холдингом. Datacenter Dynamics сообщает, что СП с AzerTelecom предназначено для прокладки подводного интернет-кабеля, который может стать частью более крупной магистрали.

Соглашение предусматривает вложение более $50 млн в прокладку оптоволоконных кабелей по дну Каспийского моря. Основанная в 2008 году AzerTelecom является дочерней структурой азербайджанского мобильного оператора Bakcell. Компания входит в группу NEQSOL Holding.

Стороны подписали меморандум о стратегическом сотрудничестве в 2022 году. Предполагается, что транскаспийская ВОЛС Trans-Caspian Fiber Optic Communication Line (FOCL) протянется на 370 км. Сейчас проводится тендер для поиска подрядчика, готового проложить ВОЛС. Кабельная система является частью проекта Цифрового Шелкового пути (Digital Dilk Way), в рамках которого планируется построить телекоммуникационный коридор между Европой и Азией.

Источник изображения: AzerTelecom

При этом на заседании Высшего Евразийского экономического совета (ЕАЭС) ещё в конце 2023 года было предложено проложить новую волоконно-оптическую линию связи по маршруту Россия — Казахстан — Иран, к которой может быть подключен и казахско-азербайджанский проект. Кроме того, Евросоюз планирует прокладку кабеля по дну Чёрного моря до Грузии, который также может стать частью общей системы.

В то же время Россией ведётся строительство «Новой ТрансЕврАзийской волоконно-оптической линии связи» (TEA NEXT). Она призвана связать запад и восток страны с привязками к крупнейшим городам России и получит выходы на границы Россия — Монголия, Россия — Китай, а также посадочную станцию в Находке, откуда можно будет протянуть подводный сегмент до Пусана (Южная Корея).

По мере экспансии 5G-технологий в мире, расширяется и сфера применения связи пятого поколения — технология посягает на области, в которых прежде всегда доминировали Wi-Fi и иные беспроводные решения. Как сообщает IEEE, в Великобритании Vodafone представит в этом месяце частную базовую 5G-станцию на основе Raspberry Pi, сравнимую по габаритам с домашним роутером.

Компания объединила усилия с британской Lime Microsystems для выпуска на краудфандинговой основе наборов 5G-станций стоимостью от $800 до $12 тыс. Прототип одной из 5G-микросот демонстрировался в феврале 2023 года. Он полностью совместим со спецификациями OpenRAN и может формировать как частные 5G-сети, так и исполнять роль шлюза к публичной сети Vodafone.

В компании уверены, что многие захотят получить свою маленькую частную 5G-сеть. Пока предполагается использование в основном компаниями и организациями, хотя в проекте смогут участвовать даже отдельные эксперты. Так, коммерческие компании могут повысить защиту беспроводной сети, поскольку для подключения требуется SIM-карта, а не просто пароль как в случае Wi-Fi. Но можно наоборот упростить доступ. В качестве примера в Vodafone привели пекарню с собственной 5G-сетью, для подключения к которой достаточно просто войти в здание.

Источник изображения: Lime Microsystems

По словам компании, частные 5G-сети незаменимы в случае чрезвычайных ситуаций и спасательных операций. Например, беспилотник с 5G-станцией сможет летать над зоной бедствия. Любой гаджет с совместимой SIM-картой будет регистрироваться в такой сети, передавая уникальную информацию для идентификации и позволяя не только найти пострадавших, но и получить о них дополнительные сведения. Наконец, 5G предлагает более низкую задержку, а в случае высоконагруженных сетей может быть до десяти раз быстрее Wi-Fi.

В самих частных 5G-сетях нет ничего нового. Например, Amazon предлагает сервис AWS Private 5G, а Verizon — и вовсе довольно компактное решение размером с фургон. Правда, до субкомпактных базовых станций на основе Raspberry Pi им очень далеко.