Серверы TikTok заработали во всех трёх дата-центрах кампуса Green Mountain OSL2-Hamar в Норвегии. Речь идёт о части т. н. Project Clover — инициативы стоимостью €12 млрд ($13,2 млрд), призванной обеспечить хранение данных европейских пользователей в границах Европы. Кроме того, проект должен отвечать европейским стандартам безопасности, сообщает Datacenter Dynamics. В рамках Project Clover компания также использует ЦОД в Ирландии, который заработал в 2023 году.

Планы Green Mountain по обеспечению социальной сети новыми дата-центрами были оглашены в марте 2023 года. Первый из них собирались ввести в эксплуатацию во II квартале 2024-го, однако в итоге партнёрам пришлось несколько отклониться от планов — европейские данные начали перемещать в новый кампус только в октябре-ноябре 2024 года. Летом того же года представитель Green Mountain заявлял, что реализация проекта замедлилась из-за проблем с получением разрешений для новой электроподстанции.

После того, как в Норвегии заработали все три дата-центра, TikTok наняла европейскую компанию NCC Group для независимой проверки и верификации безопасности хранения, обработки и передачи данных, заявив, что такой уровень прозрачности недостижим для других онлайн-платформ. Также социальная сеть работает с Green Mountain над возможностью передачи тепла ЦОД на нужды отопления местных объектов. Для обслуживания трёх ЦОД пришлось нанять около 200 человек, включая IT-специалистов, электриков и экспертов в области систем охлаждения.

Источник изображения: Green Mountain

Тем временем в минувшую пятницу президент США издал указ, продляющий работу социальной сети на территории США ещё на 75 дней — для того, чтобы ту можно было «честно» продать американскому бизнесу — речь идёт о продаже американской части сети под предлогом защиты конфиденциальности данных американцев. С 2022 года в рамках Project Texas данные американских пользователей хранятся только на серверах Oracle.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) сообщило о подписании соглашения с компанией НРЕ на создание суперкомпьютера Daedalus, который расположится в Греции и будет интегрирован с ИИ-фабрикой Pharos.

Контракт с НРЕ заключён при участии Национальной инфраструктуры исследований и технологий GRNET S.A. в Афинах. Общая стоимость создания Daedalus оценивается в €36 млн. Из этой суммы 35 % предоставит EuroHPC JU, а остальные 65 % будут привлечены в рамках Национального плана восстановления и обеспечения устойчивости «Греция 2.0». В проекте также участвуют Кипр, Черногория и Северная Македония, вошедшие в специально сформированный консорциум Daedalus.

Производительность нового суперкомпьютера составит более 89 Пфлопс (FP64). С таким показателем быстродействия в ноябрьском рейтинге мощнейших суперкомпьютеров мира TOP500 комплекс Daedalus мог бы занять 17-е или 18-е место. Для НРС-платформы предусмотрено применение возобновляемых источников энергии и передовых систем охлаждения, которые значительно повысят энергетическую эффективность.

Источник изображения: EuroHPC JU

Суперкомпьютер Daedalus станет доступен в начале 2026 года широкому кругу пользователей по всей Европе, включая научное сообщество, промышленную сферу и государственный сектор. Машина расположится в новом дата-центре в здании бывшей электростанции Технологического культурного парка Лаврион Национального технического университета Афин (NTUA). Доступ к вычислительным ресурсам комплекса будет совместно управляться EuroHPC JU и консорциумом Daedalus пропорционально их инвестициям.

Ожидается, что Daedalus ускорит научные достижения Европы в различных областях, включая ИИ, медицину, метеорологию, анализ больших данных и разработку интеллектуальных транспортных систем. В декабре 2024 года консорциум EuroHPC выбрал площадки для первых европейских ИИ-фабрик (AI Factory): они разместятся в Финляндии, Германии, Греции, Италии, Люксембурге, Испании и Швеции. Аналогичные комплексы также появятся в Австрии, Болгарии, Франции, Германии, Польше и Словении.

Компания AAEON анонсировала промышленный мини-компьютер UP 710S Edge — своё самое компактное решение, выполненное на аппаратной платформе Intel Alder Lake-N. Устройство заключено в корпус с габаритами 92 × 77 × 38,5 мм, а масса составляет около 0,3 кг.

В зависимости от модификации применяется чип Intel Processor N200 (4C/4T; до 3,7 ГГц; 6 Вт), Intel Processor N100 (4C/4T; до 3,4 ГГц; 6 Вт), Intel Processor N97 (4C/4T; до 3,6 ГГц; 12 Вт) или Intel Processor N50 (2C/2T; до 3,4 ГГц; 6 Вт). Используется интегрированный графический контроллер Intel UHD. Объём оперативной памяти LPDDR5 достигает 8 Гбайт.

Источник изображения: AAEON

Новинка наделена флеш-модулем eMMC вместимостью до 64 Гбайт. Есть слот M.2 2230 E-Key (PCIe x1, USB 2.0), в который может быть установлен комбинированный модуль Wi-Fi / Bluetooth. Имеется сетевой контроллер 1GbE с разъёмом RJ45. Устройство располагает тремя портами USB 3.2 Gen2 Type-A, интерфейсом HDMI 1.4b, последовательным портом RS-232/422/485, а также колодкой GPIO (PWM, I2C, SPI). Предусмотрен модуль TPM 2.0.

Устройство довольствуется пассивным охлаждением, а ребристая поверхность корпуса выполняет функции радиатора. Диапазон рабочих температур простирается от -5 до +60 °C. Допускается монтаж посредством крепления VESA или DIN-рейки. Питание (12 В) подаётся через DC-разъём. Заявлена совместимость с Windows 11 IoT Enterprise 24H2 LTSC, Ubuntu 22.04.4+ LTS и Yocto 4.0. Новинка может использоваться, например, в качестве шлюза IoT.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о модернизации суперкомпьютера Discoverer, установленного в Софийском технологическом парке в Болгарии. Обновленная НРС-система получила название Discoverer+.

Комплекс Discoverer, построенный на платформе BullSequana XH2000, был введён в эксплуатацию в 2021 году. Изначальная конфигурация включала 1128 вычислительных узлов, каждый из которых содержит два 64-ядерных процессора AMD EPYC 7H12 поколения Rome. Производительность (FP64) достигала 4,52 Пфлопс с пиковым значением в 5,94 Пфлопс. С такими показателями система находится на 221-й позиции в ноябрьском рейтинге мощнейших суперкомпьютеров мира TOP500.

В рамках модернизации добавлен GPU-раздел на основе четырёх модулей NVIDIA DGX H200. Каждый из них содержит восемь ускорителей H200 и два процессора Intel Xeon Platinum 8480C поколения Sapphire Rapids с 56 ядрами (до 3,8 ГГц). Модули обладают быстродействием до 32 Пфлопс каждый в режиме FP8. Кроме того, обновлённый комплекс получил Lustre-хранилище вместимостью 5,1 Пбайт, систему хранения Weka ёмкостью 273 Тбайт и дополнительную ИБП-систему.

Источник изображения: EuroHPC JU

Как отмечается, Discoverer стал первым суперкомпьютером EuroHPC, прошедшим серьёзную модернизацию с момента своего первоначального запуска. После наращивания мощностей комплекс планируется использовать для крупномасштабных проектов в области ИИ, таких как обучение нейронных сетей, создание цифровых двойников сложных объектов и пр.

В декабре 2024 года консорциум EuroHPC выбрал площадки для первых европейских ИИ-фабрик (AI Factory): они расположатся в Финляндии, Германии, Греции, Италии, Люксембурге, Испании и Швеции. Кроме того, такие объекты планируется создать в Австрии, Болгарии, Франции, Германии, Польше и Словении. Эти площадки станут частью высококонкурентной и инновационной экосистемы ИИ в Европе.

Китайская компания RiVAI Technologies, по сообщению ресурса Tom's Hardware, представила первый высокопроизводительный серверный процессор с открытой архитектурой RISC-V, полностью разработанный в КНР. Презентация изделия под названием Lingyu состоялась в Шэньчжэне: появление чипа отражает стремление страны к снижению зависимости от зарубежных изделий в условиях усиливающихся санкций со стороны США.

Чип Lingyu насчитывает в общей сложности 40 ядер. Это 32 универсальных вычислительных ядра (CPU) и восемь специализированных ядер (LPU), предназначенных для нагрузок, связанных с ИИ, включая работу с большими языковыми моделями (LLM). Такая конфигурация ориентирована на достижение баланса между производительностью и энергоэффективностью, благодаря чему снижается общая стоимость владения (TCO). Прочие характеристики процессора пока не раскрываются.

Источник изображения: unsplash.com / Dominic Kurniawan Suryaputra

Основателем компании RiVAI Technologies является Чжанси Тан (Zhangxi Tan). Он получал образование под наставничеством Дэвида Паттерсона (David Patterson) — американского учёного в области информатики, профессора Калифорнийского университета в Беркли (UC Berkeley) и лауреата премии Тьюринга 2017 года. Паттерсон, разработавший в 1990–2000 гг. несколько вариантов RISC-архитектур, выступает в качестве консультанта RiVAI Technologies.

Отмечается, что RiVAI Technologies заключила партнёрские соглашения с более чем 50 компаниями, включая Lenovo и SenseTime, с целью развития экосистемы вокруг своих чипов RISC-V. Сотрудничество направлено на внедрение Lingyu в различных отраслях. Предполагается, что усилия будут способствовать дальнейшему развитию RISC-V в Китае.

В целом, КНР ведёт активные исследования и разработки в области RISC-V. В частности, ранее ряд китайских компаний, включая T-Head (принадлежит гиганту Alibaba Group Holding), Shanghai Shiqing Technology, Juquan Optoelectronics, Xinsiyuan Microelectronics и StarFive, сформировали патентный альянс в сфере RISC-V. Кроме того, Пекин планирует запустить государственную программу с целью стимулирования широкого использования RISC-V по всей стране. Разработкой RISC-V-процессоров занимается Китайская академия наук.

Контрактный тайваньский производитель электроники Wistron намерен открыть дочернее предприятие в США и вложить в производство на территории страны до $50 млн. Деньги пойдут на покупку земли и заводов, вероятно — для дальнейшего выпуска в Соединённых Штатах ИИ-серверов, сообщает Nikkei Asian Review.

По информации издания, этот шаг, вероятно, связан с новой тарифной политикой США, практически объявивших торговую войну всему миру введением новых, очень высоких торговых пошлин для большинства стран. В частности, для Тайваня были объявлены тарифы в размере 32 % — в тот же день, когда Wistron впервые упомянула о своих планах.

Wistron является одним из ключевых контрактных производителей ИИ-серверов. Эти серверы поставляются клиентам, таким как американская NVIDIA, и другим игрокам ИИ-рынка. Ранее руководство Wistron уже заявляло о намерении развивать производство за пределами Тайваня, в том числе в США, сообщалось о строительстве площадки в Техасе. Конечно, в самом Тайване развитие производства тоже продолжится.

Источник изображения: Tom Caillarec/unsplash.com

В среду компания также объявила, что выпустит глобальные депозитарные расписки для покупки материалов за иностранную валюту. Судя по цене на момент закрытия торгов в понедельник, речь может идти о сумме, эквивалентной $760 млн. После смены администрации США многие тайваньские производители серверов, включая Compal и Inventec, заявили о намерении нарастить инвестиции в США, в частности — в Техасе. Так, Foxconn сообщила, что купит землю и построит собственный завод за $142 млн.

Телеком-оператор Sateliot из Барселоны (Испания) в раунде финансирования серии B привлёк €70 млн ($77,3 млн). Полученные средства будут потрачены на развёртывание группировки из 100 низкоорбитальных спутников, призванных работать в формате 5G-IoT, сообщает Datacenter Dynamics. Другими словами, оператор намерен обслуживать с орбиты устройства Интернета вещей.

Средства потратят на оборонные проекты, решения в сфере кибербезопасности, логистики, горнодобывающей промышленности, мониторинга окружающей среды. Связью обеспечат и сельскохозяйственные проекты, а также критическую инфраструктуру. Компания уже привлекла €270 млн ($298,3 млн) за счёт контрактов с 400 клиентами в 50 странах и намерена увеличить выручку до €1 млрд ($1,1 млрд) к 2030 году. Фаза коммерческой реализации намечена на 2025–2026 гг., в этот период на орбите появятся 16 спутников. Позже планируется заключить больше соглашений с мировыми телеком-операторами и правительствами, для оптимизации работы и повышения полезной нагрузки спутников планируется использовать ИИ.

Пока же, как сообщает пресс-центр стартапа, €10 млн ($11,05 млн) поступило от мадридского венчурного фонда Hyperion Fund. Ещё €13,8 млн ($15,25 млн) предоставляет Испанское общество технологических преобразований (Spanish Society for Technological Transformation, SETT), а €30 млн ($33,15 млн) предоставлено в долг Европейским инвестиционным банком (European Investment Bank, EIB), первым выделившим средства Sateliot. Представитель компании сообщил Datacenter Dynamics, что та уверенность, с какой инвесторы вкладывают средства, связана с реальными запусками спутников, подписанными контрактами, анонсированными проектами стратегического сотрудничества и др.

Источник изображения: Sateliot

Компания участвовала в калифорнийской инкубационной программе EvoNexus, в ходе раунда серии A она привлекла $20,2 млн ещё в 2022 году, $6,42 млн поступило от испанского банка Banco Santander. США рассматривались Sateliot как приоритетный рынок, а Бразилия, Австралия, Нигерия, Южная Африка и Канада получили статус «важных второстепенных рынков». Впрочем, со временем США и Бразилия сохранили большой потенциал в глазах стартапа, но теперь уже Европа становится всё более интересным для него рынком благодаря росту инвестиций в регионе, поддержке регуляторов, а также тренду на достижение цифрового и оборонного суверенитета. Прогнозируется, что европейские компании теперь обеспечат около 15 % от будущей глобальной выручки.

Инвестиции — часть распространённого тренда в странах НАТО и Евросоюза, большие средства планируется выделять на аэрокосмические и иные технологические проекты в связи с возможным ослаблением альянса. Евросоюз анонсировал институциональное финансирование в объёме до €800 млрд, а его государства обязались увеличить оборонные бюджеты до 2 % от ВВП. Sateliot намерена внести свой вклад в укрепление европейской суверенной телекоммуникационной инфраструктуры. В компании заявляют, что помогут обеспечить связь там, где 4G/5G недоступны, без использования неевропейских систем вроде Starlink или Kuiper.

Фонд Hyperion Fund основан управляющей активами компанией Singular Asset Management и на данный момент собрал порядка €150 млн ($165,7 млн). Он фокусирует свою деятельность на передовых технологиях, а в состав его руководства входят бывший генсек НАТО генерал Андерс Расмуссен (Anders Rasmussen) и другие околовоенные деятели из США и Европы. Впрочем, страны НАТО готовы реализовать не только «суверенные» космические проекты, но и общие. Например, в декабре 2024 года сообщалось, что проект НАТО HEIST занялся созданием резервного космического интернета.

Стартап Parasail привлёк $10 млн стартового капитала и выступил с необычным для рынка ИИ предложением. Компания стала своеобразным «агрегатором ускорителей», создав для инференса сеть, позволяющую свести вместе владельцев вычислительных мощностей и их клиентов с максимальной простотой, сообщает The Next Platform.

Раунд финансирования возглавили Basis Set Ventures, Threshold Ventures, Buckley Ventures и Black Opal Ventures. Компанию основали Майк Генри (Mike Henry), ранее основавший производителя ИИ-решений Mythic и работавший одним из топ-менеджеров в Groq, и Тим Харрис (Tim Harris), генеральный директор Swift Navigation.

Прежний опыт Майка Генри на рынке IT позволил заметить, что в последнее время ландшафт облачных сервисов стремительно меняется — если ранее на нём безраздельно доминировали гиперскейлеры вроде AWS, Microsoft Azure и Google Cloud, то с приходом ИИ они, казалось бы, сохраняют ведущие позиции, но на сцену выходят и новые облачные игроки, чья инфраструктура изначально рассчитана на ИИ-задачи, от обучения до инференса.

В конце 2023 года бизнесмены основали компанию Parasail, которая совсем недавно заявила о себе, заодно собрав $10 млн финансирования. Фактически бизнес рассчитан на клиентов, которые заинтересованы в простом доступе к ИИ-технологиям — он будет связывать тех, кто располагает ими, и тех, кто в них нуждается.

Источник изображения: Campaign Creators/unsplash.com

Parasail намеревается использовать рост облачных ИИ-провайдеров вроде CoreWeave (недавно вышедшей на IPO) и Lambda Labs. Для этого создана сеть AI Deployment Network, объединяющая их вычислительные ресурсы в единую инфраструктуру, которая масштабнее, чем Oracle Cloud Infrastructure (OCI). Компания применяет собственный «движок» для оркестрации процессов в этом гипероблаке.

Ключевым преимуществом является низкая стоимость услуг — утверждается, что компании, желающие отказаться от сервисов вроде OpenAI и Anthropic, могут рассчитывать на экономию в 15–30 раз, а в сравнении с клиентами провайдеров open source моделей — в 2–5 раз. На настройку уходит несколько часов, а инференс после этого можно начать за считанные минуты. Сегодня Parasail предлагает в облаке ресурсы NVIDIA H200, H100 и A100, а также видеокарт NVIDIA GeForce RTX 4090. Цены составляют от $0,65 до $3,25 за час использования.

Parasail столкнулась с проблемой несовместимости инфраструктур: разные облачные платформы используют уникальные подходы к вычислениям, хранению данных, сетевому взаимодействию, а также имеют различия в настройке, биллинге и автоматизации. Хотя Kubernetes и контейнеризация могли бы частично решить эти проблемы, их реализация у разных провайдеров сильно отличается, а Kubernetes изначально не предназначается для работы с несколькими кластерами, регионами или провайдерами одновременно.

Чтобы обойти ограничения, Parasail разработала собственную систему, которая объединяет ускорители из разных облаков в единую глобальную сеть. Их решение позволяет централизованно управлять распределёнными узлами, игнорируя различия в инфраструктуре провайдеров. Если один облачный провайдер выйдет из строя, система автоматически заменяет его ресурсы другими, минимизируя простои. Дополняя эту систему автоматизированным динамическим выделением ускорителей, Parasail создаёт масштабируемую и эффективную глобальную инфраструктуру, способную оперативно адаптироваться к нагрузкам и сбоям.

Оркестрация и оптимизация рабочих нагрузок в ИИ-инфраструктуре усложняются из-за огромного разнообразия моделей, архитектур, типов GPU и ASIC, а также множества способов их комбинирования. Parasail решает эту проблему с помощью гибридного подхода, сочетающего математическое моделирование, ИИ-алгоритмы и участие живых специалистов, что позволяет эффективно масштабироваться даже с небольшой командой.

Источник изображения: Campaign Creators/unsplash.com

Закрытое бета-тестирование началось в январе, а позже спрос только вырос до той степени, что Parasail достигла семизначного ежегодного регулярного дохода (ARR). Теперь технология доступна всем, в числе клиентов — производитель чипов SambaNova, ИИ-платформа Oumi, ИИ-стартап Rasa и Elicit, позволяющий автоматизировать научные изыскания.

В будущем стартап намерен быстро расширить штат из 12 работников, рассматриваются и варианты добавления в портфолио новых доступных ускорителей — сейчас там безусловно лидирует NVIDIA, но рынок вполне может измениться.

В то же время отмечается парадоксальная ситуация, когда на рынке наблюдается и дефицит ускорителей, и простой мощностей в некоторых ЦОД одновременно. Предполагается, что дело в плохой оптимизации процессов на рынке ИИ. При этом в компании отмечают, что в данное время спрос на ИИ-приложения «почти бесконечен» и главная проблема — эффективно их использовать. Платформа Parasail для инференса максимально упрощает масштабное внедрение ИИ.

Не исключено, что NVIDIA может заставить подождать с выполнением заказов клиентов… всех, кроме представителей китайского бизнеса. Клиенты из Поднебесной, по слухам, заказали ускорители H20 на огромную сумму $16 млрд — до того, как США, возможно, запретит продавать их в КНР, сообщает The Information. По данным китайских инсайдеров, ByteDance, Alibaba Group, Tencent Holdings и др. заказали огромное количество H20 в первые три месяца текущего года.

Имеются данные о том, что таких чипов уже не хватает в Китае, и NVIDIA может сфокусировать усилия на производстве большего количества H20 для удовлетворения спроса огромного рынка до того, как предложенный запрет вступит в действие. Может быть выполнено заказов минимум на $16 млрд — это приведёт к тому, что выпуск прочих чипов компании замедлится и приведёт к ещё большему дефициту передовых ускорителей на рынке. В результате американским и европейским клиентам придётся ждать выполнения своих заказов дольше обычного.

Источник изображения: Glsun Mall/unsplash.com

H20 является самым производительным ИИ-ускорителем, допущенным для поставок в Китай в соответствии с американскими экспортными ограничениями, введёнными в октябре 2023 года. Тем не менее, США могут вскоре и вовсе запретить поставки любых ускорителей. В то же время Пекин, по слухам, ужесточает контроль над продажами чипов иностранного производства — соответствующие правила уже действуют. Это предпринимается для того, чтобы китайские компании приобрели ускорители местного производства. В IDC уже заявляли, что китайские власти поддерживают и субсидируют местных производителей для выпуска чипов на архитектуре Arm.

Впервые США ввели связанный с поставками в Китай чипов экспортный контроль в октябре 2022 года для замедления технологического развития Китая. В частности, были запрещены продажи передовых на тот момент ускорителей NVIDIA A100 и H100, специально ослабленные A800 и H800 запретили позже.

После триумфального дебюта open source ИИ-моделей китайского стартапа DeepSeek в январе 2025 года спрос на H20 значительно вырос. И, хотя H20, по некоторым данным, в 15 раз «медленнее», чем новейшие модели серии NVIDIA Blackwell, только их ещё разрешено официально продавать в Китай после ограничений, введённых в октябре 2023 года. Ускорители применяются китайскими компаниями для обучения ИИ-моделей, хотя изначально чипы позиционировались как решения для инференса.

Впрочем, как считают эксперты Moor Insights & Strategy, наращивание производства H20 не повлияет на поставки в США и Европе, поскольку для выпуска современных ускорителей Blackwell используется другой техпроцесс, т.е. другие производственные линии.

Консорциум MLCommons опубликовал результаты тестирования различных аппаратных решений в бенчмарке MLPerf Inference 5.0, о чём сообщил ресурс IEEE Spectrum. Он отметил, что ускорители NVIDIA с архитектурой Blackwell превзошли все остальные чипы, но последняя версия ускорителей Instinct от AMD — Instinct MI325X — оказалась на уровне конкурирующего решения NVIDIA H200. Сопоставимые результаты были получены в основном в тестах одной из маломасштабных больших языковых моделей (LLM) — Llama2 70B. Чтобы лучше отражать особенности развития ИИ, консорциум добавил три новых теста MLPerf — всего доступно 11 бенчмарков.

Добавлены два теста для LLM. Популярная и относительно компактная Llama2 70B уже является устоявшимся эталоном MLPerf, но консорциум решил включить тест, имитирующий скорость реагирования, ожидаемую пользователями от чат-ботов. Поэтому был добавлен новый эталон Llama2-70B Interactive, который ужесточает требования к оборудованию: системы должны выдавать не менее 25 токенов в секунду при задержке на ответ не более 450 мс.

С учётом роста популярности «агентного ИИ» в MLPerf решили добавить тестирование LLM с характеристиками, необходимыми для таких задач. В итоге была выбрана Llama3.1 405B. Эта модель имеет широкое контекстное окно — 128 тыс. токенов, что в 30 раз больше, чем у Llama2 70B. Третий новый бенчмарк — RGAT — представляет собой графовую сеть. Он классифицирует информацию в сети. Например, набор данных для тестирования RGAT состоит из научных статей, связанных между собой авторами, учреждениями и областями исследований, что составляет 2 Тбайт данных. RGAT должен классифицировать статьи по почти 3000 темам.

Источник изображения: IEEE Spectrum

В этом раунде тестов поступили заявки от NVIDIA и 15 компаний-партнёров, включая Dell, Google и Supermicro. Оба ускорителя NVIDIA с архитектурой Hopper первого и второго поколения — H100 и H200 — показали хорошие результаты. «Мы смогли добавить ещё 60 % производительности за последний год, — у Hopper, которая была запущена в производство в 2022 году, сообщил Дэйв Сальватор (Dave Salvator), один из директоров NVIDIA. — У неё всё ещё есть некоторый запас производительности». Лидером же оказался B200 с архитектурой Blackwell. B200 содержит на 36 % больше памяти HBM, чем у H200, но, что ещё важнее, он может выполнять ключевые математические операции, используя FP4 вместо FP8 у Hopper.

В тесте Llama3.1 405B система от Supermicro с восемью B200 выдала почти в четыре раза больше токенов в секунду, чем система с восемью H200 от Cisco. И та же система Supermicro была в три раза быстрее самого быстрого сервера на H200 в интерактивной версии Llama2 70B.

NVIDIA использовала суперчип GB200 — сочетание ускорителей Blackwell и процессоров Grace — чтобы продемонстрировать эффективность интерконнекта NVLink, который позволяет работать множеству узлов как один ускоритель. В непроверенном результате, которым компания поделилась с журналистами, стойка GB200 NVL72 выдавала 869 200 токенов в секунду в Llama2 70B. Самая быстрая система текущего раунда MLPerf Inference — сервер NVIDIA B200 — показала 98 443 токена в секунду.

Ускоритель Instinct MI325X позиционируется AMD как конкурент H200. Он имеет ту же архитектуру, что и предшественник MI300, но оснащён увеличенным объёмом памяти HBM с более высокой пропускной способностью — 256 Гбайт и 6 Тбайт/с (рост на 33 % и 13 % соответственно). AMD оптимизировала ПО, что позволило увеличить скорость инференса DeepSeek-R1 в 8 раз. В тесте Llama2 70B компьютеры с восемью MI325X отставали от аналогичных систем на базе H200 всего на 3–7 %. В задачах генерации изображений система MI325X показала отличия в пределах 10 % от системы на H200. Также сообщается, что партнёр AMD, компания Mangoboost, продемонстрировала почти четырёхкратное увеличение производительности в тесте Llama2 70B, запустив вычисления на четырёх узлах.

Источник изображения: ML Commons

Intel традиционно использует в тестах только процессорные системы, чтобы показать, что для некоторых рабочих нагрузок GPU не требуются. В этот раз были представлены первые данные по чипам Intel Xeon 6900P и 6700P (Granite Rapids), выпускаемым по техпроцессу Intel 3. Компьютер с двумя Xeon 6 показал результат в 40 285 семплов в секунду в тесте распознавания изображений, что составляет около одной трети производительности системы Cisco с двумя NVIDIA H100. По сравнению с результатами Xeon 5 в октябре 2024 года новый процессор демонстрирует прирост в 80 % в данном тесте и ещё большее ускорение в задачах обнаружения объектов и медицинской визуализации. С 2021 года, когда Intel начала представлять результаты Xeon, её процессоры достигли 11-кратного прироста производительности в тесте ResNet. Intel отказалась от участия в категории ускорителей: её конкурент для H100 — Gaudi 3 — не появился ни в текущих результатах MLPerf, ни в версии 4.1, выпущенной в октябре 2024 года.

Чип Google TPU v6e также продемонстрировал свои возможности, хотя результаты были ограничены задачей генерации изображений. При 5,48 запроса в секунду система с четырьмя TPU показала прирост в 2,5 раза по сравнению с аналогичным компьютером, использующим TPU v5e, в результатах за октябрь 2024 года. Тем не менее 5,48 запроса в секунду — это примерно те же показатели, что и у аналогичного по размеру компьютера Lenovo с NVIDIA H100.