В ближайшее время ЦОД Ближнего Востока могут получить доступ к передовым американским ИИ-ускорителям. Правда, как сообщает Network World, компании смогут закупать современную продукцию только при соблюдении строгих мер безопасности и после серьёзных проверок.

Министерство торговли США анонсировало новую политику, в соответствии с которой предусмотрено смягчение ограничений на экспорт передовых ИИ-чипов на рынки Ближнего Востока и Центральной Азии. Это может облегчить бизнес американским компаниям, занимающимся их выпуском и разработкой. ЦОД из этих регионов смогут подавать заявки на получение особого статуса, без просьб об индивидуальных экспортных лицензиях.

Ранее экспортёры получали специальные индивидуальные лицензии у американских регуляторов для поставки в «страны, вызывающие озабоченность». Теперь в рамках программы «Проверенный конечный пользователь» (Validated End User, VEU) можно будет получать ИИ-чипы, например, NVIDIA на общих основаниях — американским компаниям не понадобится лицензия на экспорт. Предполагается, что обновление программы VEU снизит лицензионное бремя на отрасль, а ЦОД смогут заранее выполнять строгие требования регуляторов.

Источник изображения: Nick Fewings/unsplash.com

Проблемы с поставками начались после того, как в октябре 2023 года США ограничили отгрузки передовых чипов на Ближний Восток и в Центральную Азию, опасаясь «неправомерного» использования новых продуктов — основной угрозой назывался риск перепродажи продукции в Китай через третьи страны. В рамках программы VEU американские технологии будут защищены от подобных «злоупотреблений», рассчитывает министерство. Вероятно, решение американских властей связано с давлением со стороны американских компаний, нуждающихся в расширении рынков сбыта.

Впрочем, операторам ЦОД придётся следовать ряду жёстких правил для получения технологий. Китайские структуры довольно изобретательны — не так давно выяснилось, что они покупают доступ к подсанкционному оборудованию даже в облаках на территории самих США. Также одной из главных проблем называется возможность попадания ИИ-технологий в руки Пекина через сторонние компании Ближнего Востока. Например, пристальное внимание в своё время привлекла компания G42 (ныне Core42) из ОАЭ. Хотя она отказалась от сотрудничества с бизнесом из КНР и выразила готовность соблюдать ограничения США, сделка с Microsoft на сумму $1,5 млрд вызвала озабоченность американских конгрессменов. Хотя новое правило решает ряд проблем экспортёров и импортёров, для компаний вроде G42 процедура вряд ли будет слишком простой.

В рамках программы VEU дата-центры, подавшие заявку на получение соответствующего статуса, должны будут пройти строгую проверку, с оценкой клиентской базы, бизнес-активности, соблюдения протоколов кибербезопасности и контроля доступа. Получившие «добро» организации всё равно должны будут вести строгую отчётность и будут подвергаться проверкам на местах, участие в которых станут принимать должностные лица из США. Также правительства стран-импортёров должны будут предоставить гарантии безопасного и надлежащего использования технологий.

По данным Министерства торговли Соединённых Штатов, каждое разрешение для защиты интересов национальной безопасности США имеет ограниченное действие, кроме того, в нём определены типы и объёмы технологий, к которым могут получить доступ VEU-партнёры. Сейчас Соединённые Штаты пытаются найти оптимальный баланс между контролем экспорта технологий и необходимостью инноваций как в стране, так и за её пределами. Это позволит отчасти умиротворить американский бизнес, в то же время сохраняя контроль использования передовых технологий за рубежом. А для стран Ближнего Востока развитие ИИ-технологий и цифровая трансформация стали одними из главных возможностей по диверсификации экономики.

Компания NVIDIA, по информации аналитика Минг-Чи Куо (Ming-Chi Kuo), приняла решение отказаться от выпуска двухстоечных ИИ-систем NVL36×2 на основе ускорителей GB200 в пользу одностоечных машин NVL72 и NVL36. Объясняется это ограниченностью ресурсов и предпочтениями клиентов.

Изначально планировалось выпустить три суперсистемы GB200 на базе ускорителей Blackwell для рабочих нагрузок ИИ и HPC — NVL72, NVL36 и NVL36×2. Первая объединяет в одной стойке 18 узлов 1U, каждый из которых содержит два ускорителя GB200. В сумме это даёт 72 чипа B200 и 36 процессоров Grace. Задействована шина NVLink 5, а энергопотребление системы находится на уровне 120 кВт. В свою очередь, NVL36 насчитывает 36 чипов B200, тогда как NVL36×2 объединяет две такие системы.

Источник изображения: NVIDIA

Ожидалось, что конфигурация NVL36×2 получит более широкое распространение, нежели NVL72. Дело в том, что дата-центры большинства клиентов NVIDIA не могут удовлетворить требования NVL72 в плане питания и охлаждения. С этой точки зрения NVL36×2 представляет собой компромиссное решение. С другой стороны, NVL72 требует меньше пространства для установки и обладает меньшим суммарным энергопотреблением: каждая из стоек NVL36×2 требует 66 кВт, что в сумме даёт 132 кВт. При этом обеспечивается несколько меньшая производительность.

По сведениям Минг-Чи Куо, некоторые заказчики (в частности, Microsoft) отдали предпочтение NVL72 перед NVL36×2. При этом между компании ещё на этапе обсуждения возникли разногласия по поводу конфигурации стоек. Кроме того, для NVIDIA управление тремя разными проектами по созданию суперускорителей на базе GB200 стало сложной задачей. Поэтому от двухстоечной машины решено отказаться.

Отмечается также, что массовое производство NVL72 может быть отложено до II половины 2025-го, хотя ранее называлось I полугодие следующего года. Впрочем, отдельные заказчики, включая Microsoft, начнут получать эти системы уже в декабре.

Корпорация Intel, по сообщению ресурса HPC Wire, не намерена сворачивать проект по разработке ускорителей Falcon Shores, несмотря на реструктуризацию, направленную на укрепление позиций в сегменте продуктов с архитектурой x86. Изделия Falcon Shores, как и планировалось ранее, появятся на рынке в 2025 году.

Предполагалось, что решения Falcon Shores дебютируют после выхода ускорителей серии Rialto Bridge, которые должны были прийти на смену Ponte Vecchio. Однако в марте 2023 года Intel отменила выпуск Rialto Bridge, а недавно появилась информация, что будущем Falcon Shores также туманно. Теперь в Intel развеяли сомнения.

Представители корпорации заявили, что изделия Falcon Shores выйдут в виде GPU-ускорителей. Ранее Intel отказалась от применения в этих решениях гибридной конфигурации CPU + GPU. Вместе с тем говорится, что в состав новых карт войдут элементы ИИ-ускорителей Gaudi. Утверждается, что такая конструкция обеспечит Falcon Shores преимущества перед конкурирующими продуктами, использующими только GPU-блоки.

Источник изображения: Intel

«Falcon Shores — это действительно ускоритель на основе GPU, в составе которого используются технологии Gaudi», — сообщила пресс-секретарь Intel. По имеющейся информации, ускорители получат модульный дизайн, поддержку современных ИИ-фреймворков, масштабируемые интерфейсы ввода-вывода и память HBM3e. По слухам, выпуск новинок будет организован на предприятии TSMC с применением 3-нм технологии. Intel по-прежнему нацеливает Falcon Shores на рынок высокопроизводительных вычислений.

Вместе с тем Intel, находящаяся в сложном финансовом положении, намерена активно развивать экосистему x86. Недавно корпорация объявила о намерении оптимизировать процессоры Xeon Granite Rapids для работы с ИИ-ускорителями NVIDIA.

Администрация США намерена возобновить работу закрытой в 2022 году мичиганской АЭС, на восстановление которой Holtec International выделяется кредит $1,5 млрд, пишет The Register. Это свидетельство того, что в США всерьёз взялись за атомную энергетику, которая позволит достичь целей по декарбонизации к 2050 году, особенно с учётом значительного роста потребления энергии, вызванного развитием ИИ и ЦОД. Ранее Microsoft объявила о перезапуске АЭС Three Mile Island, но эта станция будет питать исключительно дата-центры компании.

800-МВт АЭС Holtec Palisades, расположенная на юго-западном побережье Мичигана в относительно малонаселенном регионе, должна быть снова запущена в эксплуатацию в IV квартале 2025 года. Министерство энергетики США (DoE) заявило, что это будет первый случай перезапуска выведенной из эксплуатации атомной электростанции в стране. После завершения работ по модернизации будет необходимо получить разрешение на получение лицензии, но, что примечательно, соглашения о покупке электроэнергии (PPA) уже подписаны с расчётом на то, что АЭС будет работать до 2051 года.

Источник изображения: holtecinternational.com

Вместе с выделением компании Holtec International кредита в $1,5 млрд на модернизацию и перезапуск АЭС Holtec Palisades Министерство сельского хозяйства США (USDA) выделяет гранты на общую сумму $1,3 млрд Wolverine Power Cooperative и Hoosier Energy, базирующимся в Мичигане и Индиане соответственно, для покупки электричества, вырабатываемой этой АЭС и другими источниками чистой энергии. Запуск АЭС также поможет «озеленить» энергосеть системного оператора Midcontinent Independent System Operator (MISO), снизив выбросы парниковых газов приблизительно на 4,47 млн т/год в течение 25 лет.

Wolverine Power Cooperative приобретёт 435 МВт у АЭС Holtec Palisades, воспользовавшись грантом в размере $650 млн, выделенным в рамках проекта Empowering Rural America Министерства сельского хозяйства США (USDA), в то время как Hoosier Energy купит 370 МВт, используя грант в размере $675 млн из того же источника. То есть правительство не только выделяет деньги на повторный запуск АЭС, но и предоставляет компаниям пособия на покупку вырабатываемой электроэнергии и поставку её потребителям. Это также поможет создать рабочие места и сократит расходы населения на электроэнергию.

Holtec International заявила, что намерена использовать повторный запуск Palisades в качестве основополагающей части своего плана по продвижению малых модульных реакторов (SMR), которые будут развёрнуты в Мичигане. На самой АЭС компания планирует установить два своих блока SMR-300 к 2030 году. Впрочем, Holtec International ещё необходимо получить одобрение регулирующих органов. Holtec также рассматривает возможность использования заброшенных угольных ТЭЦ в штате в качестве возможных мест для установки своих SMR.

Источник изображения: Nicolas HIPPERT / Unsplash

Это согласуется с обновлённой версией отчёта Министерство энергетики США Pathways to Commercial Liftoff, в котором указано, что ядерная энергетика обеспечивает около 20 % выработки электроэнергии в Соединённых Штатах и почти половину чистой электроэнергии. Ведомство прогнозирует, что США потребуется не менее 700–900 ГВт дополнительной чистой энергии для достижения своих целей по нулевому уровню выбросов.

Министерство заявило в отчёте, что существующие атомные электростанции в стране могут дать ещё 60–95 ГВт при дополнительном финансировании. Закрытые и действующие угольные электростанции при переоборудовании в ядерные (в том числе посредством SMR) могут предоставить дополнительные 128–174 ГВт. В докладе также содержится призыв к строительству современных реакторов, таких как SMR, которые более безопасны, чем традиционные. Хотя опасения по поводу отходов, которые производят современные реакторы, и возможности получить достаточно топлива, всё же остаются.

Оператор ЦОД Equinix создал новое совместное предприятие (СП) с сингапурским фондом национального благосостояния GIC и канадским пенсионным фондом Canada Pension Plan (CPP Investments). По информации Datacenter Dynamics, СП намерено привлечь $15 млрд для развития ЦОД xScale гиперскейл-уровня в США.

В Eqinix утверждают, что СП намерено приобрести землю для нескольких кампусов ёмкостью от 100 МВт, а в конечном счёте гиперскейлеры США получат более 1,5 ГВт дополнительной ёмкости. Как заявили в компании, лидеры IT-отрасли нуждаются в инфраструктуре для ИИ и прочих задач, поэтому им требуются оптимизированные для таких нагрузок дата-центры и узлы связи. Объекты xScale и IBX должны удовлетворить эти запросы, позволяя полностью реализовать потенциал ИИ-решений.

Источник изображения: Equinix

В пресс-релизе Equinix сообщается, что в совместном предприятии CPP Investments и GIC будут контролировать доли по 37,5 %, на саму Equinix придётся 25 %. Партнёрские структуры вложили в проект собственные средства; также СП должно привлечь кредитные деньги на строительство ЦОД. Партнёры ожидают, что СП поможет удовлетворить растущий спрос на ИИ-инфраструктуру, драйвером развития которой стало совершенствование технологий, в том числе ИИ.

Впервые Equinix начала сотрудничать с GIC в октябре 2019 года для разработки объектов гиперскейл-уровня под брендом xScale. До нового анонса структуры вложили более $7,5 млрд в соответствующие ЦОД, открытые в Великобритании, Японии, Франции, Бразилии и Южной Корее. В апреле Equinix анонсировала создание СП на $600 млн с PGIM Investment для открытия ЦОД xScale в Кремниевой долине, он будет иметь ёмкость до 28 МВт.

Канадский CPP Investments неоднократно вкладывал средства в связанные с ЦОД проекты, а недавно совместно с Blackstone договорился о покупке оператора AirTrunk, действующего преимущественно в Азиатско-Тихоокеанском регионе — речь идёт о рекордной сделке в $16,1 млрд. В фонде утверждают, что уже давно получили большой опыт в сфере ЦОД.

Компания Google намерена вложить $1 млрд в строительство новых дата-центров в Таиланде. Bloomberg сообщает, что она присоединится к другим технологическим компаниям, масштабирующим облачную и ИИ-инфраструктуру в Юго-Восточной Азии (ЮВА).

Компания намерена добавить соответствующие объекты в Бангкоке и Чонбури — эта провинция расположена к юго-востоку от тайской столицы. Это вложение позволит добавить $4 млрд в экономику страны к 2029 году и в следующие пять лет компания будет поддерживать 14 тыс. рабочих мест.

Инвестиция, совместно анонсированная Google и властями Таиланда, отражает усилия, прилагаемые азиатскими странами для привлечения в регион зарубежных технологических компаний. Если ранее многие страны региона с населением около 675 млн человек были не особенно развиты в IT-сфере, то теперь для компаний вроде Apple, Microsoft, NVIDIA и Amazon открываются большие возможности. Они тратят миллиарды долларов на строительство новых ЦОД от Таиланда и Малайзии до Сингапура и Индонезии.

Как сообщают в Google, компания инвестирует в облачные регионы, дата-центры и подводные кабели в ЮВА — в компании считают, что регион обладает большим потенциалом. Всего на конец 2023 года Google, AWS и Microsoft намеревались инвестировать в строительство дата-центров в Таиланде почти $8,5 млрд. Google также анонсировала миллиарды долларов инвестиций в Малайзии и Сингапуре.

Источник изображения: Geoff Greenwood/unsplash.com

В настоящее время правительства всего мира пытаются сохранить баланс, с одной стороны стараясь обеспечить цифровой суверенитет, с другой — привлечь иностранные инвестиции. Власти надеются сохранить контроль над данными своих граждан и способствуют формированию местных технологических компаний, в то же время применяя инвестиционные ресурсы и опыт транснациональных гигантов для строительства облачной и ИИ-инфраструктуры.

Новые мощности ЦОД Таиланда помогут поддержать сервисы Google на основе ИИ — поиска, карт и офисных инструментов. Компания начала вести дела в Таиланде ещё 13 лет назад и заявляет, что в последние пять лет обучила 3,6 млн студентов, преподавателей и разработчиков, а также представителей предприятий малого и среднего бизнеса.

Инвестиции вполне соответствуют политике страны в отношении облачных услуг. Предполагается, что они ускорят развитие инновационных цифровых сервисов и, в ответ, это позволит компании открыть там новые экономические возможности. Летом власти Таиланда одобрили $291 млн инвестиций в местную индустрию ЦОД.

Южнокорейская KT Corporation и Microsoft заключили «многомиллиардную» сделку о развитии ИИ-систем в Южной Корее. В частности, KT Telecom в течение 15 лет вложит $450 млн в сетевую инфраструктуру и ЦОД, которой воспользуется Microsoft. Microsoft, в свою очередь, будет отвечать за персонал и IT-инфраструктуру. Первое соглашение о стратегическом партнёрстве между компаниями было подписано ещё летом 2024 года,

KT Telecom и Microsoft создадут кастомизированную версию ИИ-модели OpenAI GPT-4o, а также изучат создание малых языковых моделей Microsoft Phi. KT предоставит наборы данных, которые позволят адаптировать модели к корейскому языку и культуре. Они будут использоваться как для внутренних нужд KT, так и в качестве основы для вертикально интегрированных B2B-решений в различных отраслях.

Также компании займутся развитием суверенных облаков на базе платформы Microsoft Cloud for Sovereignty для регулируемых отраслей вроде государственного и финансового секторов. Кроме того, будет создан центр совместных инноваций, направленный на создание ИИ-решений для цифровой трансформации. Microsoft поможет обучить 19 тыс. сотрудников KT навыкам работы с облачными технологиями и ИИ.

Источник изображения: Microsoft

Как сообщают в Microsoft, сотрудничество поможет объединить отраслевой опыт KT Telecom с возможностями технологического стека Microsoft, от Azure AI до Microsoft 365 Copilot. Вместе компании смогут ускорить ИИ-трансформацию корейских организаций как в частном, так и в государственном секторах, а также обеспечить новый опыт на основе ИИ для миллионов потребителей.

В 2017 году Microsoft ввела в эксплуатацию два облачных региона в Южной Корее — Центральный и Южный регионы в Сеуле и Пусане соответственно. В 2021 году в Сеуле добавлены дополнительные зоны доступности. Конкурирующий с KT конгломерат SK Group также активно вкладывается в развитии ИИ, но в то же время прилагает немалые усилия по импортозамещению американских технологий.

Vultr, крупнейший в мире частный облачный провайдер, объявил о том, что в составе его инфраструктуры теперь доступны ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm. Клиенты могут использовать их для ресурсоёмких задач ИИ и НРС-нагрузок.

Отмечается, что благодаря объединению платформы Vultr Serverless Inference с ускорителями Instinct MI300X даже небольшие предприятия получают возможность применять передовые технологии ИИ, которые ранее им были недоступны. Новое решение ориентировано на заказчиков из различных отраслей, включая здравоохранение, финансовые услуги, производство, энергетику, медиа, розничную торговлю и телекоммуникации.

На сайте Vultr отмечается, что изделия Instinct MI300X обеспечивают ИИ-производительность в режиме TF32 до 653,7 Тфлопс, FP16 — 1307,4 Тфлопс, INT8 — 2614,9 TOPS, FP8 — 2614,9 Тфлопс. При НРС-нагрузках теоретическое пиковое быстродействие достигает 81,7 Тфлопс FP64 и 163,4 Тфлопс FP32.

Источник изображения: Vultr

Ускорители AMD интегрируются с Vultr Kubernetes Engine for Cloud GPU для формирования кластеров Kubernetes с ускорением на базе GPU. Компания Vultr говорит о высоком соотношении цены и производительности, гибких возможностях масштабирования и оптимизации для инференса. Нужно отметить, что ранее об использовании ускорителей Instinct MI300X в составе своей облачной инфраструктуры объявила корпорация Oracle. Новые инстансы BM.GPU.MI300X.8 могут использоваться в том числе для обработки больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Компания Microsoft будет способствовать развитию облачной и ИИ-инфраструктуры Бразилии, расширяя свои собственные дата-центры в стране. По данным Datacenter Dynamics, компания объявила о намерении потратить $2,7 млрд на соответствующие проекты в течение трёх лет. В частности, в штате Сан-Паулу предполагается расширить облачную инфраструктуру в нескольких кампусах ЦОД. В Бразилии у компании есть облачный регион Brazil South в штате Сан-Паулу (введён в эксплуатацию в 2014 году), а в 2020 году IT-гигант запустил Brazil Southeast в Рио-де-Жанейро.

Глава Microsoft Сатья Наделла (Satia Nadella) уже заявил о поддержке ИИ-трансформации страны и сообщил, что новые инвестиции компании в облака и ИИ обеспечат доступ к современным технологиям, а программы обучения будут способствовать получению новых навыков, которые станут драйвером процветания людей и экономики Бразилии в эру ИИ.

По данным компании, речь идёт о крупнейшей в истории компании единовременной инвестиции в стране. В числе прочего предусмотрено обучение 5 млн человек навыкам работы с ИИ в последующие три года.

Ещё в 2014 году Microsoft запустила облачный регион São Paulo Azure в бразильском муниципалитете Кампинас, а в 2021 году его расширили до трёх зон доступности. В 2023 году появилась информация, что компания дополнительно работает над объектами в городах Ортоландия (Hortolândia) и Сумаре (Sumaré) в штате Сан-Паулу. Также в 2020 году было объявлено о намерении открыть второй облачный регион в Рио-де-Жанейро, но позже проект переквалифицировали в «регион с зарезервированным доступом».

Источник изображения: Pedro Menezes/unsplash.com

В 2023 году Microsoft подписала с AES Brasil контракт на поставки возобновляемой энергии сроком на 15 лет, забор энергии предусмотрен с ветроэлектростанции Cajuína Wind Complex, находящейся в штате Риу-Гранди-ду-Норти (Rio Grande do Norte). Коммерческая эксплуатация началась в июле 2024 года.

Инвестирует в бразильскую цифровую инфраструктуру не только Microsoft. Пару недель назад появилась информация о том, что $1,8 млрд на расширение ЦОД в стране готовится выделить и AWS, а Scala Data Centers построит в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul) мегакампус ЦОД на 4,75 ГВт.

Про ускорители Gaudi3 компания Intel достаточно подробно рассказала ещё весной этого года — 5-нм новинка стала дальнейшим развитием идей, заложенных в предыдущих поколениях Gaudi. Объявить о доступности новых ИИ-ускорителей Intel решила одновременно с анонсом новых серверных процессоров Xeon 6900P (Granite Rapids), которые в видении компании являют собой «идеальную пару». Впрочем, в компании признают лидерство NVIDIA, так что обещают оптимизировать процессоры для работы с ускорителями последней. А вот ускорителей Falcon Shores, вполне вероятно, с новой политикой Intel потенциальные заказчики не дождутся.

Источник изображений здесь и далее: Intel

На данный момент главной новостью является то, что в распоряжении Intel не просто есть некий ИИ-ускоритель с более или менее конкурентоспособной архитектурой и производительностью, а законченное и доступное заказчикам решение, уже успевшее привлечь внимание крупных производителей и поставщиков серверного оборудования.

Впрочем, на презентации были продемонстрированы любопытные слайды, в частности, касающиеся архитектуры и принципов работы блоков матричной математики (MME), тензорных ядер (TPC), а также устройство подсистемы памяти.

В последнем случае любопытен максимальный отход от иерархических принципов построения в пользу единого унифицированного пространства памяти, включающего в себя кеши L2 и L3, а также набортные HBM2e-стеки ускорителя. Общение с сетевым интерконнектом при этом организовано из пространства L3, что должно минимизировать задержки.

При этом сетевые порты доступны операционной системе как NIC через драйвер Gaudi3, с управлением посредством RDMA verbs. Благодаря большому количеству таких виртуальных NIC, организация интерконнекта внутри сервера-узла не требует никаких коммутаторов, а совокупная внутренняя производительность при этом достигает 67,2 Тбит/с.

Хотя основой экосистемы Gaudi3 станут в первую очередь ускорители HL-325L и UBB-платы HLB-325, есть у Intel и PCIe-вариант в виде FHFL-платы HL-338: 1,835 Пфлопс в режиме FP8 при теплопакете 600 Вт. Оно имеет только 22 200GbE-контроллера, а в остальном повторяет конфигурацию HL-325L с восемью блоками матричной математики (MME).

Эти ускорители получат пару портов QSFP-DD, каждый из которых будет поддерживать скорость 400 Гбит/с, а между собой платы в пределах одного сервера смогут общаться при помощи специального бэкплейна.

Важно то, что Gaudi3 успешно прошёл путь от анонса до становления сердцем полноценной аппаратно-программной экосистемы, в том числе благодаря ставке на программное обеспечение с открытым кодом. В настоящее время Intel в содействии с партнёрами могут предложить широчайший по масштабу спектр решений на базе Gaudi3 — от рабочих станций и периферийных серверов до вычислительных узлов, собирающихся в стойки, кластеры и даже суперкластеры.

В числе крупнейших партнёров Intel по новой экосистеме есть Dell и Supermicro, представившие серверные системы c Gaudi3. Начало массовых поставок этих систем запланировано на октябрь 2024 года. Вряд ли такие серверы будут развёртываться по одному, поэтому Intel рассказала о возможностях масштабирования Gaudi3-платформ.

Один узел с восемью OAM-модулями HL-325L, развивающий 14,7 Пфлопс в режиме FP8 и располагающий 1 Тбайт HBM станет основой для 32- и 64-узловых кластеров с 256 и 512 Gaudi3 на борту, благо нехватка пропускной способности сетевой части Gaudi3 не грозит — она составляет 9,6 Тбайт/с для одного узла. Из таких кластеров может быть составлен суперкластер с 4096 ускорителями или даже мегакластер, где их число достигнет 8192. Производительность в этом случае составит 15 Эфлопс при объёме памяти 1 Пбайт и совокупной производительности сети 9,8 Пбайт/с.

Типовой 32-узловой кластер на базе Gaudi3 Intel — это решение средней плотности с 15 стойками, содержащими не только вычислительные узлы, но и управляющие серверы, сетевые коммутаторы и подсистему хранения данных. Благодаря тому, что Intel в качестве интерконнекта для Gaudi3 избрала открытый и широко распространённый стандарт Ethernet (200GbE RoCE, 24 контроллера на ускоритель), не должно возникнуть проблем с совместимостью и привязкой к аппаратному обеспечению единственного вендора, как это имеет место быть c NVIDIA InfiniBand и NVLink.

Вкупе с программным обеспечением, основой которого является открытый OneAPI, и развитой системой техподдержки, системы на базе Gaudi3 станут надёжной основой для развёртывания ИИ-систем класса RAG, позволяющих заказчику в кратчайшие сроки запускать сети LLM с собственными датасетами без переобучения модели с нуля, говорит компания.

Именно в сферах, так или иначе связанных с большими языковыми моделями, Gaudi3 и системы на его основе должны помочь Intel укрепить свои позиции. Компания приводит данные, что Gaudi3 производительнее H100 примерно в 1,19 раза без учёта энергоэффективности, но в пересчёте «ватт на доллар» эти ускорители превосходят NVIDIA H100 уже в два раза.

Правда, H100 арсенал NVIDIA уже не ограничивается, но с массовой доступности новых решений Intel они могут оказаться привлекательнее. К тому же платформа совместима со всеми основными фреймворками, библиотеками и средствами управления. Впрочем, на примере AMD прекрасно видно, насколько индустрия привязана к решениям NVIDIA, причём в первую очередь программным.