У Microsoft, как оказалось, не хватает мощностей ЦОД для обеспечения всех потребностей OpenAI. По данным The Information, в ИИ-компании намерены агрессивно масштабировать свои вычислительные способности.

По словам журналистов, после того как OpenAI привлекла в октябре $6,6 млрд инвестиций, финансовый директор Сара Фрайар (Sarah Friar) выступила перед сотрудниками, заявив, что компания будет активнее искать дата-центры и ИИ-чипы. Ранее она же сообщала акционерам, что Microsoft слишком медлительна для работы с ИИ-стартапом. Например, компания xAI Илона Маска (Elon Musk) в кратчайшие сроки запустила крупный ИИ ЦОД в Мемфисе, когда в этом возникла необходимость.

OpenAI постепенно отдаляется от Microsoft, которая остаётся ключевым владельцем доли в компании. В июне была анонсирована сделка с Oracle по аренде серверов в дата-центре, пока что строящемся в Абилине (Техас). Хотя Microisoft упомянута в пресс-релизе, IT-гигант не слишком вовлечён в проект. Вместо этого он фактически будет арендовать серверы и предоставлять их OpenAI. Это позволяет говорить, что компания всё ещё является эксклюзивным облачным провайдером последней.

Источник изображения: Mariia Shalabaieva/unsplash.com

Теперь OpenAI ведёт переговоры об аренде этого дата-центра целиком, к середине 2026 года его ёмкость составит почти 1 ГВт. Если Oracle удастся получить больше энергии, площадка вырастет до 2 ГВт. Дополнительно OpenAI может заняться своим давно обещанным дата-центром Stargate на 5 ГВт, но уже без Microsoft — если ИИ-компания сможет найти финансирование для ЦОД стоимостью более $100 млрд и снабдить его энергией.

По словам главы OpenAI Сэма Альтмана, выступившего на этой неделе перед сотрудниками, затраты теоретически можно снизить, используя чипы, разрабатываемые самой OpenAI, но пока непонятно, на какой стадии реализации находится этот проект. Ранее сообщалось, что Альтман пытается убедить власти США в необходимости строительства в стране сети 5-ГВт ЦОД.

Производитель ИИ-суперчипов Cerebras Systems, вероятнее всего, вынужден будет отложить IPO из-за задержки, связанной с проверкой иностранных инвестиций в компанию. По данным Reuters, миноритарным инвестором выступил конгломерат G42 (Core42) из ОАЭ, что и привлекло внимание регуляторов. Как сообщают источники издания, Cerebras, являющаяся молодым и перспективными конкурентом NVIDIA, наверное, отменит презентацию, запланированную на начало следующей недели и предваряющую IPO. Ведущими андеррайтерами запланированного IPO в Cerebras выбрали Citigroup и Barclays.

Инвестиции G42 в Cerebras рассматривает Комитет по иностранным инвестициям в США (Committee on Foreign Investment in the United States, CFIUS). Он оценивает наличие угроз национальной безопасности в иностранных капиталовложениях в американский бизнес. В Cerebras ожидают, что CFIUS даст инвестициям G42 зелёный свет ещё до конца 2024 года. Производитель ускорителей будет стремиться выйти на IPO сразу после получения необходимых разрешений от регулятора, но планы компании могут измениться. В Министерстве финансов США комментировать IPO отказались, но сообщили, что регулятор примет все меры для защиты национальной безопасности США в пределах своей компетенции.

Проблема в том, что G42, являющаяся инвестором и крупнейшим клиентом Cerebras, уже привлекала внимание сторонников суровых мер в отношении Китая. Считается, что компании с Ближнего Востока могут использоваться КНР для обхода американских санкций, ограничивающих экспорт полупроводников в Поднебесную. Кроме того, G42 ранее уличили в ведении дел с Пекином.

Источник изображения: Cerebras

По имеющимся данным на закупки G42 приходится $65,1 млн или 83 % от всей выручки Cerebras за 2023 календарный год. В I полугодии 2024 года компания зарегистрировала $136,4 млн, тогда как в прошлом году за аналогичный период выручка составила $8,7 млн. Иными словами, G42 является ключевым покупателем продуктов компании. Кроме того, к апрелю G42 обязалась выкупить акции Cerbras на $335 млн, доведя долю до более чем 5 %. Сначала Cerebras и G42 подали в CFIUS заявку о продаже акций, но позже скорректировали её объявив, что продаваемые акции не голосующие, поэтому их проверка регулятором не нужна. В сентябре было подано заявление на отзыв уведомления.

Сегодня калифорнийская Cerebras, оценивавшаяся приблизительно в $4 млрд в 2021 году, строит серию ИИ-суперкомпьютеров в интересах G42, в том числе в США. Разработанная Cerebras технология уже использовалась для обучения большой языковой модели (LLM) для арабского языка. Разработанные Cerebras ускорители конкурируют с решениями NVIDIA. По мнению экспертов, ИИ-чипы огромного размера, предлагаемые стартапом, имеются ряд преимуществ в сравнении с ускорителями NVIDIA и другими решениями. Примечательно, что инвестиции Microsoft в G42 были одобрены после того, как последняя, по слухам, заключила тайное соглашение с администрацией США, которое как раз оговаривало взаимодействие с Китаем.

Как правило, флагманские GPU-серверы сегодня используют модули ускорителей, выполненные либо в форм-факторе SXM (NVIDIA), либо OAM (все остальные). Такая компоновка помогает бороться с огромным тепловыделением, но в силу конструкции самих модулей не обеспечивает максимальной вычислительной плотности, поэтому каждый такой сервер вмещает не более восьми ускорителей. Компания Supermicro выбрала другой путь и анонсировала 3U-платформу SYS-322GB-NR, способную вместить до 18 ускорителей.

Источник изображений: Supermicro

Разработчикам SYS-322GB-NR удалось довести количество полноразмерных двухслотовых ускорителей в одном шасси до 10, а при использовании плат одинарной толщины — до 18. Этого достаточно для обработки серьёзных LLM-нагрузок, систем визуализации, VDI-платформ и т.д.

Компания не говорит о том, какие именно ускорители поддерживаются новинкой, упоминая только имена NVIDIA и AMD. В случае с NVIDIA, вероятно, речь идёт о картах L4, которые являются универсальными ускорителями с неплохой производительностью — 242 Тфлопс в формате FP16, 485 Топс в режиме INT8. Таким образом, 18 ускорителей способны в пределе обеспечить 4,35 Пфлопс или свыше 8,7 Петаопс. Помимо этого, L4 может обрабатывать 130 видеопотоков в формате AV1 с разрешением 720p30 и имеет 24 Гбайт видеопамяти с пропускной способностью 300 Гбайт/с.

Не вполне ясно, как в новинке организована коммутация PCI Express. Несмотря на использование двух процессоров Intel Xeon Granite Rapids (6900), их совокупные 192 линии PCIe 5.0 явно недостаточны для организации 20 слотов x16, а ведь ещё и накопители надо подключить. Возможно, система переводит слоты в режим x8, но, скорее всего, используются современные чипы-коммутаторы PCIe 5.0, например, XConn Apollo.

Система поддерживает установку до 6 Тбайт RAM, в том числе модулей MRDIMM DDR5-8800. Дисковая подсистема может вмещать 14 NVMe-накопителей в формате E1.S или шесть U.2 SSD. С учётом энергопотребления современных двухслотовых GPU, система питания должна способна обеспечивать мощность в районе 5,5 КВт.

Компании Foxconn и NVIDIA объединили усилия для постройки крупнейшего на Тайване суперкомпьютера. По данным пресс-службы NVIDIA, проект Hon Hai Kaohsiung Super Computing Center был представлен в ходе традиционного мероприятия Foxconn — Hon Hai Tech Day, прошедшего в минувший вторник. Вычислительные мощности будут построены на основе передовой архитектуры NVIDIA Blackwell — будет использована платформа GB200 NVL72, включающая 64 стойки.

С ожидаемой производительностью ИИ-вычислений более 90 Эфлопс (FP4), машина может легко считаться самой быстрой на Тайване. Foxconn намерена использовать суперкомпьютер для исследований в области медицины, разработки больших языковых моделей (LLM) и инноваций в системах умного города. Это может сделать Тайвань одним из лидеров ИИ-индустрии.

В рамках стратегии «трёх платформ» Foxconn уделяет внимание умному производству, умным городам и электрическому транспорту. Новый суперкомпьютер призван сыграть ключевую роль в поддержке инициатив компании по созданию «цифровых двойников», автоматизации робототехники и созданию умной городской инфраструктуры.

Источник изображения: NVIDIA

Строительство уже началось в тайваньском муниципалитете Гаосюн, первая фаза должна заработать к середине 2025 года. Полностью работоспособным компьютер станет в 2026 году. Проект будет активно использовать технологии NVIDIA вроде робоплатформ NVIDIA Omniverse и Isaac для ИИ и «цифровых двойников».

В Foxconn утверждают, что суперкомпьютер будет не только крупнейшим на Тайване, но и одним из самых производительных в мире. Каждая стойка GB200 NVL72 включает 36 CPU Grace и 72 ускорителя Blackwell, объединённых интерконнектом NVIDIA NVLink (суммарно 130 Тбайт/с). Технология NVIDIA NVLink Switch позволит системе из 72 ускорителей функционировать как единый вычислительный модуль — оптимальный вариант для обучения ИИ-моделей и инференса в режиме реального времени, с моделями на триллион параметров. Предполагается использование решений NVIDIA DGX Cloud Infrastructure и Spectrum-X для поддержки масштабируемого обучения ИИ-моделей.

Тайваньская Foxconn (официально Hon Hai Precision Industry Co.) — крупнейший в мире производитель электроники, известный выпуском самых разных устройств, от смартфонов до серверов для популярных во всём мире заказчиков. Компания уже имеет производства по всему миру и является ключевым игроком в мировой технологической инфраструктуре. При этом производитель считается одним из лидеров в организации «умного» производства, внедряющим промышленные ИИ-системы и занимающимся цифровизацией заводов с помощью NVIDIA Omniverse Cloud. Кроме того, именно она одной из первых стала пользоваться микросервисами NVIDIA NIM в разработке языковых моделей, интегрированных во многие внутренние системы и процессы на предприятиях, создании умных электромобилей и инфраструктуры умных городов.

Суперкомпьютер Hon Hai Kaohsiung Super Computing Center — лишь часть растущей общемировой сети передовых проектов на основе решений NVIDIA. Сеть включает несколько значимых проектов в Европе и Азии. Сотрудничество компаний становится всё теснее. В ходе того же мероприятия объявлено о сотрудничестве Foxconn и NVIDIA в Мексике. Первая построит завод в стране для упаковки полупроводников NVIDIA.

Корпорация Microsoft опубликовала в социальной сети Х фото новой ИИ-системы на базе ускорителей NVIDIA GB200 для облачной платформы Azure. Вычислительная стойка запечатлена рядом с блоком распределения охлаждающей жидкости (CDU), который является частью СЖО.

Как отмечает ресурс ServeTheHome, вычислительная стойка содержит восемь узлов на основе GB200 с архитектурой Blackwell, а также ряд других компонентов. Точная конфигурация системы не раскрывается.

На фотографии видно, что CDU-блок, расположенный по правую сторону от вычислительной стойки, имеет вдвое большую ширину. Он содержит крупноразмерный теплообменник жидкость — воздух, по сути, представляющий собой аналог автомобильного радиатора. Можно видеть насосы, элементы подсистемы питания, а также средства мониторинга.

Наблюдатели отмечают, что обычно теплообменники шириной в две стойки предназначены для нескольких вычислительных стоек. Поэтому не исключено, что запечатленные на снимке изделия являются частью более крупной системы, где показанный CDU-блок будет отвечать за охлаждение сразу нескольких вычислительных стоек с ускорителями NVIDIA GB200.

Источник изображения: Microsoft

Напомним, ранее у Microsoft и NVIDIA возникли разногласия по поводу использования решений B200. NVIDIA настаивает на том, чтобы клиенты приобретали эти изделия в составе полноценных серверных стоек, тогда как Microsoft хочет использовать вариант стоек OCP с целью унификации инфраструктуры своих многочисленных дата-центров. Недавно также стало известно, что NVIDIA отказалась от выпуска двухстоечных суперускорителей GB200 NVL36×2 в пользу одностоечных вариантов NVL72 и NVL36. Причём Microsoft отдала предпочтение именно NVL72: корпорация начнёт получать эти системы в декабре.

Компания Foxconn построит в Мексике крупнейший в мире завод по упаковке суперчипов GB200 компании NVIDIA — ключевого продукта нового семейства Blackwell. По данным Reuters, Foxconn стал одним из главных выгодоприобретателей от бума ИИ, поскольку компания уже собирает серверы для систем искусственного интеллекта.

По словам представителя Foxconn, речь действительно идёт о крупнейшем заводе по упаковке GB200 на планете. В мексиканском правительстве сообщили, что завод построят в городе Гвадалахара.

В августе NVIDIA сообщала о начале поставок образцов чипов Blackwell партнёрам и клиентам, в период до января она рассчитывает уже заработать на новейших полупроводниках несколько миллиардов долларов. В Foxconn уверены, что сотрудничество компании с NVIDIA имеет важнейшее значение, поскольку спрос на новую платформу «ужасно огромный».

Источник изображения: Sergio Rodríguez/unsplash.com

Foxconn уже активно развивает производство в Мексике и инвестировала более $500 млн в штате Чиуауа. В компании утверждают, что цепочка поставок компании уже готова к ИИ-революции и производственные возможности включают выпуск передовых систем жидкостного охлаждения и теплоотвода, необходимых для оснащения серверов с GB200.

Утверждается, что в текущем квартале компания обеспечила сильные показатели. В минувшую субботу Foxconn отчиталась о рекордной выручке в III квартале — на фоне сильного спроса на ИИ-серверы.

Ещё одним приоритетом Foxconn являются амбициозные планы диверсификации бизнеса. В компании не желают, чтобы она ассоциировалась исключительно со сборкой электроники для Apple и надеются использовать технологические наработки для контрактного производства других продуктов, в т.ч. электромобилей и даже собственных машин под брендом Foxconn.

Также известно, что на днях Foxconn и NVIDIA объявили о совместном строительстве самого быстрого ИИ-суперкомпьютера на Тайване с использованием платформы GB200 NVL72.

Стартап Inflection AI и корпорация Intel объявили о сотрудничестве с целью ускорения внедрения ИИ в корпоративном секторе. В рамках партнёрства состоялся анонс Inflection for Enterprise — первой в отрасли ИИ-системы корпоративного класса на базе ускорителей Intel Gaudi3 и облака Intel Tiber AI Cloud (AI Cloud).

Inflection AI основана в 2022 году Мустафой Сулейманом (Mustafa Suleyman), одним из основателей Google DeepMind, а также Ридом Хоффманом (Reid Hoffman), одним из учредителей LinkedIn. Стартап специализируется на технологиях генеративного ИИ. В середине 2023 года Inflection AI получила на развитие $1,3 млрд: в число инвесторов вошли Microsoft и NVIDIA.

Inflection for Enterprise объединяет Gaudi3 с большой языковой моделью (LLM) Inflection 3.0. Утверждается, что это ПО при использовании на аппаратной платформе Intel демонстрирует вдвое более высокую экономическую эффективность по сравнению с некоторыми конкурирующими изделиями. Заказчики получат LLM, настроенную в соответствии с их пожеланиями. Для удовлетворения потребностей каждого конкретного клиента применяется обучение с подкреплением на основе отзывов людей (RLHF). При этом используются данные, предоставленные самим заказчиком.

Источник изображения: Intel

Отмечается, что облако AI Cloud упрощает создание, тестирование и развёртывание ИИ-приложений в единой среде, ускоряя время выхода продуктов на рынок. Тонко настроенные ИИ-модели доступны исключительно клиенту и не передаются в третьи руки. На первом этапе системы Inflection for Enterprise будут предлагаться через облако AI Cloud. В I квартале 2025 года планируется организовать поставки программно-аппаратных комплексов.

Компания Intel борется за выживание на рынке ИИ-решений и в конце сентября официально представила свой новейший ускоритель — 5-нм Gaudi 3. Однако по данным аналитического агентства TrendForce, IT-гигант сократил планы поставок соответствующих чипов более чем на 30 % в 2025 году. Это может повлиять на бизнес-партнёров компании из цепочки поставок на Тайване.

Агентство ссылается на отчёт Economic Daily News. В нём указывается, что новые меры могут быть связаны с изменением внутренней политики Intel и спроса, что побудило компанию сократить заказы на Тайване. После снижения объёмов выпуска место IT-гиганта на фабриках TSMC займут другие клиенты. То же касается и ASE, а также её дочерней SPIL, оказывающих Intel услуги по упаковке и тестированию микросхем.

Для Alchip, проектирующей специализированные ASIC для Intel Gaudi 2 и Gaudi 3, ситуация может оказаться более сложной. Unimicron, которая считается главным поставщиком подложек для чипов Intel, тоже довольно сильно зависит от объёмов заказов последней. Но в Unimicron сохраняют оптимизм, поскольку рассчитывают, что во II половине 2024 года спрос на ИИ-ускорители и оптические модули вырастет.

Источник изображения: Intel

Отраслевые источники сообщают, что изначально в 2025 году планировалось отгрузить 300–350 тыс. ускорителей Gaudi 3, но теперь речь идёт лишь о 200–250 тыс. По имеющимся данным, после покупки израильского производителя Habana Labs в 2019 году, Intel, вероятно, весьма прохладно относится к идее совместной разработки ИИ-ускорителей нового поколения со сторонними компаниями. Более того, она ускоренно сворачивает выпуск Gaudi 2.

Новость об изменениях структуры производства компании отнюдь не первая в 2024 году. В мае сообщалось, что Intel отказалась от ускорителей Ponte Vecchio в пользу Gaudi и Falcon Shores. Позже появились предположения о том, что создание Falcon Shores будет свёрнуто в рамках плана по выводу компании из кризиса, но Intel поспешила развеять сомнения, сообщив, что эту серию ускорителей всё же выпустят. Вероятно и то, что в них интегрируют элементы Gaudi.

Техасский регулятор Public Utility Commission начал предупреждать операторов дата-центров о необходимости самостоятельно снабжать свои объекты электричеством, хотя бы частично. По данным The Register, бизнесу предлагается не пристраивать ЦОД к электростанциям, а возводить новую электростанцию одновременно с дата-центром.

Представители комиссии считают, что выдача разрешений на строительство в текущей ситуации угрожает дефицитом энергии, поскольку операторы дата-центров готовы скупить всё. Техас и без того страдал от недостатка электричества в отдельные моменты новейшей истории, поэтому заявляется, что изъять ресурсы для дата-центров из общих сетей — непозволительная роскошь, особенно в долгосрочной перспективе.

Многие гиперскейлеры и без того активно участвуют в энергопроектах. Например, AWS в марте согласилась потратить $650 млн на кампус ЦОД в Пенсильвании, подключенный к АЭС Susquehanna. Constellation Energy намерена заново ввести в эксплуатацию АЭС Three Mile Island для продажи энергии Microsoft. Google и Oracle тоже изучают вопрос использования АЭС или SMR для питания будущих гигаваттных дата-центров.

Источник изображения: Casey Horner/unsplash.com

Представители техасских властей уже заявили, что желающие подключиться к местным энергосетям операторы в ближайшие 12–15 месяцев должны будут сами поставлять некоторое количество энергии. По их мнению, IT-гиганты могут позволить себе строительство новых электростанций. А излишки энергии, если таковые будут, от этих станций можно передавать в сети общего пользования.

Многие операторы рассматривают в качестве альтернативы обычным станциям малые модульные реакторы (SMR) вроде разработок NuScale. Но, хотя соответствующих проектов немало, некоторые эксперты допускают, что такие реакторы вообще не заработают — из-за высокой цены и массы технических недостатков, мешающих им заменить решения на ископаемом топливе даже в теории. Во всяком случае, в коммерческой эксплуатации их пока нет.

Источник изображения: Documerica / Unsplash

В то же время AWS, например, рассматривала использование природного газа для электроснабжения некоторых ЦОД в Орегоне. На ирландском рынке ЦОД, где энергии тоже не хватает, Microsoft использует природный газ для питания нескольких дата-центров. Правда, по информации самой Microsoft, электростанция мощностью 170 МВт будет использовать 22 газовых генератора только временами, когда не справляется национальная энергосеть.

В прошлый четверг Министерство энергетики США также анонсировало вложение $1,5 млрд в четыре проекта энергопередачи, которые увеличат ёмкость американских сетей на 7,1 ГВт, что повысит надёжность местных энергетических сетей и, в частности, позволит подключить пока что изолированную энергосеть Техаса (ERCOT) к национальным магистралям.

В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.