В Сети появилась информация о том, что глава OpenAI Сэм Альтман (Sam Altman) пытается убедить президента США Джо Байдена (Joe Biden) в необходимости строительства большой сети ИИ ЦОД. Bloomberg сообщает, что каждый из этих дата-центров будет потреблять до 5 ГВт, как планируемый ЦОД Stargate. Предполагается, что такое строительство необходимо для обеспечения национальной безопасности США.

Предложение, изложенное в документе, попавшем в руки журналистам Bloomberg, подчёркивает достоинства строительства нескольких таких ЦОД на территории Соединённых Штатов. Информация появилась спустя всего несколько недель после того, как Альтман и другие лидеры технологической отрасли посетили Белый Дом для обсуждения вопросов развития ИИ-технологий и инфраструктуры.

Журналисты цитируют представителей Constellation Energy, сообщивших, что Альтман может планировать возведение 5–7 подобных мегацентров, но пока готов начать с одного. Впрочем, строительство даже единственного объекта будет весьма сложной задачей, поскольку каждый ЦОД на 5 ГВт потребует, по-видимому, подключения к АЭС или крупным ГЭС. В результате в США придётся реализовать гигантские энергопроекты.

Источник изображения: Glenov Brankovic/unsplash.com

Так, ГЭС Grand Coulee в штате Вашингтон имеет мощность 6,8 ГВт, а атомные электростанции в Джорджии (Alvin W. Vogtle) и Аризоне (Palo Verde) обеспечивают 4,6 и 3,9 ГВт соответственно. Согласно докладу CBRE, вышедшему в конце прошлого месяца, уже отмечается нехватка энергии, препятствующая своевременному вводу объектов в эксплуатацию. При этом Министерство энергетики США действительно рассматривает массовый ввод в строй новых реакторов на старых угольных и атомных электростанциях.

С учётом высокого спроса, облачные провайдеры уже принимают экстренные меры для обеспечения своих объектов энергией. Microsoft заключила PPA на 20 лет с Constellation Energy для возвращения в строй 837-МВт реактора АЭС Three Mile Island. Ранее в этом году AWS заключила соглашение с Talen Energy, владеющей и управляющей АЭС Susquehanna. Amazon приобрела у компании ЦОД Cumulus за $650 млн, получив доступ к 960 МВт, а Oracle планирует ЦОД на малых модульных реакторах (SMR). Сам Альтман поддерживает стартапы в области ядерной (Oklo), термоядерной (Helion) и солнечной (Exowatt) энергетики.

В любом случае останется проблема получения огромного количества ускорителей для дата-центров. Если средний показатель PUE будет на уровне 1.1, то объект на 5 ГВт будет поддерживать до 35 тыс. суперускорителей NVIDIA Blackwell NVL72 или приблизительно 2,5 млн чипов Blackwell. Для сравнения, в 2023 году, по данным Uptime Institute, NVIDIA поставил всего около 600 тыс. ускорителей H100, а в этом вероятны поставки 1,5–2 млн ускорителей. При этом далеко не факт, что TSMC сможет справиться с выполнением заказа NVIDIA, особенно с учётом ограничений технологий упаковки CoWoS.

Конечно, Альтман часто выдвигал полуфантастические идеи. Ранее в этом году сообщалось, что он предложил проект сети производств чипов на $7 трлн для удовлетворения аппетитов своего бизнеса. Впрочем, выступая на мероприятии Foundry компании Intel в феврале он напомнил, что не всё, что написано в интернет — правда. Другими словами, план Альтмана, который он пытается продвигать в администрации, возможно, лишь попытка заставить правительство задуматься о долгосрочных инвестициях в ИИ.

Nebius, бывшая материнская компания «Яндекса», объявила о развёртывании своего первого вычислительного ИИ-кластера во Франции. Комплекс, предназначенный для нагрузок ИИ, сформирован на базе дата-центра Equinix PA10 в Сен-Дени — в 9 км к северу от центра Парижа.

Новый кластер станет первым объектом Nebius, на котором используются исключительно серверы и стойки собственной разработки. Такие системы проектируются специально с прицелом на применение мощных ускорителей на базе GPU. Благодаря этому, в частности, ускоряется ввод в эксплуатацию. Настройка оборудования и ввод систем в эксплуатацию на площадке Equinix PA10 займут всего два месяца. ЦОД начнёт обрабатывать клиентские рабочие нагрузки в ноябре 2024 года.

Известно, что в составе кластера Nebius задействованы ускорители NVIDIA H200. Тепло, вырабатываемое серверами Nebius, будет использоваться для обогрева городской фермы, раскинувшейся на крыше дата-центра Equinix PA10. Она включает теплицу, в которой выращиваются сезонные фрукты и овощи, и сад.

Источник изображений: Nebius

Говорится, что запуск парижской площадки является частью стратегии Nebius по созданию крупномасштабной сети ИИ-кластеров по всему миру. Они будут предоставлять клиентам ресурсы для решения задач, связанных с ИИ. В частности, к середине 2025 года Nebius намерена инвестировать более $1 млрд в инфраструктуру ИИ в Европе. Со следующего года компания начнёт внедрение систем на базе ускорителей NVIDIA Blackwell.

«Мы работаем в новой отрасли, которая требует как передовых технологий, так и значительного капитала. Запуск кластера в Париже — это следующий шаг в рамках нашей программы по расширению возможностей ИИ в Европе», — сказал Аркадий Волож, основатель и генеральный директор Nebius.

Стремительное развитие ИИ-технологий в Китае проходит не без эксцессов. По данным Datacenter Knowledge, в стране создано большое количество дата-центров для ИИ-систем, однако их ёмкость оказалась избыточной, а сами они оказались не лучшим образом приспособлены под такие нагрузки.

По информации китайских СМИ, проводящих собственные расследования, местные операторы создали слишком большие ёмкости, переоценив спрос. Негативно сказывается на отрасли и отсутствие достаточных компетенций в создании и управлении сложными ИИ-инфраструктурами. Для ИИ-приложений требуется иная архитектура ЦОД, более плотно интегрирующая на уровне «железа» и ПО вычисления, хранение и сети. Кроме того, такие объекты потребляют примерно вчетверо больше энергии в сравнении с традиционными ЦОД на базе CPU.

Источник изображения: Nadiia Ganzhyi/unsplash.com

При этом эксплуатация среднестатистического ИИ ЦОД на 1250 серверов в Китае обходится довольно дорого, до ¥1 млрд ($141 млн) в год. В основном расходы приходятся на электроэнергию и амортизацию. В прошлом году эксперты AI Technology Review пришли к выводу, что прогнозы в необходимости большого числа ЦОД были не вполне верными и спрос оказался переоценен. В результате это привело к простою серверов, а в некоторых случаях даже к закрытию ИИ-центров.

К 2025 году Китай планирует ввести в эксплуатацию 50 вычислительных центров для систем искусственного интеллекта, за четыре года вычислительные способности страны должны вырасти на треть. По некоторым оценкам, 70 новых центров строятся уже сейчас. Представители государственных структур КНР раскрыли, что за последний год власти потратили $6,1 млрд на строительство крупных кампусов ЦОД, а ещё $28 млрд вложили в отрасль частные компании.

Однако программа по переносу крупных ЦОД в западные регионы страны, например, во Внутреннюю Монголию, где есть избыток энергии, а рабочая сила и земля дешевле, чем на востоке, не вполне оправдала себя. Заказчики из густонаселённых восточных районов предпочитают использовать новые кампусы на западе исключительно для хранения, но не обработки данных. Этому мешают высокая задержка доступа, а также дороговизна подключения — порядка ¥160 тыс. ($22,5 тыс.) в месяц за выделенный канал шириной 1 Гбит/с.

В ходе конференции Microsoft AI Tour Mexico 2024 глава Microsoft Сатья Наделла (Satya Nadella) объявил, что компания намерена инвестировать $1,3 млрд в улучшение ИИ-инфраструктуры страны. Пресс-служба компании сообщает, что деньги будут выделяться в течение трёх лет. В числе прочего предусмотрены вложения в программу Artificial Intelligence National Skills, призванную сделать доступ к ИИ-технологиям более демократичным. Также предусмотрены инструменты поощрения использования ИИ малым и средним бизнесом и ускорения цифровой трансформации страны.

В течение трёх лет Microsoft обучит 5 млн жителей страны работе с решениями на базе ИИ — от обычных пользователей до учителей, разработчиков и руководителей организаций. Также разрабатывается обучающая платформа для соискателей вакансий и работников. Сфере найма будет уделяться повышенное внимание, а среднему и малому бизнесу помогут выявить, какие навыки работы с ИИ необходимы сотрудникам.

Согласно исследованию Microsoft, в 2023 году 57 % опрошенных представителей малого и среднего бизнеса Мексиси уже использовали ИИ, в первую очередь для повышения эффективности работы, обработки данных и персонализации обслуживания клиентов. Благодаря программе The Bridge Accelerator компания стремится помочь местному малому и среднему бизнесу подготовиться к интеграции в бизнес-процессы Северной Америки с внедрением ИИ-платформы PyMAIs. Инициатива позволит 30 тыс. предприятий за три года обновить бизнес, повысить свою конкурентоспособность и увеличить охват потенциальных клиентов, в том числе за пределами Мексики.

Источник изображения: Microsoft

В рамках программы AI for Good компания занимается вопросами здравоохранения, связи и устойчивого развития. В частности, компания разработала ИИ-модели, позволяющие врачам использовать смартфоны для ранней диагностики ретинопатии недоношенных. В сфере связи проекты Microsoft и Viasat должны к концу года охватить более 1,45 млн человек в стране. В том числе речь идёт об активации новых сетей, способных обеспечить доступ более 150 тыс. мексиканцев, ранее не имевших доступа к сотовой связи. Немалое значение играет и устойчивое развитие — к 2030 году Microsoft намерена стать компанией с отрицательным углеродным выбросом, PPA заключены на более 34 ГВт в 24 странах.

В Мексике компания также обещает расширить доступ людей к чистой воде и санитарным решениям, работая над восстановлением запасов воды и экосистем в целом. В частности, с компанией The Next 150 подписано соглашение об удалении до 95 тыс. тонн CO₂ в рамках проекта производства биоугля. Также подписано годовое соглашение с Toroto SAPI de CV об удалении 234 тыс. тонн CO₂ в рамках восстановления лесной экосистемы в одном из штатов Мексики. Проекты поддерживают и местных фермеров, способствуя сохранению биоразнообразия.

Microsoft стремится стать катализатором новой экономики с повышенным вниманием к цифровым услугам, ИИ и смежным решениям. Мексика, географически близкая к США, не может остаться без внимания IT-гиганта.

Швейцарский застройщик ERNE Gruppe совместно с FlexBase Group объявили о совместной реализации стратегического проекта по созданию гигантского аккумуляторного хранилища FlexBase Technology Center мощностью более 500 МВт. Ёмкость его не уточняется, но сообщается, что оно станет одним из крупнейших если не в мире, то в Европе. Как сообщается в материалах FlexBase, при нём введут в эксплуатацию и ЦОД, предназначенный для ИИ-вычислений.

По имеющимся данным объект разместится на площади 20 тыс. м² в Лауфенбурге в кантоне Аргау (Laufenburg, Aargau) — для реализации проекта перестроят уже имеющееся здание, ранее принадлежавшее Swissgrid, а новое здание напротив старого станет ядром технологического центра. Штаб-квартира Swissgrid переехала из Лауфенбурга в Аргау (адм. центр кантона) в 2018 году, перенеся на новое место всю IT-инфраструктуру и построив два новых ЦОД.

Источник изображения: ERNE Gruppe

Начало строительства запланировано на весну 2025 года. Общая площадь ЦОД составит 600 м², он получит систему жидкостного охлаждения и 8 тыс. м² солнечных панелей. Тепло дата-центра будет передаваться местной сети теплоснабжения. Предполагается, что новый проект позволит создать сотни рабочих мест в Лауфенбурге. В энергохранилище будут использоваться проточные редокс-аккумуляторы, считающиеся более эффективными и безопасными, чем традиционные решения. Проекты строительства энергохранилищ активно реализуются и в других странах Европы, но обычно их мощность несопоставима с предлагаемым в Швейцарии вариантом.

Бывший кампус Compaq Computer Coroporation в Хьюстоне (Техаса), доставший в наследство HPE и находящийся на территории площадью 27 га, будет преобразован в ИИ ЦОД. Кампус уже переименован в Viva Center. По данным Datacenter Dynamics, инвесторы Lone Star PACE и Nuveen Green Capital выделили $40 млн для реализации первого этапа проекта.

На первом этапе, который наполовину уже завершён, предполагаются вложения в обеспечение «чистой» энергией объектов общей площадью около 72 тыс. м² и их модернизацию. В данном случае используется финансирование формата C-PACE, которое представляет собой долгосрочный и относительно недорогой финансовый инструмент для повышения энергоэффективности коммерческих зданий. $40 млн будут потрачены на установку энергоэффективных окон, а также LED-освещение, новые HVAC-системы и высокоэффективные сантехнические решения.

Построенный в 1980-х годах кампуса служил штаб-квартирой Compaq. HP поглотила Compaq в 2002 году, а после разделения HP площадка досталась HPE. Последняя начала строить собственный кампус в 2020 году и открыла новую штаб-квартиру в апреле 2022 года, а старый объект продала.

Истчоник изображения: VivaVerse Solutions

Первичная модернизация будет закончена в ближайшие 6-9 месяцев. Когда проект будет полностью завершён, Viva Center предложит 250 МВт доступной мощности, локальную 17-МВт микросеть, установку для охлаждения воды и даже ветку газопровода, которая позволит генерировать энергию прямо на территории кампуса для обеспечения ЦОД резервным питанием по подписке в формате Resiliency-as-a-Service (RaaS).

Модернизация коснётся всей территории Viva Center, включающий более дюжины зданий, в том числе офисы и производственные помещения. Кампус предполагается превратить в технохаб с местами сбора людей, объектами для проведения мероприятий и даже апартаментами. Рассматривается создание тепличного хозяйства и открытых спортплощадок.

Компания Altera, созданная на базе выделенной из Intel группы программируемых решений (PSG), поделилась на ежегодной конференции для разработчиков Altera Innovators Day новыми подробностями о следующем поколении оптимизированных по энергопотреблению и стоимости чипов Agilex 3, а также анонсировала новые комплекты разработки и поддержку ПО для FPGA Agilex 5.

Altera сообщила, что новые FPGA Agilex отличается от предыдущего поколения более высоким уровнем интеграции, повышенной безопасностью и более высокой производительностью, объединяя эти качества в компактном корпусе с плотностью от 25 тыс. до 135 тыс. логических элементов. Наряду с ПЛИС, наделённой возможностями ИИ, семейство Agilex 3 содержит пару Arm-ядер Cortex-A55.

Источник изображений: Altera via ServeTheHome

FPGA серии Agilex 3 ориентированы на системы, в которых энергоэффективность важнее производительности. Intel полагает, что эти чипы найдут применение в таких продуктах, как подключённые устройства, промышленные роботы и автономные транспортные средства. Для интеллектуальных периферийных приложений именно FPGA обеспечивают вычисления в реальном времени для чувствительных ко времени приложений. А для интеллектуальных технологий автоматизации производства Agilex 3 предложат бесшовную интеграцию датчиков, драйверов, актуаторов и алгоритмов машинного обучения.

Agilex 3 используют архитектуру HyperFlex и имеют в 1,9 раза более высокую производительность по сравнению с предыдущим поколением, говорит Altera. Рост производительности достигнут за счёт интегрированных высокоскоростных трансиверов (до 12,5 Гбит/с) и поддержки экономичной памяти LPDDR4. Для удовлетворения потребности как оборонных систем, так и коммерческих проектов в области безопасности, в Agilex 3 добавлено шифрование потоков данных, аутентификация и функция обнаружения физического несанкционированного доступа.

Компания сообщила, что ПО для Agilex 3 FPGA выйдет в I квартале 2025 года, а поставки комплектов разработчика и самого продукта, как ожидается, начнутся в середине 2025 года. Altera также анонсировала предстоящий выпуск ПО Quartus Prime Pro 24.3 для современных ПЛИС Agilex и расширенную поддержку встраиваемых решений. Речь как об аппаратных блоках, так и, например, о программном RISC-V ядре Nios V. Кроме того, объявлено о поддержке Agilex 5 SoC в Linux, VxWorks и Zephyr.

Клиенты смогут использовать Quartus Prime Pro 24.3 для серии Agilex 5 D, которая нацелена на более широкий спектр вариантов использования по сравнению с Agilex 5 E, оптимизированной для обеспечения эффективных вычислений на периферии. При этом для Agilex 5 E-серии доступна бесплатная лицензия ПО Quartus Prime, что снизит барьер для входа при работе с FPGA Altera среднего уровня. Также отмечена выросшая почти на треть скорость компиляции.

Наконец, Altera и её партнеры по экосистеме объявили о выпуске 11 новых комплектов разработчика на основе Agilex 5 и SoM. В дальнейшем Altera сосредоточится именно на работе с партнёрами, а сама заниматься созданием плат и решений вряд ли будет.

Хотя Саудовская Аравия фактически находится под санкциями США и не может закупать некоторые передовые ИИ-чипы, страна намерена получить американское разрешение на импорт уже в 2025 году. По данным DigiTimes, тогда же начнутся закупки ускорителей вроде NVIDIA H200. Саудовская Аравия уже активно вкладывает средства в развитие собственных вычислительных мощностей и к 2030 году намерена поднять вклад ИИ в национальный ВВП до 12 %.

По данным саудовского ведомства Saudi Data & AI Authority (SDAIA), курирующего вопросы, связанные с ИИ-системами, США рассматривают ослабление торговых ограничений в отношении страны. Не исключается, что новейшие чипы можно будет приобретать в следующем году.

Саудовские власти акцентируют внимание на том, что доступ к новому оборудованию будет содействовать развитию коммерческих операций между Саудовской Аравией и США и даст возможность стране строить собственные современные вычислительные мощности. Кроме того, местные власти в последние три года немало вкладывают в подготовку национальных IT-специалистов и информационные технологии в целом.

Источник изображения: backer Sha/unsplash.com

В частности, Саудовская Аравия немало тратит на развитие локальной ИИ-экосистемы. По данным сентябрьского доклада SDAIA, в рамках плана Vision 2030 вклад ИИ-отрасли в ВВП должен составить к 2030 году до 12 %. Инвестициями займётся фонд национального благосостояния Public Investment Fund (PIF). По мнению экспертов, при сохранении роста инвестиций в генеративный ИИ, шесть стран GCC (Саудовская Аравия, ОАЭ, Кувейт, Катар, Оман и Бахрейн) будут получать по $23,5 млрд экономической выгоды ежегодно, из которых на Саудовскую Аравию придётся $12,2 млрд.

Параллельно американское правительство принимает меры, чтобы ограничить доступ к передовым чипам китайским государственным и коммерческим структурам. В мае 2024 года США расширили санкционное поле, включив в него и многие ближневосточные страны, в том числе Саудовскую Аравию и ОАЭ. Одна из причин заключается в желании КНР развивать тесные связи с Ближним Востоком. В США опасались, что Китай сможет получать современные полупроводники через своих ближневосточных партнёров. Китай является крупнейшим торговым партнёром Саудовской Аравии и крупным инвестором в саудовскую экономику в рамках плана Vision 2030.

Источник изображения: Aramco Digital

По мере того, как напряжённость между США и Китаем нарастает, критически важные технические сферы тоже становятся пространством для конкуренции, заставляя более мелких игроков принимать ту или иную сторону, и совсем не по доброй воле. По данным руководства саудовского фонда Alat, занимающегося инвестициями в ИИ-технологии и полупроводники вообще, уже поступили запросы о полном отделении от китайских технологических цепочек, иначе под угрозой окажутся отношения с США. При этом в Alat подчеркнули, что США являются не только приоритетным партнёром, но и приоритетным рынком.

Сотрудничают с США и другие крупные местные игроки. Например, Aramco Digital уже объявила о партнёрстве с Cerebras, Groq и Qualcomm для развития ИИ и 5G IoT в стране. Впрочем, эксперты отмечают, что хотя саудовские власти уже приняли меры по ограничению сделок с китайскими бизнесами, если США продолжит курс на ограничение поставок ИИ-чипов в Саудовскую Аравию, та может вновь повернуться лицом к сотрудничеству с Китаем, да и сейчас некоторые планы реализуются. Весной сообщалось, что Tencent увеличит инвестиции в облака на Ближнем Востоке, в том числе в Саудовской Аравии.

Alibaba Cloud представила на своей ежегодной конференции Apsara модульную архитектуру ЦОД под названием «CUBE DC 5.0», которая, по словам компании, поможет ей удовлетворить спрос на инфраструктуру ИИ за счёт повышения производительности и сокращения времени сборки новых объектов, пишет ресурс The Register.

Согласно заявлению Alibaba Cloud, архитектура CUBE DC 5.0 основана на использовании «готовых модульных конструкций» и «передовых фирменных технологий, таких как гибридная система охлаждения (wind-liquid, воздушно-жидкостная), архитектура распределения DC-питания постоянного тока». Не раскрывая подробности используемых технологий, Alibaba Cloud сообщила, что модульный подход сокращает время развёртывания ЦОД до 50 % по сравнению с традиционными методами строительства.

The Register попросил Alibaba объяснить работу «гибридной системы охлаждения wind-liquid». Предположительно, речь идёт о СЖО с охлаждающей пластиной — метод, при котором тонкие резервуары с охлаждённой жидкостью размещаются на оборудовании, а охлаждение достигается за счёт циркуляции жидкости и/или продувки воздуха по пластинам.

Источник изображений: Alibaba Cloud

Гендиректор Alibaba Cloud Intelligence Эдди Ву (Eddie Wu) заявил, что компания «вкладывает значительные средства в создание ИИ-инфраструктуры ИИ будущего». Компания анонсировала на конференции планировщик, который позволяет улучшить управление аппаратными ресурсами, повышая коэффициент использования до 90 %.

Также было представлено IaaS-предложение Enterprise Elastic Compute Service (ECS) девятого поколения, получившее улучшения для обработки приложений ИИ. В частности, были увеличены скорость работы механизма рекомендаций на 30 % и количество запросов на чтение/запись в базу данных в секунду на 17 %. Кроме того, Alibaba Cloud анонсировала ПО Open Lake, которая объединяет несколько крупных движков данных для использования их приложениями генеративного ИИ. Ещё одно новое предложение от китайской компании — DMS: OneMeta+OneOps, которое, по-видимому, объединяет и управляет метаданными из 40 различных источников данных.

Также Alibaba Cloud сообщила о выходе новых ИИ-моделей с открытым исходным кодом семейства Qwen 2.5 и новой ИИ-модели семейства Tongyi Wanxiang для преобразования текста в видео с поддержкой китайского и английского языков.

Разработчик СЖО для ЦОД LiquidStack Holding сообщил о привлечении $20 млн от инвестиционной компании Tiger Global Management в рамках расширенного раунда серии B. Средства направят на увеличение производственных мощностей для выпуска систем прямого и иммерсионного охлаждения, расширение деятельности и научных исследований.

Основанная в 2012 году LiquidStack поставляет СЖО для IT-оборудования, телекоммуникационных решений и блокчейн-систем. Решения компании используются в дата-центрах гиперскейлеров, а также в корпоративных, колокейшн и периферийных ЦОД. Фактически LiquidStack появилась в результате реорганизации Allied Control Limited (ACL, подразделение The Bitfury Group), которая изначально занималась созданием СЖО для майнинговых систем.

Источник изображения: LiquidStack Holding

Новое финансирование позволит LiquidStack расширить разработку систем прямого жидкостного охлаждения, а также двухфазных и однофазных решений для вариантов использования с комплексным жидкостным охлаждением. В 2021 году Wiwynn, которая занимается поставками серверного оборудования для Microsoft, проинвестировала в LiquidStack $10 млн.

Портфолио LiquidStack включает ряд продуктов СЖО, разработанных для обеспечения высокой энергоэффективности и производительности вычислительных систем. В частности, LiquidStack предлагает системы прямого жидкостного охлаждения Direct-To-Chip (DTC), в том числе линейку блоков распределения охлаждающей жидкости (CDU), специально разработанную для высокотребовательных приложений, таких как генеративный ИИ и HPC. Первый продукт в этой серии, блок распределения охлаждающей жидкости CDU-1MW, обеспечивает мощность охлаждения 1350 кВт.

Также LiquidStack занимается разработкой технологий однофазного и двухфазного иммерсионного охлаждения и микр-ЦОД на их основе. Так, в серии MicroModular и MacroModular входят модульные, готовые решения мощностью от 250 кВт до 1,5 МВт. Продукты LiquidStack производятся в США на её предприятии в Кэрролтоне (штат Техас), которое открылось в марте этого года.