Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Растущий спрос на электроэнергию для ИИ ЦОД вынуждает операторов расширять свои безуглеродные энергетические проекты и развивать системы СЖО. Однако не всегда и везде это удаётся. По данным DigiTimes, лидеры индустрии ЦОД подчёркивают важность бесперебойного электроснабжения для создания новых дата-центров на Тайване.

По данным доклада 2023 National Power Supply and Demand местного министерства экономики, спрос на электричество для ИИ-проектов на Тайване, вероятно, вырастет с 240 МВт в 2023 году до 2240 МВт к 2028 году. Основное энергопотребление ЦОД приходится на серверы и системы охлаждения. Отраслевые эксперты заявляют, что стабильность энергоснабжения стала главным приоритетом при выборе местоположения ЦОД. На ранних стадия планирования проекты обязательно необходимо представлять на согласование местному оператору Taipower.

Источник изображения: American Public Power Association/unsplash.com

Для охлаждения серверов пока применяются преимущественно воздушные системы. Чтобы повысить их эффективность, многие ведущие компании переходят на СЖО, в том числе иммерсионное охлаждение, значительно снижая PUE. По данным DigiTimes Research, около 80 % энергопотребления ЦОД приходится на обеспечение работы серверов и охлаждение. В последнее время власти многих стран предъявляют жёсткие требования к новым ЦОД, PUE которых не должен быть выше 1,4.

Помимо обеспечения стабильного электроснабжения, операторы ЦОД также уделяют особое внимание использованию возобновляемой энергии. Тайваньская энергетическая политика пока предусматривает «безъядерный» энергопереход с агрессивным внедрением «зелёной» энергетики. С учётом наплыва иностранных компаний, желающих построить ЦОД на острове, обеспечение доступа к «зелёному» электричеству стало приоритетом.

IT-гиганты вроде AWS, Microsoft и Google активно рассматривают на Тайване переход на углеродно-нейтральные источники питания, включая АЭС. Энергокомпании действительно отмечают рост спроса со стороны операторов ЦОД на «зелёную» энергию. Впрочем, пока в основном ведутся лишь предварительные обсуждения, а поставщики не уверены, стоит ли поставлять энергию такого типа исключительно дата-центрам.

В Сети появилась информация о том, что глава OpenAI Сэм Альтман (Sam Altman) пытается убедить президента США Джо Байдена (Joe Biden) в необходимости строительства большой сети ИИ ЦОД. Bloomberg сообщает, что каждый из этих дата-центров будет потреблять до 5 ГВт, как планируемый ЦОД Stargate. Предполагается, что такое строительство необходимо для обеспечения национальной безопасности США.

Предложение, изложенное в документе, попавшем в руки журналистам Bloomberg, подчёркивает достоинства строительства нескольких таких ЦОД на территории Соединённых Штатов. Информация появилась спустя всего несколько недель после того, как Альтман и другие лидеры технологической отрасли посетили Белый Дом для обсуждения вопросов развития ИИ-технологий и инфраструктуры.

Журналисты цитируют представителей Constellation Energy, сообщивших, что Альтман может планировать возведение 5–7 подобных мегацентров, но пока готов начать с одного. Впрочем, строительство даже единственного объекта будет весьма сложной задачей, поскольку каждый ЦОД на 5 ГВт потребует, по-видимому, подключения к АЭС или крупным ГЭС. В результате в США придётся реализовать гигантские энергопроекты.

Источник изображения: Glenov Brankovic/unsplash.com

Так, ГЭС Grand Coulee в штате Вашингтон имеет мощность 6,8 ГВт, а атомные электростанции в Джорджии (Alvin W. Vogtle) и Аризоне (Palo Verde) обеспечивают 4,6 и 3,9 ГВт соответственно. Согласно докладу CBRE, вышедшему в конце прошлого месяца, уже отмечается нехватка энергии, препятствующая своевременному вводу объектов в эксплуатацию. При этом Министерство энергетики США действительно рассматривает массовый ввод в строй новых реакторов на старых угольных и атомных электростанциях.

С учётом высокого спроса, облачные провайдеры уже принимают экстренные меры для обеспечения своих объектов энергией. Microsoft заключила PPA на 20 лет с Constellation Energy для возвращения в строй 837-МВт реактора АЭС Three Mile Island. Ранее в этом году AWS заключила соглашение с Talen Energy, владеющей и управляющей АЭС Susquehanna. Amazon приобрела у компании ЦОД Cumulus за $650 млн, получив доступ к 960 МВт, а Oracle планирует ЦОД на малых модульных реакторах (SMR). Сам Альтман поддерживает стартапы в области ядерной (Oklo), термоядерной (Helion) и солнечной (Exowatt) энергетики.

В любом случае останется проблема получения огромного количества ускорителей для дата-центров. Если средний показатель PUE будет на уровне 1.1, то объект на 5 ГВт будет поддерживать до 35 тыс. суперускорителей NVIDIA Blackwell NVL72 или приблизительно 2,5 млн чипов Blackwell. Для сравнения, в 2023 году, по данным Uptime Institute, NVIDIA поставил всего около 600 тыс. ускорителей H100, а в этом вероятны поставки 1,5–2 млн ускорителей. При этом далеко не факт, что TSMC сможет справиться с выполнением заказа NVIDIA, особенно с учётом ограничений технологий упаковки CoWoS.

Конечно, Альтман часто выдвигал полуфантастические идеи. Ранее в этом году сообщалось, что он предложил проект сети производств чипов на $7 трлн для удовлетворения аппетитов своего бизнеса. Впрочем, выступая на мероприятии Foundry компании Intel в феврале он напомнил, что не всё, что написано в интернет — правда. Другими словами, план Альтмана, который он пытается продвигать в администрации, возможно, лишь попытка заставить правительство задуматься о долгосрочных инвестициях в ИИ.

Nebius, бывшая материнская компания «Яндекса», объявила о развёртывании своего первого вычислительного ИИ-кластера во Франции. Комплекс, предназначенный для нагрузок ИИ, сформирован на базе дата-центра Equinix PA10 в Сен-Дени — в 9 км к северу от центра Парижа.

Новый кластер станет первым объектом Nebius, на котором используются исключительно серверы и стойки собственной разработки. Такие системы проектируются специально с прицелом на применение мощных ускорителей на базе GPU. Благодаря этому, в частности, ускоряется ввод в эксплуатацию. Настройка оборудования и ввод систем в эксплуатацию на площадке Equinix PA10 займут всего два месяца. ЦОД начнёт обрабатывать клиентские рабочие нагрузки в ноябре 2024 года.

Известно, что в составе кластера Nebius задействованы ускорители NVIDIA H200. Тепло, вырабатываемое серверами Nebius, будет использоваться для обогрева городской фермы, раскинувшейся на крыше дата-центра Equinix PA10. Она включает теплицу, в которой выращиваются сезонные фрукты и овощи, и сад.

Источник изображений: Nebius

Говорится, что запуск парижской площадки является частью стратегии Nebius по созданию крупномасштабной сети ИИ-кластеров по всему миру. Они будут предоставлять клиентам ресурсы для решения задач, связанных с ИИ. В частности, к середине 2025 года Nebius намерена инвестировать более $1 млрд в инфраструктуру ИИ в Европе. Со следующего года компания начнёт внедрение систем на базе ускорителей NVIDIA Blackwell.

«Мы работаем в новой отрасли, которая требует как передовых технологий, так и значительного капитала. Запуск кластера в Париже — это следующий шаг в рамках нашей программы по расширению возможностей ИИ в Европе», — сказал Аркадий Волож, основатель и генеральный директор Nebius.

Старые угольные и атомные электростанции США могут предоставить место для новых атомных реакторов на 190 площадках, пишет Datacenter Dynamics со ссылкой на исследование Министерства энергетики США (DoE). Теоретически это позволит увеличить генерацию на 269 ГВт при использовании 600-МВт реакторов. При проведении исследования оценивались различные характеристики площадок, в том числе готовность инфраструктуры, близость к населённым пунктам и потенциальные риски вроде наводнений и землетрясений.

Впервые соответствующие данные появились в докладе «Оценка площадок атомных и угольных электростанций для создания новых атомных мощностей» (The Evaluation of Nuclear Power Plant and Coal Power Plant Sites for New Nuclear Capacity), подготовленном для Министерства энергетики США. Сообщается, что 145 угольных электростанций признаны пригодными для потенциального размещения реакторов суммарной мощностью 128–174 ГВт, а действующие или недавно закрытые АЭС могут обеспечить ещё 95 ГВт.

Из подходящих угольных электростанций 27 недавно остановлены, но в DoE полагают, что их можно оснастить 45 передовыми реакторами. Также приняты во внимание 33 действующих, но готовящихся к остановке к 2040 году электростанции, и ещё 85 площадок, для которых даты вывода из эксплуатации пока не определены. На территории первых можно разместить 72 передовых реактора, последних — до 173 реакторов.

Источник изображения: Nicolas HIPPERT / Unsplash

Также рассматривается использование 20 АЭС, которые отказались от расширения мощностей или пока не получили разрешения на это. Они могли бы получить 31 крупный легководный (суммарно 37,9 ГВт), а 18 из 20 станций потенциально могут вместить 72 малых реактора (суммарно 43,2 ГВт). Из оставшихся 34 атомных электростанций 17 можно дополнить легководными реакторами общей мощностью 21,2 ГВт, а 23 могут разместить 79 малых передовых реакторов на 47,4 ГВт.

Стоит отметить, что сегодня нагрузка на американские электросети весьма велика, потребление энергии дата-центрами и другой цифровой инфраструктурой требует дополнительных мощностей. Только ЦОД, согласно январскому докладу Newmark, к концу десятилетия будут требовать 35 ГВт. В мае 2024 года Министерство энергетики анонсировало планы организовать десять «коридоров передачи энергии в национальных интересах» для того, чтобы помочь расширить национальную сеть в зонах, где срочно требуются дополнительные энергомощности.

В сентябре американские власти создали своеобразный «спецназ» — команду Task Force on AI Datacenter Infrastructure, которая должна упростить поиск источников энергии и получение разрешений на их строительство в США. В том числе предполагалось содействие Министерства энергетики в перепрофилировании закрытых угольных электростанций при сотрудничестве со строителями ЦОД. В августе министерство представила информацию о ресурсах и льготах для рынка ЦОД. Также планируется встречаться на регулярной основе со строителями дата-центров, поставщиками решений для «зелёной» энергетики, операторами электросетей и другими заинтересованными сторонами для развития инновационных решений.

Источник изображения: Lukáš Lehotský / Unsplash

Некоторые гиперскейлеры изучают возможность использования атомной энергии в своих проектах и уже заключили соответствующие соглашения с партнёрами. Только за последние несколько недель Microsoft анонсировала планы на 100 % использовать энергию АЭС для питания ЦОД, AWS ищет главного инженера по атомным проектам, а Oracle сообщила, что планировала гигаваттный ЦОД на базе малых модульных реакторов (SMR). Google также подняла вопрос о потенциальных перспективах SMR для индустрии ЦОД.

Пока что операторы ЦОД и энергетики рассматривают возможность отложить закрытие или разрешить строительство новых электростанций на ископаемом топливе. Кроме того, растёт интерес к поставкам природного газа — это один из самых простых и доступных способов организовать генерацию энергии непосредственно на территории кампуса. Аналогичные проекты реализуются и в Европе.

Стремительное развитие ИИ-технологий в Китае проходит не без эксцессов. По данным Datacenter Knowledge, в стране создано большое количество дата-центров для ИИ-систем, однако их ёмкость оказалась избыточной, а сами они оказались не лучшим образом приспособлены под такие нагрузки.

По информации китайских СМИ, проводящих собственные расследования, местные операторы создали слишком большие ёмкости, переоценив спрос. Негативно сказывается на отрасли и отсутствие достаточных компетенций в создании и управлении сложными ИИ-инфраструктурами. Для ИИ-приложений требуется иная архитектура ЦОД, более плотно интегрирующая на уровне «железа» и ПО вычисления, хранение и сети. Кроме того, такие объекты потребляют примерно вчетверо больше энергии в сравнении с традиционными ЦОД на базе CPU.

Источник изображения: Nadiia Ganzhyi/unsplash.com

При этом эксплуатация среднестатистического ИИ ЦОД на 1250 серверов в Китае обходится довольно дорого, до ¥1 млрд ($141 млн) в год. В основном расходы приходятся на электроэнергию и амортизацию. В прошлом году эксперты AI Technology Review пришли к выводу, что прогнозы в необходимости большого числа ЦОД были не вполне верными и спрос оказался переоценен. В результате это привело к простою серверов, а в некоторых случаях даже к закрытию ИИ-центров.

К 2025 году Китай планирует ввести в эксплуатацию 50 вычислительных центров для систем искусственного интеллекта, за четыре года вычислительные способности страны должны вырасти на треть. По некоторым оценкам, 70 новых центров строятся уже сейчас. Представители государственных структур КНР раскрыли, что за последний год власти потратили $6,1 млрд на строительство крупных кампусов ЦОД, а ещё $28 млрд вложили в отрасль частные компании.

Однако программа по переносу крупных ЦОД в западные регионы страны, например, во Внутреннюю Монголию, где есть избыток энергии, а рабочая сила и земля дешевле, чем на востоке, не вполне оправдала себя. Заказчики из густонаселённых восточных районов предпочитают использовать новые кампусы на западе исключительно для хранения, но не обработки данных. Этому мешают высокая задержка доступа, а также дороговизна подключения — порядка ¥160 тыс. ($22,5 тыс.) в месяц за выделенный канал шириной 1 Гбит/с.

В ходе конференции Microsoft AI Tour Mexico 2024 глава Microsoft Сатья Наделла (Satya Nadella) объявил, что компания намерена инвестировать $1,3 млрд в улучшение ИИ-инфраструктуры страны. Пресс-служба компании сообщает, что деньги будут выделяться в течение трёх лет. В числе прочего предусмотрены вложения в программу Artificial Intelligence National Skills, призванную сделать доступ к ИИ-технологиям более демократичным. Также предусмотрены инструменты поощрения использования ИИ малым и средним бизнесом и ускорения цифровой трансформации страны.

В течение трёх лет Microsoft обучит 5 млн жителей страны работе с решениями на базе ИИ — от обычных пользователей до учителей, разработчиков и руководителей организаций. Также разрабатывается обучающая платформа для соискателей вакансий и работников. Сфере найма будет уделяться повышенное внимание, а среднему и малому бизнесу помогут выявить, какие навыки работы с ИИ необходимы сотрудникам.

Согласно исследованию Microsoft, в 2023 году 57 % опрошенных представителей малого и среднего бизнеса Мексиси уже использовали ИИ, в первую очередь для повышения эффективности работы, обработки данных и персонализации обслуживания клиентов. Благодаря программе The Bridge Accelerator компания стремится помочь местному малому и среднему бизнесу подготовиться к интеграции в бизнес-процессы Северной Америки с внедрением ИИ-платформы PyMAIs. Инициатива позволит 30 тыс. предприятий за три года обновить бизнес, повысить свою конкурентоспособность и увеличить охват потенциальных клиентов, в том числе за пределами Мексики.

Источник изображения: Microsoft

В рамках программы AI for Good компания занимается вопросами здравоохранения, связи и устойчивого развития. В частности, компания разработала ИИ-модели, позволяющие врачам использовать смартфоны для ранней диагностики ретинопатии недоношенных. В сфере связи проекты Microsoft и Viasat должны к концу года охватить более 1,45 млн человек в стране. В том числе речь идёт об активации новых сетей, способных обеспечить доступ более 150 тыс. мексиканцев, ранее не имевших доступа к сотовой связи. Немалое значение играет и устойчивое развитие — к 2030 году Microsoft намерена стать компанией с отрицательным углеродным выбросом, PPA заключены на более 34 ГВт в 24 странах.

В Мексике компания также обещает расширить доступ людей к чистой воде и санитарным решениям, работая над восстановлением запасов воды и экосистем в целом. В частности, с компанией The Next 150 подписано соглашение об удалении до 95 тыс. тонн CO₂ в рамках проекта производства биоугля. Также подписано годовое соглашение с Toroto SAPI de CV об удалении 234 тыс. тонн CO₂ в рамках восстановления лесной экосистемы в одном из штатов Мексики. Проекты поддерживают и местных фермеров, способствуя сохранению биоразнообразия.

Microsoft стремится стать катализатором новой экономики с повышенным вниманием к цифровым услугам, ИИ и смежным решениям. Мексика, географически близкая к США, не может остаться без внимания IT-гиганта.

Швейцарский застройщик ERNE Gruppe совместно с FlexBase Group объявили о совместной реализации стратегического проекта по созданию гигантского аккумуляторного хранилища FlexBase Technology Center мощностью более 500 МВт. Ёмкость его не уточняется, но сообщается, что оно станет одним из крупнейших если не в мире, то в Европе. Как сообщается в материалах FlexBase, при нём введут в эксплуатацию и ЦОД, предназначенный для ИИ-вычислений.

По имеющимся данным объект разместится на площади 20 тыс. м² в Лауфенбурге в кантоне Аргау (Laufenburg, Aargau) — для реализации проекта перестроят уже имеющееся здание, ранее принадлежавшее Swissgrid, а новое здание напротив старого станет ядром технологического центра. Штаб-квартира Swissgrid переехала из Лауфенбурга в Аргау (адм. центр кантона) в 2018 году, перенеся на новое место всю IT-инфраструктуру и построив два новых ЦОД.

Источник изображения: ERNE Gruppe

Начало строительства запланировано на весну 2025 года. Общая площадь ЦОД составит 600 м², он получит систему жидкостного охлаждения и 8 тыс. м² солнечных панелей. Тепло дата-центра будет передаваться местной сети теплоснабжения. Предполагается, что новый проект позволит создать сотни рабочих мест в Лауфенбурге. В энергохранилище будут использоваться проточные редокс-аккумуляторы, считающиеся более эффективными и безопасными, чем традиционные решения. Проекты строительства энергохранилищ активно реализуются и в других странах Европы, но обычно их мощность несопоставима с предлагаемым в Швейцарии вариантом.

Бывший кампус Compaq Computer Coroporation в Хьюстоне (Техаса), доставший в наследство HPE и находящийся на территории площадью 27 га, будет преобразован в ИИ ЦОД. Кампус уже переименован в Viva Center. По данным Datacenter Dynamics, инвесторы Lone Star PACE и Nuveen Green Capital выделили $40 млн для реализации первого этапа проекта.

На первом этапе, который наполовину уже завершён, предполагаются вложения в обеспечение «чистой» энергией объектов общей площадью около 72 тыс. м² и их модернизацию. В данном случае используется финансирование формата C-PACE, которое представляет собой долгосрочный и относительно недорогой финансовый инструмент для повышения энергоэффективности коммерческих зданий. $40 млн будут потрачены на установку энергоэффективных окон, а также LED-освещение, новые HVAC-системы и высокоэффективные сантехнические решения.

Построенный в 1980-х годах кампуса служил штаб-квартирой Compaq. HP поглотила Compaq в 2002 году, а после разделения HP площадка досталась HPE. Последняя начала строить собственный кампус в 2020 году и открыла новую штаб-квартиру в апреле 2022 года, а старый объект продала.

Истчоник изображения: VivaVerse Solutions

Первичная модернизация будет закончена в ближайшие 6-9 месяцев. Когда проект будет полностью завершён, Viva Center предложит 250 МВт доступной мощности, локальную 17-МВт микросеть, установку для охлаждения воды и даже ветку газопровода, которая позволит генерировать энергию прямо на территории кампуса для обеспечения ЦОД резервным питанием по подписке в формате Resiliency-as-a-Service (RaaS).

Модернизация коснётся всей территории Viva Center, включающий более дюжины зданий, в том числе офисы и производственные помещения. Кампус предполагается превратить в технохаб с местами сбора людей, объектами для проведения мероприятий и даже апартаментами. Рассматривается создание тепличного хозяйства и открытых спортплощадок.

Глава Alphabet и Google Сундар Пичаи (Sundar Pichai) подтвердил, что компания проектирует ЦОД, потребляющие более 1 ГВт. По данным Datacenter Dynamics и других источников, возможным источником энергии для ЦОД, по мнению, Пичаи могут стать малые модульные реакторы (SMR).

Впрочем, сам бизнесмен, выступая в питтсбургском кампусе Университета Карнеги-Меллона не сообщал, планирует ли компания применять какие-либо SMR. При этом он упомянул, что Google была одной из первых компаний, поставивших цель добиться круглосуточного обеспечения ЦОД «зелёной» энергией к 2030 году. По его словам, это было до бума ИИ и теперь IT-гигант работает над гораздо более крупными дата-центрами.

По его словам, ещё два года назад нельзя было даже представить, что такие проекты вообще будут рассматриваться. В краткосрочной перспективе это может вызвать целый ряд трудностей. При этом Пичаи так и не сказал, означают ли грядущие изменения, что компания не сможет достигнуть своей цели к 2030 году. Ранее уже сообщалось, что многим гиперскейлерам вряд ли удастся добиться обещанных результатов.

Источник изображения: American Public Power Association/unsplash.com

В марте сообщалось, что Google формирует команду для разработки новой «безуглеродной» стратегии в свете стремительного роста спроса на электричество. Теперь Пичаи подчеркнул, что в средне- и долгосрочной перспективе это не будет проблемой, поскольку планируются крупные капиталовложения в новые «зелёные» источники. Также он сослался на проект Google в Неваде, где компания получает энергию из геотермальных источников.

По его словам, большие средства направляются в разработку и строительство малых модульных реакторов. Как заявил Пичаи, глядя на поток капиталов и инноваций, используемых для создания новой энергетики, он сохраняет оптимистичный настрой в отношении перспектив энергоснабжения.

Комментарии Пичаи сделаны на фоне крупных «атомных» анонсов. Основатель Oracle Ларри Эллисон (Larry Ellison) заявил, что компания намерена построить кампус ЦОД на 1 ГВт с тремя SMR. Microsoft «оживит» АЭС Three Mile Island, она будет использоваться исключительно для питания дата-центров компании. Наконец, на прошлой неделе появилась информация о том, что AWS нанимает главного инженера для команды, которая займётся SMR и другими проектами в области атомной энергетики.