Как выяснилось недавно, прошлым летом Вирджиния (США) оказалась на грани катастрофы после того, как от энергосети одновременно отключились 60 дата-центров, суммарно потреблявших 1,5 ГВт. Это вынудило операторов электросетей принимать экстренные меры, чтобы избежать масштабных отключений электричества у других потребителей в регионе, сообщает Datacenter Dynamics.

Инцидент документирован, впервые о нём сообщило агентство Reuters — все ЦОД в округе Фэрфакс (Fairfax) в массовом порядке пришлось переключать на резервные генераторы из-за сбоев оборудования в энергосети. Оператору сети PJM Interconnection и местной коммунальной компании Dominion Energy пришлось экстренно сокращать объём поступающей в сеть с электростанций энергии — в противном случае системы сами отключились бы от избыточной мощности. Потенциально это могло привести к отключениям электричества во всём штате.

По данным Североамериканской корпорации по надёжности электроснабжения (NERC), неполадки начались вечером 10 июля 2024 года. На 230-кВ линии электропередачи произошёл сбой оборудования защиты, что привело к нарушениям в работе всей системы. В результате на несколько миллисекунд произошла серия сбоев подачи электричества — этого оказалось достаточно, чтобы местные ЦОД временно переключились на резервные системы питания.

Источник изображения: dhahi alsaeedi/unspalsh.com

Расследование NERC показало, что в случае серии сбоев в течение короткого периода времени дата-центры не переключаются обратно на основную энергосеть — это приходится делать вручную, причём в данном случае ЦОД несколько часов проработали на резервных источниках питания. Хотя напряжение «не поднялось до уровней, представляющих риск для надёжности», операторам энергосети всё равно пришлось принимать меры для сокращения подачи электричества в сеть.

Более того, подобные проблемы, вероятно, в будущем станут более распространёнными, поскольку спрос на электричество для ЦОД в Вирджинии только растёт. В феврале Dominion заявляла, что теперь располагает 40 ГВт «законтрактованных» мощностей для дата-центров по состоянию на декабрь 2024 года — это на 88 % больше, чем в июле.

Не исключены и другие проблемы. В NERC сообщают, что инцидент не вызвал значимых проблем с повторным подключением объектов большой ёмкости, но существует возможность возникновения проблем в будущем. В прошлом году NERC организовала специальную команду для отслеживания ситуаций с большими нагрузками и влияния на состояние энергетической инфраструктуры ЦОД и других крупных потребителей энергии. Такие потребители уже представляют проблему, а иногда и опасность для обычных жителей, т.к. они повышают риск пожаров.

Сетевые операторы и энергокомпании должны принять меры для изучения вероятного влияния внезапного «выхода из сети» крупных потребителей и их повторного подключения. В NERC подчёркивают, что ЦОД становятся больше и потребляют всё больше энергии, но сеть не рассчитана на то, чтобы выдержать отключения дата-центров общей мощностью 1,5 ГВт. На каком-то этапе проблема станет неразрешимой, если ей не заниматься. Северная Вирджиния, где и произошёл сбой, признана самым ёмким рынком ЦОД в мире.

NVIDIA и xAI присоединились к консорциуму, намеренному инвестировать $30 млрд в развитие ИИ-инфраструктуры. Консорциум AI Infrastructure Partnership (AIP), ранее известный как Global AI Infrastructure Investment Partnership, был сформирован Microsoft, BlackRock, Global Infrastructure Partners (GIP, принадлежит BlackRock) и дубайской государственной инвесткомпанией MGX (создана при участии Mubadala и G42) в сентябре 2024 года, Silicon Angle.

Источник изображения: Troy Mortier/Unsplash.com

На начальном этапе консорциум намерен инвестировать в ИИ-проекты более $30 млрд, а в долгосрочной перспективе — $100 млрд. В основном речь идёт об инвестициях в дата-центры и энергетическую инфраструктуру, преимущественно в США. Консорциум сообщил, что уже привлёк значительные средства и вызвал интерес у бизнеса. До того, как NVIDIA объявила о намерении присоединиться к AIP, она выступала техническим консультантом консорциума в области ИИ ЦОД. Эту роль она сохранит.

Также стало известно, что с AIP работают производитель оборудования для энергетической отрасли GE Vernova, в прошлом году отделившийся от General Electric, и крупнейшая в США коммунальная компания NextEra Energy, занимающаяся электроснабжением. Она же является крупнейшим в мире провайдером в области ветроэнергетики. GE Vernova будет работать с AIP и партнёрами над формированием цепочек поставок. NextEra Energy поможет в масштабировании критически важных и разнообразных энергетических решений для ИИ ЦОД.

Некоторые из поддерживающих AIP компаний также участвуют и в других инициативах по финансированию развития ИИ-инфраструктуры. В прошлом году Microsoft с Constellation Energy Generation объявили о возобновлении работы АЭС Three Mile Island. Обновление объекта обойдётся в $1,6 млрд. После того, как тот заработает приблизительно в 2026 году, все 837 МВт пойдут на питание дата-центров Microsoft. NVIDIA параллельно участвует в проекте Stargate.

Компания Crusoe Energy начала вторую фазу строительства кампуса ИИ ЦОД в технопарке Lancium Clean Campus в Абилине (Abilene, Техас), который будет обслуживать ИИ-мегапроект Stargate. Предполагается, что она будет завершена в середине 2026 года, когда будут построены шесть новых зданий. Всего кампус будет включать восемь объектов. Итоговая площадь кампуса составит более 370 тыс. м², а общая ёмкость вырастет до 1,2 ГВт.

Первая фаза строительства ИИ ЦОД в Абилине стартовала в июне 2024 года. Она включает возведение двух зданий площадью более 90 тыс. м² и ёмкостью более 200 МВт. Ожидается, что подача энергии начнётся в I половине 2025 года. OpenAI ранее заявляла о намерении управлять восемью зданиями в кампусе в Абилине. Crusoe отказалась комментировать, ведётся ли вторая фаза строительства в интересах Stargate. На этой неделе Crusoe анонсировала создание совместного предприятия на 4,5 ГВт не только для строительства ЦОД, но и для их автономного питания от газовых электростанций.

Источник изображения: Crusoe

Как заявляют в Crusoe, экспансия в Абилине знаменует важную веху для ИИ-индустрии. Масштаб сконцентрированных на одной площадке вычислительных мощностей весьма примечателен — она, по оценкам, сможет разместить до 400 тыс. ускорителей. На рынке ИИ-инфраструктуры появилась новая категория — «ИИ-фабрика», позволяющая обрабатывать ИИ-нагрузки с беспрецедентными скоростью и масштабом. В Crusoe гордятся тем, что предоставляют инфраструктуру, которая будет способствовать развитию человечества. В Lancium добавляют, что управление ЦОД такого масштаба требует инноваций на уровне кампуса для обеспечения надёжности электросетей при любых нагрузках.

Финская Nokia заключила соглашение с европейским хостинг-провайдером Hetzner для обновления сетей в ЦОД компании и её ключевой сетевой инфраструктуры в целом. Это последнее из партнёрств, анонсированных Nokia в последние месяцы и связанных с дата-центрами, сообщает пресс-служба Nokia.

По данным Nokia, апгрейд обеспечит Hetzner возможность эффективно масштабировать проекты, совершенствовать автоматизацию и поддерживать наиболее передовое в индустрии время безотказной работы. Как сообщает Datacenter Dynamics, основанная в 1997 году немецкая Hetzner управляет ЦОД в Нюрнберге (Nuremberg) и Фалькенштайне (Falkenstein) в Германии, а также Хельсинки (Helsinki) в Финляндии. Также у неё есть площадки в Сингапуре и США.

Внедрение новых решений Nokia уже началось в Германии и Финляндии, на очереди — расширение на другие европейские рынки для удовлетворения растущего спроса на цифровую инфраструктуру. Nokia поставит Hetzner энергоэффективные маршрутизаторы, решения для автоматизации и сбора телеметрии. В частности, будут развёрнуты маршрутизаторы 7750 SR-1x. В Nokia отмечают, что Hetzner сможет 100G-трансиверы, работающие на одной длине волны, но в целом новая архитектура рассчитана на апгрейд до 400G и 800G.

Истчоник изображения: Nokia

Ещё в прошлом году Nokia начала активно заниматься проектами для дата-центров, а в прошлом месяце назначила бывшего топ-менеджера Intel Джастина Хоттарда (Justin Hottard), занимавшегося ЦОД-направлением, своим генеральным директором — он сменил на этом посту Пекку Лундмарка (Pekka Lundmark). До этого Лундмарк заявлял, что Nokia видит «значительную возможность» расширения своего присутствия на рынке дата-центров. После его комментариев Nokia расширила существующее соглашение о снабжении облака Microsoft Azure маршрутизаторами и коммутаторами.

В сентябре Nokia также анонсировала запуск платформы автоматизации работы ЦОД, которую в компании называют «событийно-ориентированной автоматизацией» ( Event-Driven Automation, EDA). В ходе MWC 2025 представитель Nokia заявил, что ИИ стал «единственным за поколение» катализатором бума дата-центров.

Компания Crusoe Energy получит 4,5 ГВт от газовых электростанций для питания ИИ ЦОД. Строитель дата-центров создал совместное предприятие с американским хедж-фондом Engine No. 1, сообщает пресс-служба Crusoe. Ранее Engine No. 1 заключила с американским нефтегазовым гигантом Chevron соглашение о постройке электростанций, работающих на природном газе и использующих турбины GE Vernova. Электростанции будут питать дата-центры напрямую, без подключения к общей энергосети. Энергия, вероятно, будет доступна уже к 2027 году.

Первый объект Stargate возводится на площадке Crusoe в техасском Абилине (Abilene). Он будет запитан от газовых турбин мощностью 360 МВт от всё той же GE Vernova. Дополнительно кампус получит солнечную электростанцию и энергохранилище. Пока нет точных данных, сколько из 4,5 ГВт достанется исключительно Stargate. Crusoe заявила, что пока ведёт переговоры с несколькими гиперскейлерами. Огромная мощность, которую получит Crusoe, делает компанию весьма привлекательным партнёром для гиперскейлеров, желающих быстро нарастить ёмкость ЦОД. Для сравнения: год назад ёмкость всех дата-центров Microsoft была на уровне 5 ГВт.

Источник изображения: American Public Power Association/unsplash.com

Природный газ многими рассматривается как более экобезопасная альтернатива другим видам ископаемого топлива. Впрочем, такая энергия всё равно не столь «чиста», как получаемая из возобновляемых источников. Как сообщают в Engine No. 1, стратегическое партнёрство использует сильные стороны Crusoe в строительстве дата-центров, а фонд займётся обеспечением поставок энергии. Как это соотносится с планами Chevron строить собственные ЦОД и снабжать их энергией от семи генераторов GE Vernova, пока неизвестно.

Нефтегазовая компания Chevron рассчитывает выйти на рынок дата-центров. Её представитель заявил, что сейчас она находится на стадии подготовки к получению разрешений и проектированию многочисленных площадок ЦОД в США, сообщает Reuters. Chevron не только намерена строить дата-центры, но и снабжать их электричеством в необходимых объёмах. В течение трёх лет компания намерена построить 1 ГВт мощностей.

В ходе конференции CERAWeek в Хьюстоне вице-президент компании по энергетическим решениям Дэниэл Друг (Daniel Droog) отметил, что интерес клиентов к таким проектам весьма высок. По его словам, важно соблюдать баланс, при котором объёмы строительства или расширения объектов не превышало бы возможностей энергоснабжения. Компания рассчитывает, что к 2027–2028 гг. заработают ЦОД и электростанции мощностью порядка 1 ГВт.

Детали о новых площадках пока не раскрываются, но компания ориентируется на работу на юге страны, в западных штатах, а также на Среднем Западе США. Дата-центры не будут подключаться к централизованным электросетям. Вместо этого они станут обеспечиваться энергией за счёт локальных газовых электростанций. Chevron рассчитывает на семь газовых генераторов GE Vernova, которые должны поставить в 2026 году. Похожий проект есть у ExxonMobil.

Источник изображения: Chevron

Проекты по локальной генерации с использованием природного газа для дата-центров и майнинга криптовалют за последний год заметно выросло. Так, в ноябре прошлого года AXP Energy заключила юридически обязывающее соглашение о создании совместного предприятия (Joint Development Agreement, JDA) с Blackhart по продаже природного газа для питания модульных криптомайниновых ЦОД в Колорадо. До этого, в октябре того же года, MARA анонсировала запуск микро-ЦОД на 25 МВт, питаемых путём сжигания попутного газа на нефтяных скважинах в Техасе и Северной Дакоте.

Наконец, недавно появилась информация, что Diversified Energy, FuelCell Energy и TESIAC намерены удовлетворить спрос операторов ЦОД на электричество тоже с помощью природного газа. Присматривается к нему и Microsoft, поскольку возобновляемые источники не успевают за аппетитами ИИ.

Впрочем, в NextEra уверены, что электростанции на природном газе смогут удовлетворить лишь часть спроса на электричество. Вместо этого Соединённым Штатам необходимо в основном положиться на возобновляемые источники энергии, а остальное «добрать», отложив закрытие действующих угольных электростанций.

Компания SoftBank намерена приобрести бывший завод Sharp за $676 млн для того, чтобы превратить его в ИИ ЦОД для японского рынка. В соглашении, посвящённом покупке объекта в Осаке, заявлено, что соглашение с Sharp включает как приобретению земельного участка, так и зданий завода Sharp Sakai Plant — бывшего предприятия по выпуску LCD-дисплеев, сообщает Datacenter Dynamics.

О намерении построить дата-центр на 150 МВт SoftBank впервые объявила ещё в июне прошлого года. На участке площадью 440 тыс. м² планируется построить ЦОД площадью 750 тыс. м² (вероятно, многоэтажный), с потенциалом расширения до 400 МВт. В том же месяце сообщалось, что конкурент SoftBank — компания KDDI планировала построить собственный дата-центр на территоррии того же завода.

Объект Sakai станет третьим дата-центром SoftBank, два других расположены в Токио и Хоккайдо. Пока будущий оператор не стал рассказывать, является ли новый ЦОД частью планов по коммерциализации ИИ-моделей OpenAI в Японии. В прошлом месяце OpenAI и SoftBank объединились для разработки и продажи «передового корпоративного ИИ» в рамках проекта Cristal intelligence. Совместное предприятие SB OpenAI Japan будет продавать продукт другим японским компаниям. Также SoftBank сотрудничает с NVIDIA для строительства ИИ-суперкомпьютера в Японии с использованием ускорителей Blackwell.

Источник изображения: Sharp

OpenAI и SoftBank являются ключевыми инвесторами проекта Stargate для США, анонсированного OpenAI в январе. Обе компании обязались для начала выделить на его реализацию по $19 млрд, на что Илон Маск (Elon Musk) заявил, что у них нет денег. Всего в рамках проекта возможны инвестиции в ИИ-инфраструктуру в объёме $500 млрд в США в следующие четыре года.

В марте SoftBank также инвестировала $50 млн в «криптомайнингового» оператора ЦОД Cipher Mining, в рамках сделки SoftBank получила возможность приобрести принадлежащий Cipher недостроенный ЦОД на 300 МВт в Техасе. Правда, пока не ясно, будет ли он частью проекта Stargate — ранее появлялась информация о том, что для него дата-центры будут размещены не только в Техасе.

Компания CoreWeave выбрала дата-центр Bulk Infrastructure в Норвегии для размещения кластера суперускорителей NVIDIA GB200 NVL72, объединённых интерконнектом Quantum-2 InfiniBand. Кластер, который, по словам компании, станет одной из крупнейших в Европе ИИ-системой на базе чипов NVIDIA, должен заработать уже к лету 2025 года, сообщает Datacenter Dynamics. Ранее CoreWeave пообещала развернуть крупнейший в Европе ИИ-кластер на базе NVIDIA Blackwell в Швеции.

В CoreWeave подчеркнули, что компания рада сотрудничать с Bulk в деле расширения своего присутствия в регионе и в Европе вообще для обеспечения растущих потребностей в ИИ и HPC. Отдельно подчёркивается приверженность Bulk к созданию масштабируемой экобезопасной инфраструктуры. По словам самой Bulk Infrastructure, соглашение с CoreWeave — важнейшая веха в развитии норвежского бизнеса. С 2020 года Bulk Infrastructure привлекла в общей сложности $700 млн инвестиций, в том числе $380 млн от BOG.

ЦОД N01, по словам компании, по-своему уникален и подходит для размещения ИИ-инфраструктуры. Кампус расположен на участке площадью 3 км² рядом с электроподстанцией близ города и коммуны Кристиансанна (Kristiansand) фюльке Агдер (Agder). Кампус на 100 % запитан от многочисленных ГЭС. Всего площадка может получить до 400 МВт, но возможно расширение до 1 ГВт. В январе 2024 года Bulk начала строительство на территории кампуса нового объекта мощностью 42 МВт.

Источник изображения: Bulk Infrastructure

CoreWeave анонсировала планы инвестировать $3,5 млрд в европейские ЦОД, в том числе $1,3 млрд в Великобритании, где уже заработали два первых объекта. К концу 2024 года она намеревалась открыть по всему миру 28 дата-центров, ещё 10 новых планировали ввести в эксплуатацию в 2025 году. Сейчас компания готовится к IPO.

NextEra Energy, крупнейшая в США коммунальная компания и строитель ветряных и солнечных электростанций, прогнозирует, что электростанции на природном газе смогут удовлетворить лишь часть спроса на электричество. Это связано с вероятным беспрецедентным ростом спроса на электроэнергию до конца десятилетия, сообщает Datacenter Knowledge со ссылкой на репортаж Bloomberg. Даже при самом оптимистичном сценарии к концу 2030 года может быть построено около 75 ГВт мощностей газовых электростанций. Это всего 16 % от требующихся 460 ГВт, считают в NextEra.

Кроме того, стоимость постройки газовых электростанций тоже выросла за 18 последних месяцев. Если США будут концентрироваться только на газовых проектах, те станут ещё более дорогими, что скажется на счетах потребителей, утверждают в компании. Вместо этого, считают в NextEra, Соединённым Штатам необходимо в основном положиться на возобновляемые источники энергии, «закрыв» ими около 350 ГВт, а остальное «добрать», отложив закрытие действующих угольных электростанций.

Источник изображения: Markus Spiske/unspalsh.com

Предполагается, что США понадобятся газовые мощности, возобновляемые источники энергии, АЭС и др. — только на одну технологию полагаться пока нельзя. Если не задействовать возобновляемые ресурсы, Соединённые Штаты могут опрометчиво «сложить все яйца в одну корзину», опираясь только на газ, посчитали в компании. При этом новая администрация фактически дала «зелёный свет» углеводородам, одновременно заморозив развитие ветровой и солнечной энергетики на федеральных землях и водоёмах.

По словам министра энергетики США Криса Райта (Chris Wright), в стране готовится полный поворот от «зелёной» энергетической политики прошлой администрации — такова будет плата за прогресс. В NextEra прогнозируют, что спрос в США на электричество вырастет на 55 % в следующие 20 лет, тогда как за предыдущие 20 лет он вырос всего на 9 %. Спрос на электричество буквально раздувается мегакампусами ИИ ЦОД Google, Microsoft, Amazon и Meta✴, а с недавних пор и OpenAI. Доступ к электричеству стал критическим препятствием на пути развития новых технологий.

Ранее The Washington Post сообщала, что экобезопансые источники энергии вряд ли смогут заменить ископаемое топливо в ближайшем будущем. Впрочем, буквально на днях сообщалось, что геотермальные источники при правильном подходе смогут удовлетворить энергетические потребности ИИ ЦОД в США, к такому выводу пришли в Rhodium Group.

Oracle обсуждает с правительством Индонезии строительство на острове Батам (Batam) ЦОД для облачных сервисов. Американский IT-гигант намерен расширить своё присутствие в Юго-Восточной Азии, а выбранный остров оптимально подходит для этого, сообщает Bloomberg. По данным источников, пожелавших сохранить анонимность, дата-центр планируют разместить в технопарке Nongsa Digital Park — там уже работают несколько ЦОД.

Статус острова как зоны свободной торговли также, возможно, сыграл свою роль при выборе локации. При этом немаловажно и положение вблизи Сингапура и Малайзии, где компания планирует организовать аналогичные облачные площадки. Правда, по данным источников, окончательное решение относительно Батама пока не принято и может измениться. В Oracle новость пока не комментируют, запрос журналистов проигнорировали и представители индонезийских властей.

Источник изображения: Tommy Krombacher/unsplash.com

На своём сайте Nongsa Digital Park сообщает, что технопарк имеет доступ к электричеству в больших объёмах, в парке развёрнута жёсткая система безопасности, а сейсмические условия идеальны. Технопарк связан с Индонезией, Сингапуром и западным побережьем США 13 оптоволоконными линиями. Одним из новейших арендаторов является занимающаяся недвижимостью компания Gaw Capital Partners, запустившая на острове дата-центр в прошлом месяце.

Американские IT-гиганты, от Meta✴ до Google активно строят ЦОД в Азии, параллельно прокладывая сетевую инфраструктуру для поддержки бума ИИ-технологий в глобальном масштабе. Многие из подобных инвестиций предназначены для стран с более развитым IT-сектором вроде Малайзии (претендующей на роль ключевого местного регионального технохаба) и Сингапура (который уже давно им признан, но лидерство под вопросом). Недавно, например, инвестиции в Сингапур в объёме $1 млрд анонсировала Salesforce. Oracle уже имеет два действующих сингапурских дата-центра, а в прошлом году анонсировала план строительства аналогичных объектов в Малайзии за $6,5 млрд.