Южноафриканское правительство рекомендует операторам дата-центров минимизировать зависимость от централизованных электросетей и заняться «самообеспечением» энергией. По данным Datacenter Dynamics, местное Министерство связи и цифровых технологий опубликовало основные принципы новой политики в докладе National Data and Cloud Policy. Там же, например, рекомендуется перенести правительственные сервисы в облако.

Как подчёркивается в документе, проблема в том, что у Южной Африки имеются проблемы со снабжением электричеством. С учётом того, что дата-центры работают 24 часа в сутки, для них полагаться исключительно на местные магистральные сети электроснабжения будет не слишком эффективно. Таким образом, владельцам и операторам ЦОД стоит озаботиться альтернативными источниками энергии для предотвращения сбоев в работе. Власти добавляют, что приоритет должен отдаваться самообеспечению дата-центров не только электричеством, но и водой.

Источник изображения: George Brits/unsplash.com

При этом отмечается, что южноафриканская энергосеть чрезвычайно ненадёжна и отдельные части страны регулярно буквально погружаются во мрак. При этом, несмотря на проблемы с энергетической ёмкостью в этой части континента, соглашения о покупке «зелёной» энергии PPA-типа заключаются довольно редко.

Сегодня принадлежащая Digital Realty компания Teraco разрабатывает в стране собственную солнечную электростанцию, а Vodacom подписал энергетическую сделку с местной компанией Eskom. Africa Data Centres строит солнечную электростанцию в Блумфонтейне с Distributed Power Africa. Впрочем, телеком-операторы вроде MTN давно вкладывают средства в энергохранилища и генераторы для поддержания работоспособности своих объектов даже в случаях, когда отключения электричества носят системный и продолжительный характер.

Американские гиперскейлеры призывают ирландское правительство позволить строить собственные частные линии электропередач. Datacenter Dynamics сообщает, что такие энергетические магистрали свяжут дата-центры с объектами возобновляемой энергетики. Благодаря этому можно будет вновь строить дата-центры близ ирландской столицы.

Фактически в районе «Большого Дублина» действует мораторий на строительство новых кампусов ЦОД. Государственный оператор энергосетей EirGrid заявил, что пока не будет принимать заявки на подключение новых объектов соответствующего типа до 2028 года. В Ирландии, как и в Нидерландах, больше не рады гиперскейлерам.

Но если верить последним сведения, Google, Amazon и Microsoft намерены добиться от властей разрешения напрямую связать свои дата-центры с солнечными и ветряными электростанциями. Компании уверены, что это снизит нагрузку на уже существующие линии в Дублине. Пока же строить линии электропередач в Ирландии имеет право лишь государственная структура Electricity Supply Board (ESB), но гиперскейлеры уверены, что у них получится сделать то же самое дешевле и быстрее.

Источник изображения: Gabriel Ramos/unsplash.com

После начала публичных слушаний в прошлом году ирландское правительство пообещало обнародовать политику относительно частных ЛЭП ещё в I квартале 2024 года, но так и не сделало этого. Пока действует мораторий, компании ищут альтернативы. Так, Microsoft и Vantage предпочли построить собственные ТЭС на территории своих кампусов. Изучаются и возможность питания от топливных ячеек и создания энергохранилищ.

В соседней Великобритании энергокомпания Octopus, по слухам, построит собственные мачты линий электропередач, чтобы помочь расширить местные электросети. Провайдер уже ведёт переговоры с регулятором Ofgem и надеется, что оператор National Grid откажется от монополии в Англии и Уэльсе.

По мнению экспертов IT-отрасли, решение Сингапура частично отказаться от моратория на строительство новых ЦОД и «разблокировать» 300 МВт для дата-центров вряд ли принесёт действительно значимые плоды. Datacenter Dynamics ссылается на доклад BMI, не сулящий новой инициативе ничего хорошего.

Сингапур ожидает, что в страну вернутся инвесторы, желающие строить и расширять дата-центры. Хотя в городе-государстве фактически введён мораторий на строительство новых кампусов, некоторые послабления всё же делаются. Высвободить сотни мегаватт для новых проектов поможет переход уже существующих в стране ЦОД на более энергоэффективные «зелёные» технологии. Так, Equinix, Microsoft, AirTrunk и GDS недавно получили разрешения увеличить ёмкость ЦОД всего на 80 МВт.

Источник изображения: R.H. Lee/unsplash.com

Проблема в том, что на роль нового IT-хаба уже претендует соседняя Малайзия, где с энергоресурсами всё значительно лучше, а также другие страны Азиатско-Тихоокеанского региона. В докладе BMI пессимистично прогнозируется, что никакие усилия не помогут Сингапуру вновь привлечь инвесторов. Ключевым перспективным рынком становится именно Малайзия. Отмечается, что многие сингапурские бизнесы сами перенесли свои нагрузки к соседям. Именно поэтому Джохор (Малайзия) и Батам (Индонезия) получили масштабные инвестиции на строительство ЦОД в объёме 1800 МВт и 285 МВт соответственно.

Близость Сингапура и благоприятные условия — от привлекательных законов до стоимости труда и энергии — стали причиной быстрой миграции мощностей за пределы страны, отчаянно пытающейся сохранить лидерские позиции. В BMI утверждают, что новых 300 МВт не хватит для того, чтобы удовлетворить требования пользователей. Близкие развивающиеся рынки Юго-Восточной Азии в краткосрочной перспективе суммарно предложат порядка 2500 МВт.

Впрочем, представленный сингапурским регулятором Infocomm Media Development Authority (IMDA) план развития индустрии предполагает не только увеличение ёмкости за счёт повышения энергоэффективности действующих ЦОД, но и сотни мегаватт от новых источников чистой энергии.

Мировое потребление электричества дата-центрами может вырасти более чем вдвое к 2026 году. По данным AI Business, соответствующие данные содержатся в докладе Fueling the Future компании PGIM, специализирующейся на управлении активами. Одним из ключевых факторов, влияющих на энергопотребление, называются высокие нагрузки при обучении больших языковых моделей (LLM).

Более того, если сегодня на долю ЦОД приходится всего 2 % от всего потребляемого в мире электричества, то к 2030 году потреблением может стремительно вырасти — до более 20 %. Также сообщается, что развитые страны просто не успевают расширять свою электрическую инфраструктуру. Например, спрос на энергию со стороны ЦОД в Ирландии, где её и так не хватает, должен удвоиться к 2026 году, составив до трети общего потребления электричества страны.

Источник изображения: American Public Power Association/unsplash.com

В PGIM считают, что операторы дата-центров должны искать баланс между наращиванием вычислительной мощности и возможностью получать энергию из каких-либо источников. В докладе отмечается, что операторы отвечают на этот вызов по-разному — некоторые активно сотрудничают с поставщиками «зелёной» энергии для интеграции «безуглеродных» источников непосредственно с комплексами ЦОД.

Источник: PGIM

Некоторые операторы, включая Microsoft, расширяют водородную энергетику — компания участвует в разработке водородных топливных ячеек, способных заменить дизельные генераторы. Перспективной является атомная энергия. Например, AWS приобрела принадлежавший Talen Energy кампус ЦОД возле АЭС. Некоторые рассчитывают на малые модульные реакторы (SMR), разрабатываемые многими стартапами, например — поддерживаемой Сэмом Альтманом (Sam Altman) компанией Oklo, их можно будет устанавливать в непосредственной близости от ЦОД и снабжать кампусы «чистой» энергией.

Как заключили авторы доклада, сегодня операторам ЦОД приходится не только думать о том, как масштабировать свой бизнес для увеличения вычислительных мощностей, но и как получать дешёвое электричество в достаточных объёмах. И пока это получается далеко не у всех.

Dell ожидает, что уже во II половине 2024 года цена DRAM и SSD вырастет на 15–20 %. По словам вице-председателя и операционного директора компании Джеффа Кларка (Jeff Clarke), цены вырастут как на компоненты, так и на логистику. The Register сообщает, что в связи с этим Dell намерена обновить цены на свою продукцию.

По его словам, это связано с недостатком капитальных инвестиций, низкой загрузкой производств и другими факторами. Большая часть спроса придётся на продукцию для ИИ-серверов, за квартал принёсших Dell $1,7 млрд — рост квартал к кварталу составил более 100 %. Подобному оборудованию нужно много памяти с большой пропускной способностью, ёмкое внутренее и внешнее хранилище.

Источник изображения: Dell

По словам Кларка, компания уже начала пересмотр ценообразования с учётом новых реалий, что помогло Dell улучшить показатели своего серверного бизнеса. Речь как обычном оборудовании, так и о комплектах для ИИ. Объём невыполненных заказов на ИИ-серверы Dell достиг $3,8 млрд, но, по словам Кларка, NVIDIA справляется со спросом, поэтому задержек в поставках ускорителей H200 во II квартале опасаться не стоит. А вот ускорители B200, как и предупреждала NVIDIA, пока в дефиците.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

В последние годы гиперскейлеры Юго-Восточной Азии столкнулись с многочисленными проблемами, от дефицита специалистов до высоких цен на недвижимость и др. Но, как сообщает The Register, сегодня это мелочи в сравнении с главным вызовом — проблемой получения достаточного количества электроэнергии, которой не хватает и в США с Европой, и спросом, диктующим место строительства.

По словам главы BDx Data Centers Майянка Шриваставы (Mayank Srivastava), в странах Азиатско-Тихоокеанского региона уже ожидается скорая нехватка энергомощностей. В своём докладе на мероприятии DataCloud APAC 2024 в Сингапуре он заявил, что для обеспечения энергетической безопасности стране требуется 12 % избыточных мощностей. По данным Международного энергетического агентства (IEA), в Индонезии, Малайзии и на Филиппинах, а также в Японии избыточные мощности оцениваются в 5–12 %, а в материковом Китае, Южной Корее, Сингапуре, на Тайване и в Гонконге эти показатели ещё хуже.

Источник изображения: aboodi vesakaran/unsplash.com

Шривастава назвал дефицит «пугающей ситуацией», отметив, что ввод в эксплуатацию новых ЦОД в Сингапуре может привести к нестабильности энергосети. Его позицию поддержал и представитель STT GDC, заявив, что ещё десять лет назад компания рассчитывала на трёхмегаваттные контракты, но теперь речь в норме идёт о 10–15 МВт и более. В целом же потребность в энергии создаёт ситуацию, в которой приходится соблюдать баланс ряда факторов — от наличия специалистов до наличия свободных площадей для строительства ЦОД вблизи источника энергии, играют роль и другие аспекты бизнеса.

Но в целом местоположение нового дата-центра определяет именно спрос в конкретном регионе — часто приходится не принимать в расчёт даже стоимость проекта и доступность энергии. Если источника энергии нет, приходится искать и необычные решения, вроде генерации на территории самого кампуса. Другими словами, индустрия ЦОД становится всё более рискованным бизнесом, поскольку приходится строить инфраструктуру даже в регионах с высокой вероятностью стихийных бедствий вроде землетрясений и тайфунов.

С учётом необходимости увеличивать ёмкость ЦОД, отраслевые эксперты свидетельствуют, что бизнесу придётся рисковать — если пять лет назад строительство плавучих ЦОД было практически немыслимым, то теперь таких проектов довольно много. Технологии меняются, так что теперь дата-центры появляются там, где представить их раньше было бы невозможно. При этом азиатский рынок ЦОД становится всё привлекательнее для инвесторов.

Китайский гигант электронной коммерции Alibaba по примеру Microsoft, финансировавшей успешный ИИ-стартап OpenAI, пытается расширить своё присутствие на рынке ИИ-технологий с помощью инвестиций в китайские стартапы в области генеративного ИИ. Разница лишь в том, что Alibaba предлагает большей частью не традиционное финансирование деньгами, а кредиты на использование своей облачной инфраструктуры для обучения ИИ-моделей, пишет газета Financial Times.

В числе стартапов, пользующихся поддержкой Alibaba, газета назвала Moonshot, Zhipu, MiniMax и 01.ai, которые разрабатывают локальные версии американских приложений, таких как ChatGPT и чат-бот-аватар Character.ai. Так, в феврале этого года Alibaba возглавила раунд финансирования Moonshot AI, разработчика ИИ-решений для компаний в сфере электронной коммерции, включая чат-бот Kimi AI, привлёкшего $1 млрд инвестиций, после чего его рыночная стоимость оценивалась в $2,5 млрд.

По словам источников Financial Times, Alibaba инвестировала в Moonshot AI $800 млн, но лишь чуть больше половины было предоставлено деньгами, а остальная часть поступила в виде кредитов на облачные вычисления. Как утверждают источники, в течение 2023 года глава Alibaba Эдди Юнмин У (Eddie Yongming Wu) лично контролировал выделение инвестиций четырём ведущим ИИ-стартапам Китая, что говорит о том, какое значение компания придаёт этому направлению.

Источник изображений: Alibaba

После отказа из-за санкций США от амбициозного плана реструктуризации, предполагавшего проведение IPO облачным подразделением, на фоне растущей конкуренцией со стороны ByteDance и PDD Holdings на своём основном рынке электронной коммерции, Alibaba пытается найти новые драйверы роста. После отмены реструктуризации Эдди Юнмин У взял под личный контроль облачный бизнес, сделав ставку на ИИ в скорректированной стратегии по стимулированию роста компании.

Порядок выделения инвестиций Alibaba в Moonshot повторяет подход Microsoft и Amazon, согласно которому денежные средства передаются ИИ-стартапам при условии, что те будут использовать их для обучения и запуска моделей в облаках Azure и AWS соответственно. Разница заключается в том, что в случае Alibaba напрямую деньги никогда не передаются китайским стартапам. Вместо этого они хранятся на условном депонировании, который компания может считать поступающим доходом.

«Предоставление вычислений на самом деле более ценно, чем наличные, — заявил китайский эксперт в области ИИ. — Из-за нехватки чипов очень сложно получить доступ к кластеру Alibaba из 10 тыс. ускорителей». Alibaba Cloud и другие игроки успели приобрести крупные объёмы современных ускорителей NVIDIA, в том числе урезанные A800 и H800, прежде чем США ввели ограничения. И теперь компания стремится извлечь из владения ими выгоду, прежде чем они устареют.

Крупнейшие интернет-компании Китая, в том числе Alibaba, Meituan, Xiaohongshu и Tencent, играют огромную роль в финансировании новой волны ИИ-стартапов по сравнению с предыдущим поколением стартапов, где доминировали компании SenseTime и Megvii, специализирующиеся на разработке решений для распознавания лиц и видеонаблюдения.

Руководитель DigitalBridge Марк Ганзи (Marc Ganzi) выступил с чрезвычайно пессимистичным прогнозом. По данным Datacenter Dynamics, он уверен, что энергия для дата-центров закончится уже через два года — значительно раньше, чем прежде считали в самой компании.

Американская DigitalBridge владеет ЦОД и инвестирует в инфраструктуру по всему миру. На её долю приходится более 60 дата-центров и 20 интерконнект-хабов на 30 региональных рынках, а также модульная ЦОД-платформа для периферийных вычислений.

Выступление главы бизнеса состоялось в ходе отчёта о финансовых показателях I квартала 2024 года. По словам Ганзи, энергия будет исчерпана в ближайшие 18–24 месяца. Ранее он был более оптимистичен — на мероприятии Berlin Infrastructure Conference руководитель DigitalBridge заявлял, что электричество для ЦОД закончится только через пять лет.

Источник изображения: American Public Power Association/unsplash.com

По его мнению, в американских сетях остался резерв менее 7 ГВт и менее 3 ГВт — в Европе. Проблема даже не только и не столько в производстве энергии, сколько в её передаче и распределении, поскольку допустимая ёмкость сетей электропередач ограничена. При этом бизнесмен подчеркнул, что разрешение на новую линию электропередач или подстанцию гораздо сложнее получить, чем, например, на вышку мобильной связи.

В DigitalBridge сообщают, что к концу 2023 года компания зарезервировала доступ к более 5 ГВт, а сейчас идёт строительство 2 ГВт ёмкостей. При расходах по $10 млн за МВт, компания ожидает, что капитальные издержки в грядущие годы составят $20 млрд. Также Ганзи добавил, что DigitalBridge намерена построить объекты ёмкостью 3 ГВт при сотрудничестве с Silver Lake для удовлетворения спроса на ИИ и облачную инфраструктуру.

Ранее Ганзи заявлял, что потенциал рынка ЦОД для генеративных облачных ИИ-решений, кабелей и другого оборудования имеет ёмкость в 38 ГВт и сотни миллионов долларов. Компания намерена обучать ИИ-модели с низкой задержкой с использованием ЦОД, расположенных недалеко от существующих «зелёных» энергомощностей, т.е. ветряных, солнечных, газовых и гидроэлектростанций.

Например, принадлежащий DigitalBridge оператор ЦОД — компания Switch использует преимущественно ветряную и солнечную энергию, активно применяются и гидроресурсы. Ганзи назвал искусственный интеллект частью решения проблемы энергетики, по его словам, ИИ будет внедряться для оптимизации дата-центров DigitalBridge.

Dominion Energy в прошлом году подключила к энергосети в Вирджинии — крупнейшем в мире рынке ЦОД — 15 дата-центров общей ёмкостью 933 МВт. По данным Datacenter Dynamics, в 2024 году электроснабжение получат ещё столько же ЦОД, суммарная ёмкость которых пока не подсчитана. А всего с 2019 года Dominion Energy подключила в Северной Вирджинии 94 дата-центра общей ёмкостью 4 ГВт. Для сравнения — ёмкость ЦОД Microsoft по всему миру только недавно превысила 5 ГВт.

В докладе Dominion Energy за 2023 год сообщается, что на дата-центры приходится 24 % продаж электричества дочерней Virginia Power, тогда как в 2022 году их доля была 21 %. При этом подчёркивается, что спрос отдельных ЦОД вырос с приблизительно с 30 МВт до 60–90 МВт, а запросы кампусов выросли с 300 МВт до «нескольких гигаватт». При этом на максимальное потребление они теперь выходят не за 4–5 лет, а всего за 2–3 года, причём в дальнейшем нагрузка только увеличится.

Источник изображения: American Public Power Association/unsplash.com

American Electric Power (AEP) получила запросы на поставку до 15 ГВт, львиная доля которых приходится на ЦОД. Драйверами спроса служат гиперскейлеры вроде AWS и Google. Компания имеет мощности около 38 ГВт и готова инвестировать более $27 млрд в линии электропередач и системы распределения энергии в следующие пять лет. Она ожидает увеличение капитальных издержек в будущем, связанных с ростом потребления энергии ЦОД.

Public Service Enterprise Group (PSEG) ведёт переговоры о строительстве ЦОД ёмкостью 50–100 МВт рядом со своими АЭС. Наконец, отвечающая за электропередачу компания PJM заявила, что располагает достаточными ресурсами для того, чтобы удовлетворить спрос летом 2024 года. Однако она предупреждает о проблемах в будущем из-за того, что для замены 1 МВт энергии от обычных электростанций на ископаемом топливе, которые активно выводятся из эксплуатации, фактически требуется несколько МВт из возобновляемых источников из-за нестабильности последних.

Проблема энергоснабжения ЦОД в США вообще и Северной Вирджинии в частности носит системный характер. В апреле сообщалось, что «зелёные» энергопроекты не смогут «прокормить» ИИ на крупнейшем в мире рынке ЦОД, причём тревогу поставщики бьют уже не первый год. Если ситуацию не удастся оперативно исправить, то дефицит энергии может привести к сокращению ИИ-нагрузок или даже к постройке ТЭС непосредственно на территории кампусов, как это уже происходит в Европе.