Энергокомпании США прогнозируют рост спроса на электричество, вызванный взрывным развитием рынков ЦОД и генеративного ИИ. По данным Datacenter Dynamics, многие из поставщиков энергии в стране сегодня пересматривают капитальные затраты с учётом растущего спроса со стороны дата-центров.

Как сообщили аналитики Reuters, девять из десяти энергоснабжающих компаний США связывают рост клиентской базы и спрос на электричество с индустрией дата-центров, тогда как в прошлом году среди них лишь две учитывали вероятный рост ЦОД в своих прогнозах. По словам Newton Investment Management, рост индустрии ожидается более быстрый, чем в предыдущие десятилетия. А рост востребованности энергии вызывает опасение, что генерирующих мощностей попросту не хватит. Более того, по мнению некоторых экспертов, рост производства энергии не успевает за ростом ЦОД вообще.

Источник изображения: Casey Horner/unsplash.com

Так, Southern Co рассчитывает, что ЦОД будут способствовать ежегодному росту продаж энергии на 6 % в 2025–2028 гг., хотя ранее ожидалось, что прирост составит лишь 1–2 %. Филиал Power Business в Джорджии, вероятно, будет расти на беспрецедентные 9 % ежегодно. А в Morgan Stanley предполагают, что использование электроэнергии дата-центрами в глобальном масштабе вырастет втрое, с менее 15 ТВт∙ч в 2023 году до 46 ТВт∙ч в 2024 году.

Наконец, McKinsey предрекает спрос на электроэнергию для IT-оборудования в ЦОД США на уровне 50+ ГВт к 2030 году. В прошлом году она предполагала, что он достигнет только 35 ГВт к концу десятилетия. Общее потребление электричества в США должно значительно вырасти. Во многом не только из-за ЦОД, но и из-за развития электротранспорта. Всего, по оценкам BofA Global Research, к 2030 году спрос вырастет на 15 % до 70 ГВт.

Источник изображения: Lawrence Berkeley National Laboratory

Как считают в Национальной лаборатории Лоуренса Беркли (Lawrence Berkeley National Laboratory), ёмкость новых проектов, желающих подключиться к сетям, выросла с 2000 ГВт в 2022 году до 2600 ГВт в 2023-м. При этом потенциальная мощность новых энергопроектов за последние три года взлетела на 90 %. Из них 80 % приходится на новые типы энергии. Правда, как признают в лаборатории, большинство заявленных проектов так и не были реализованы в 2023 году, успешных инициатив — не более 20 %.

Тем временем регуляторы обеспокоены возможным ростом нагрузки на электросети, увеличением углеродных выбросов и другими вероятными проблемами, связанными с развитием ЦОД. Например, законотворцы в Джорджии проголосовали за отмену налоговых льгот для дата-центров, заявив, что те не создают достаточно рабочих мест для существенного развития экономики, зато возлагают непосильную нагрузку на местные энергокомпании.

Инженерный колледж Технологического института Джорджии (Georgia Tech) объявил о заключении соглашения о сотрудничестве с NVIDIA с целью создания первого в мире суперкомпьютерного центра ИИ, предназначенного для обучения студентов. Проект получил название AI Makerspace.

Отмечается, что AI Makerspace позволит демократизировать доступ к вычислительным ресурсам, которые традиционно были доступны только исследователям и технологическим компаниям. В рамках проекта студенты смогут использовать возможности НРС-комплекса для углубления своих навыков работы с ИИ. Это поможет в выполнении курсовых работ и позволит учащимся получить ценный практический опыт.

Фактически AI Makerspace — это выделенный вычислительный кластер. В создании системы приняли участие специалисты Penguin Solutions. Применяется платформа для работы с ИИ-приложениями NVIDIA AI Enterprise. На начальном этапе в составе ИИ-суперкомпьютера задействованы 20 систем NVIDIA HGX H100, насчитывающие в общей сложности 160 ускорителей NVIDIA H100. В качестве интерконнекта применяется NVIDIA Quantum-2 InfiniBand.

Источник изображения: Georgia Tech

В рамках сотрудничества с Georgia Tech компания NVIDIA окажет поддержку студентам и преподавателям Инженерного колледжа по программе NVIDIA Deep Learning Institute (Институт глубокого обучения NVIDIA). Данная инициатива предусматривает все виды практикумов по ИИ, ускоренным вычислениям, графике, моделированию и другим современным технологиям. AI Makerspace расширяет базовую теоретическую учебную программу Georgia Tech по ИИ, предлагая студентам практическую платформу для решения реальных задач, разработки передовых приложений и реализации своих идей.

IT-гиганты из США призвали Foxconn и других тайваньских партнёров организовать производство ИИ-серверов в Мексике. The Wall Street Journal сообщает, что, даже без учёта геополитических причин, мешающих сотрудничеству с материковым Китаем, вендоры только выиграют — благодаря соглашению о свободной торговле между США, Мексикой и Канадой от 2020 года выпускать продукцию на границе с Соединёнными Штатами просто выгоднее.

С момента подписания соглашения Мексика стала его ключевым бенефициаром наряду с США. Например, на объектах Foxconn в стране, по некоторым данным, уже выпускаются ИИ-серверы для Amazon, Google и NVIDIA.

По данным отраслевых источников, наладить производство в Мексике намерен и другой тайваньский производитель серверов — Inventec, якобы уже имеющий в партнёрах некий «топовый американский бренд». Снизить зависимость от Китая пытаются и Dell с HPE, развивая проекты в Юго-Восточной Азии и Мексике. Пытаются пустить корни в стране Pegatron, Wistron, Quanta и Compal. По последним данным, в Мексике уже действуют 300 тайваньских компаний, на которые работают 70 тыс. человек. Вместе они формируют рынок объёмом $15 млрд.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Впрочем, у Мексики есть собственные недостатки — ей трудно конкурировать с Китаем по уровню заработной платы и здесь отсутствует надёжная инфраструктура. Но благодаря трансграничным соглашениям о свободной торговле и географической близости к США эти недостатки нивелируются, а в политическом аспекте проблем у США с Мексикой фактически нет. Это делает её во многих отношениях привлекательнее, чем Китай, где сегодня отмечаются большие проблемы с выпуском ИИ-серверов. В частности, с некоторых пор КНР не может получать передовые чипы для выпуска аналогичного оборудования, предназначенного для поставок американским компаниям, из-за введённых США антикитайских санкций. Запрещены даже поставки некоторых игровых видеокарт.

Охлаждение отношений между США и Китаем привело и к сокращению торговли между странами в целом. Например, в 2023 году доля китайских товаров в американском импорте составляла 13,9 %. Для сравнения — в 2015 году она была на уровне 21,5 %. На прошлой неделе появилась статистика Министерства экономики Тайваня (Ministry of Economic Affairs, MOEA), согласно которой местный бизнес производит 90 % всех ИИ-серверов в мире и 100 % серверов под американскими брендами. Такое положение дел не может не беспокоить США, поскольку многие допускают превращения региона в «горячую точку» уже в ближайшие годы.

Занимающийся проектами в области атомной энергетики стартап Oklo подыскивает директора, готового заняться решениями для ЦОД. Компактные реакторы, разрабатываемы Oklo, способны генерировать до 15 МВт и автономно работать более 10 лет до того, как их понадобится «перезарядить». По данным Datacenter Dynamics, потенциальный директор должен привлечь к продуктам компании корпоративных клиентов и гиперскейлеров.

В описании вакансии сообщается, что передовые АЭС Oklo обеспечат дата-центрам энергетическую независимость, которая важна для развёртывания облачных и ИИ-инфраструктур. От кандидата ожидают глубокие знания в области планирования энергоснабжения ЦОД, достаточную квалификацию для выбора площадок, организации строительства, закупок и эксплуатации ЦОД, а также опыт ведения переговоров о покупке энергии (PPA) с крупными потребителями.

Изюминка в том, что стартап поддерживает глава OpenAI Сэм Альтман (Sam Altman). Весьма вероятно, что компания, лидирующая в сфере ИИ, очень рассчитывает на подобные технологии, поскольку нынешние ЦОД для ИИ потребляют огромное количество энергии и воды.

Источник изображения: Oklo

Oklo находится в процессе обратного слияния со SPAC AltC Acquisition, что позволит выйти ей на публичные торги в июле 2024 года. При нынешней оценке бизнеса в $850 млн компания рассчитывает привлечь $500 млн. Правда, в прошлом году ВВС США отменили выделение $100 млн на один из микрореакторов Oklo. Кроме того, компания ещё не получили одобрения со стороны Комиссии по ядерному регулированию США, хотя и успешно завершила вторую фазу тестов совместно с Аргоннской национальной лабораторией.

С некоторых пор дата-центры рассматриваются компанией в качестве потенциального рынка для своих решений, а появление новой вакансии косвенно свидетельствует о том, что теперь она хотела бы привлечь клиентов в этой сфере. Индустрия ЦОД, испытывавшая недостаток электроэнергии ещё до ИИ-бума, рассматривает микрореакторы или малые модульные реакторы (SMR) в качестве потенциального решения проблемы питания.

Ранее в этом году Microsoft, также рассматривающая использование SMR для питания своих ЦОД, наняла ветеранов атомной отрасли. Amazon же пошла более традиционным путём, потратив $650 млн на покупку ЦОД, запитанного от полноценной АЭС. А в России уже более пяти лет работает дата-центр «Калининский», расположенный у одноимённой АЭС.

Google и Microsoft совместно со сталелитейным гигантом Nucor Corporation объединили усилия для инвестиций в инновационные проекты по генерации и хранению энергии. Datacenter Dynamics сообщает, что тройка партнёров будет агрегировать свои запросы на «чистую» энергию и развивать новые бизнес-модели в этой области. Правда, массовыми и доступными новые технологии, как ожидается, станут только в первой половине 2030-х гг.

Инициатива призвана ускорить развитие первых в своём роде и находящихся на ранней стадии коммерциализации проектов, включая передовые разработки в области атомной и геотермальной энергетики, а также технологии, связанные с «чистым» водородом и системами долговременного хранения энергии (LDES). Компании уже запросили информацию о подобных проектах в США. Первый раунд закупок соглашений о покупках энергии (PPA) у молодых игроков завершится приблизительно в I квартале 2025 года.

Источник изображения: Thomas Despeyroux/unsplash.com

Пока передовые технологии, связанные с «чистой» энергетикой, находятся в зоне риска из-за новизны и неясности перспектив. Являясь одними из крупнейших потребителей энергии, партнёры рассчитывают, что создавая новые коммерческие структуры и совместно пользуясь их решениями, они смогут снизить риски для коммунальных предприятий и девелоперов, рассматривающих вложения в проекты на ранней стадии развития. Партнёры будут уделять приоритетное внимание финансированию перспективных технологий, их лоббированию и формированию стимулирующих тарифных сеток при сотрудничестве с поставщиками энергии и коммунальными службами.

При оценке технологии будет рассматриваться её зрелость — она должна быть первой в своём роде и уже работающей за пределами лаборатории, но ещё не получившей широкого применения. Также претендующие на вложения стартапы должны обеспечить надёжную поставку не менее 50 МВт «чистой» энергии — либо полностью безуглеродной, либо выделяющей менее 100 г CO₂/кВт∙ч. Предпочтение отдаётся проектам американского происхождения, которые можно будет коммерциализировать к 2030 году. Наконец, решения должны выдерживать ценовую конкуренцию с существующими источниками энергии и иметь возможность масштабирования до 100+ ГВт по всему миру к 2040 году.

Соединённые Штаты активно занялись созданием инфраструктуры для выпуска водородных топливных элементов. Datacenter Dynamics сообщает, что Министерство энергетики страны выделило $750 млн на 52 проекта соответствующей тематики в 24 штатах. Предполагается, что они смогут снизить себестоимость водорода и увеличить объёмы поставок.

Проекты выделены в рамках закона, подписанного в 2021 году и предполагавшего выделение на инфраструктурные проекты $1 трлн. Как сообщают в министерстве, новый план обеспечат США рост возможности производства водородных топливных ячеек в объёме до 14 ГВт/год, а также электролизеров на 10 ГВт ежегодно — этого будет достаточно для выпуска 1,3 млн тонн чистого водорода каждый год.

Источник изображения: akitada31/pixabay.com

Средства распределят по шести направлениям: производство электролизеров, цепочка поставок для электролизеров, компоненты электролизеров, выпуск топливных ячеек, цепочка поставок для топливных ячеек, утилизация. В числе прочих получателем средства стала Plug Power, выпускающая топливные элементы. Ранее компания заявляла, что гиперскейлеры начнут внедрять водородные элементы для ЦОД в конце 2025 года. Речь, вероятно, о Google, Amazon и Microsoft.

Последняя уже внедрила водородную систему Plug Power мощностью 3 МВт в 2022 году. Ранее Microsoft заявила, что объединила усилия с Caterpillar, обеспечив питание ЦОД в течение 48 часов исключительно за счёт энергии, вырабатываемой ячейками производства Ballard Power Systems. Как Caterpillar, так и Ballard тоже стали получателями субсидий Министерства энергетики. Также деньги выделены 3M, General Motors, Nuvera и Robert Bosch.

Операторы ЦОД довольно давно присматриваются к топливным элементам, видя в них альтернативу дизельным электрогенераторам в качестве резервных источников питания. Не исключается, что такие ячейки в будущем могут стать и основными источниками питания.

HPC-инфраструктура NASA нуждается в серьёзной модернизации, поскольку в текущем виде не в состоянии удовлетворить потребности организаций в составе национального управления по аэронавтике и исследованию космического пространства США. К такому выводу, как сообщает The Register, пришло в ходе аудита Управление генерального инспектора.

Отмечается, что НРС-инфраструктура NASA морально устарела и не в состоянии эффективно поддерживать современные рабочие нагрузки. Например, в Центре передовых суперкомпьютеров NASA задействованы 18 тыс. CPU и только 48 ускорителей на базе GPU.

Источник изображения: NASA

Кроме того, текущих вычислительных мощностей не хватает для всех потребителей. Поэтому некоторые отделы и научные центры NASA вынуждены закупать собственное оборудование и формировать локальную НРС-инфраструктуру. В частности, одна только команда Space Launch System ежегодно тратит на эти цели $250 тыс. вместо того, чтобы подключаться к централизованной системе. Фактически каждое структурное подразделение NASA, за исключением Центра космических полетов Годдарда и Космического центра Стенниса, имеет собственную независимую вычислительную инфраструктуру.

Ещё одной причиной развёртывания локальных мощностей является путаница вокруг облачных ресурсов и политики NASA, из-за которой возникают сложности с планированием и оценкой финансовых затрат. Аудит также показал, что есть вопросы к безопасности суперкомпьютерного парка NASA. Например, нет должного мониторинга некоторых систем, доступ к которым имеют иностранные пользователи.

В целом, наблюдающаяся картина приводит к задержкам в реализации космических миссий и дополнительным расходам. Для устранения недостатков руководству NASA рекомендовано провести комплексную реформу НРС-сектора, включающую инвентаризацию активов, выявление технологических пробелов и киберрисков. Необходимо также разработать стратегию по улучшению распределения имеющихся вычислительных мощностей.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Генеральный директор EQT Corp. Тоби Райс (Toby Rice) заявил, что проект газопровода Mountain Valley Pipeline, реализуемого Equitrans Midstream Corp., будет способствовать буму ИИ-технологий. Bloomberg сообщает, что EQT считается крупнейшим добытчиком природного газа в США и намерена приобрести Equitrans, ранее принадлежавшую ей же.

На юго-востоке США наблюдается стремительный рост спроса на мощности ЦОД для ИИ. При этом новый газопровод стоимостью $7,6 млрд позволит поддержать местное энергоснабжение, когда его строительство завершат во II квартале 2024 года. Газ будет поставляться из сланцевого бассейна Marcellus в Аппалачах — крупнейшем источнике топлива в Соединённых Штатах — в Вирджинию, где находится крупнейший в мире рынок ЦОД.

Источник изображения: JJ Ying/unsplash.com

Equitrans является бывшим подразделением самой EQT, и речь фактически идёт об обратном выкупе за $5,5 млрд — это последняя из крупных сделок в индустрии нефте- и газопроводов. По данным Bloomberg, в EQT уверены, что сделка поможет стабилизировать цены, которые почти достигли трёхлетнего минимума. Ранее в EQT заявляли, что в ответ на падение цен сократят добычу. Объединённая компания сможет компенсировать растущие потребности в энергии и обеспечить более экоустойчивую генерацию электричества благодаря замене угольного топлива газом. Кроме того, увеличится экспорт на международный рынок СПГ, где цены традиционно выше, чем на национальном рынке.

Equitrans отделилась от EQT в 2018 году, а её обратный выкуп, по мнению экспертов, может свидетельствовать о том, что американский рынок ископаемого топлива, возможно, возвращается к вертикальной интеграции активов и операций, от производства до транспортировки и переработки. Сделку по покупке Equitrans, вероятно, закроют в IV квартале 2024 года. В результате акционеры EQT должны будут получить порядка 74 % акций объединённой компании.

Компания Sidewalk Infrastructure Partners (SIP), основанная Alphabet, учредила новый бизнес Verrus, который займётся строительством «экологически оптимизированных» дата-центров. Silicon Angle сообщает, что новая структура построит сеть ЦОД с резервным питанием от АКБ — для размещения ИИ-моделей и выполнения других задач.

Sidewalk появилась в 2019 году в результате развития проектов «умного города». Компания участвует в многочисленных инфраструктурных инициативах, включая программы по переработке отходов, развитию телекоммуникаций и созданию энергосистем. Имеется даже собственное дочернее предприятие по строительству дорог для автономных машин.

Дата-центры Verrus, оптимизированные для обеспечения экоустойчивости, как заявляется, станут активами находящихся поблизости сообществ, а не «постоянными и негибкими причинами истощения» локальной инфраструктуры. В ЦОД Verrus упор сделан на более аккуратно использование энергетических ресурсов. Например, учитывается тот факт, что некоторые приложения должны работать круглосуточно, а другие активны лишь периодически — разные типы нагрузок будут выполняться в отдельных секциях дата-центров.

Источник изображения: Sidewalk Infrastructure Partners (SIP)

Электропитание будет общим для всех секций, но энергия будет распределяться между ними в необходимых пропорциях. Например, если одна из секций получает больше энергии, чем ей требуется, избыток будет отправлен серверам, которым действительно не помешает питание. Наконец, обещано использование передовых технологий охлаждения, но без уточнения, о чём именно идёт речь.

Компания намерена применять программную платформу собственной разработки для управления рабочими нагрузками клиентов и расходом энергии. Такая система, как сообщается, способна минимизировать углеродные выбросы при благоприятных условиях. Вместо резервных дизель-генераторов дата-центры Verrus будут полагаться на аккумуляторы, которые будут использоваться не только во время перебоев в местной энергосети, но и когда она слишком перегружена, чтобы не создавать дополнительную нагрузку.

Строительство каждого ЦОД обойдётсч в $1 млрд. Три первых объекта Verrus планирует завершить в Аризоне, Калифорнии и Массачусетсе, заработать они должны в 2026–2027 гг. Кампусы, по слухам, уже привлекли внимание потенциальных клиентов, включая гиперскейлеров — они могут стать целевой аудиторией проекта при поиске инвестиций. Пока Sidewalk привлекла $800 млн от Alphabet, пенсионного фонда Ontario Teachers’ Pension Plan и инвестиционной компании StepStone Group LP.