Крупные технологические компании не скрывают намерения продолжать активно вкладываться в разработку и эксплуатацию ИИ-систем. Как свидетельствует блог IEEE Communication Society (ComSoc), они готовы идти на это даже с учётом того, что инвесторы уже обеспокоены тем, что гигантские вложения могут окупиться нескоро. Впрочем, признаков того, что бум ИИ-технологий продолжится, всё ещё немало.

В прошлом квартале капитальные затраты Apple, Amazon, Meta✴, Microsoft и Alphabet в общей сложности составили $59 млрд, на 63 % больше год к году и на 161 % больше чем четыре года назад. В значительной части средства ушли на постройку дата-центров и их оснащение новыми системами для ИИ. Из крупнейших компаний не особенно много потратила лишь Apple, и то потому, что компания не строит собственных передовых ИИ-систем и, в отличие от прочих, не является традиционным облачным провайдером.

Источник изображения: New York Times

В начале года Meta✴ заявила, что потратит в 2024 году более $30 млрд на новую технологическую инфраструктуру. В апреле она подняла прогноз трат до $35 млрд, а в минувшую среду — уже до $37 млрд, и это минимум. По словам главы компании Марка Цукерберга (Mark Zuckerberg), компания будет тратить больше уже в следующем году, он заявил, что лучше будет строить «слишком быстро, чем слишком поздно» — IT-гигант не позволит конкурентам обогнать его в гонке ИИ. Цукерберг считает, что ИИ может использоваться для совершенствования всех продуктов компании буквально в любых аспектах.

Новый этап развития генеративных ИИ-систем чрезвычайно дорог, но финансовая отдача от них пока не слишком впечатляет. В последние месяцы некоторые экспертные и инвестиционные компании, включая Goldman Sachs и Sequoia Capital, поставили под вопрос вероятность того, что затраты на ИИ вообще смогут когда-либо окупиться. При этом некоторые считают, что пока непонятно, окажет ли ИИ на общество хотя бы приблизительно то же значение, что и появление интернета и мобильных телефонов.

Единого взгляда на проблему нет. Если одни говорят, что ИИ лишь отнимет рабочие места с помощью дорогих технологий (что не всегда случалось в ходе других научно-технических революций), то другие уверены, что количество рабочих мест только увеличится и новые сотрудники требуются уже сейчас — изменится только характер работы. В частности, в Amazon с оптимизмом смотрят в будущее, покупая новую землю, чипы и оборудование, а также строя новые ЦОД и ожидая рост выручки в следующем десятилетии.

Источник изображения: Axios

Прибыли и выручка крупных компаний продолжат расти, но обеспечат ли большие затраты хорошую окупаемость инвестиций в долгосрочной перспективе? Пока косвенным показателем является отчётность за II квартал 2024 года:

• Alphabet — чистая прибыль $24 млрд, выручка $85 млрд;
• Microsoft — $22 млрд и $65 млрд;
• Meta✴ — $13,5 млрд и $39 млрд;
• Apple — $21 млрд и $86 млрд;
• Amazon — $13,5 млрд и $148 млрд.

ИИ-системам требуются огромные объёмы электроэнергии, что резко повышает требования к системам резервного питания ЦОД на случай сбоев, пишет EE Times. По данным СМИ, глобальный спрос со стороны критических IT-инфраструктур вырастет с 49 ГВт в 2023 году до 96 ГВт к 2026 году, на ИИ придётся порядка 40 ГВт. При этом ёмкость ИИ ЦОД, как ожидается, будет составлять 100 МВт. А общее потребление дата-центров может вырасти до более 1000 ТВт∙ч в 2026 году.

Для ИИ ЦОД требуется доступность на уровне 99,99999 %, так что им нужно полномасштабное резервное энергоснабжение. Для этого обычно используются дизельные или газовые генераторы мощностью 1–2 МВт. Для защиты крупного ЦОД нужны десятки таких машин, готовых к пуску. Критически важной является скорость переключения на резервный источник питания — на старт генератора обычно требуется до нескольких минут, так что всё это время питание должно осуществляться от аккумуляторов. Кроме того, нужно распределительное устройство, а также система мониторинга и автоматизации, которая сделает для IT-нагрузки переход с одного источника на другой незаметным.

Источник изображения: Saif71.com / Unsplash

Однако рост ёмкости ЦОД резко усложняет и удорожает создание систем резервного питания. Генератор мегаваттного класса весит около 5 т (без топлива), занимает не так уж мало места (добавьте сюда топливный бак объём от 1 м³) и стоит порядка $1–$2 млн без учёта доставки и установки. При этом аккумуляторная система — это ещё один отдельный комплекс с собственными проблемами установки. Так что не исключено, что недавно запущенный ИИ-кластер xAI, который пока что вынужден питаться как раз от генераторов, даже после подключения к энергосети оставит эти генераторы на площадке.

Китайский оператор ЦОД GDS Holdings Ltd. намерен привлечь $1 млрд инвестиций для своего подразделения, занимающегося дата-центрами за пределами КНР, преимущественно в Юго-Восточной Азии. По данным Bloomberg, решение было принято на фоне удачного привлечения компанией средств всего несколько месяцев назад. Как сообщают источники, GDS работает с аналитиками, чтобы оценить интерес мировых инвесторов к вложениям в базирующуюся в Сингапуре GDS International.

GDS, акции которой торгуются в Гонконге и Нью-Йорке, в случае успешного получения инвестиций всё равно оставит за собой значительный пакет акций. В этом году GDS уже привлекла несколько сот миллионов долларов для своих операций за пределами Китая, продав долю в GDS International группе инвестиционных компаний Boyu Capital, Hillhouse Investment и Princeville Capital. В ходе раунда серии А компания привлекла $672 млн вместо ожидавшихся $587 млн, в результате чего инвесторы получили 47,3 % акций GDS International.

Источник изображения: Scott Graham/unsplash.com

GDS International со штаб-квартирой в Сингапуре основали в 2022 году. Сегодня она располагает ЦОД суммарной ёмкостью 330 МВт — часть из них уже функционируют, а часть ещё строится. Ещё 330 МВт будет построено в Сингапуре, Гонконге, Джохоре (Малайзия), Батаме (Индонезия) и других регионах.

По данным отчёта GDS за I квартал, её чистый убыток составил ¥345 млн ($47,7 млн). На деле показатели улучшились, поскольку годом ранее в тот же период убыток составил ¥475 млн. Чистая выручка выросла на 9,1 % в сравнении с тем же кварталом 2023 года до ¥2,6 млрд. В этом году акции GDS выросли в цене почти на 20 % в Гонконге, что привело к росту рыночной стоимости до HK$16,8 млрд ($2,2 млрд).

Окончание периода налоговых льгот для норвежских операторов ЦОД, похоже, приведёт к важным изменениям соответствующей индустрии в стране. Computer Weekly сообщает, что местные игроки всё чаще меняют стратегию развития и инвестиций и делают ставку на более энергоэффективные объекты. Говорится, что геополитическая ситуация и революция в сфере ИИ усиливают необходимость создания безопасных хранилищ данных на территории самой Норвегии. При этом страна должна получить экобезопасные и устойчивые ЦОД.

Во многом это связано с ожиданием ввода новых налогов на энергоёмкие отрасли в 2025 году, поскольку политики уже выразили озабоченность энергоэффективностью ЦОД и их энергопотреблением вообще. Инвестиции в отрасль приветствуются, но предпочтение всё чаще отдаётся наиболее экономичным и экобезопасным вариантам. Более того, норвежский консорциум, возглавляемый энергокомпанией Hafslund, телеком-провайдером Telenor с госучастием и инвестором HitecVision создал ГК Skygard — совместное предприятие займётся возведением энергоэффективных ЦОД по всей Норвегии. Участники консорциума будут владеть долями по 31,7 %. Оставшиеся 4,9 % получила консалтинговая Analysys Mason Nordic.

Источник изображения: Simon Williams/unsplash.com

Ключевым игроком является Hafslund, второй по величине производитель электроэнергии в Норвегии — комапнии принадлежит 81 ГЭС, в 2023 году на которые приходилось 5200 МВт. Telenor совместно с NVIDIA создаст суверенные облачные платформы для Норвегии. На первом этапе консорциум инвестирует €210 млн, в числе прочего предусмотрено строительство ЦОД в одном из районов Осло. Работы на площадке начались уже в марте 2024 года. Кампус Skygard должен начать работу в I половине 2025 года, колокейшн-ёмкости поступят в распоряжение нескольких арендаторов. Позже в районе «Большого Осло» будут построены ещё два дополнительных ЦОД. Совокупная ёмкость трёх объектов составит 40 МВт.

Компания Eidsiva — один из крупнейших энерго- и телеком-провайдеров в Норвегии, принадлежащий местным муниципалитетам, тоже решил заняться дата-центрами. В конце мая компания завершила покупку ЦОД ёмкостью 6 МВт. В компании предполагают, что цифровая инфраструктура Норвегии нуждается в собственных «строительных блоках» для оказания социально важных услуг — ими станут ЦОД в национальной и государственной собственности.

Переход от крупных ресурсоёмких ЦОД к более экономичным приобрёл особое значение в 2023 году, когда власти отказались от налоговых льгот для энергоёмких отраслей. При этом Норвежская ассоциация ЦОД (Norwegian Datacentre Industry, NDCI) свидетельствует, что на конец 2023 года в отрасли работало 2300 штатных сотрудников, а установленная мощность на конец года составляла 501 МВт, и которых сейчас используется 150 МВт или 1 % от общего объёма генерируемой в Норвегии энергии. 98 % этого электричества приходится на ГЭС. Ожидается, что к 2028 году потребление ЦОД составит 1,9 % от общенорвежского.

Источник изображения: Michael Fousert/unsplash.com

В целом рост сектора ЦОД в стране по-прежнему обусловлен ключевыми мировыми игроками вроде Microsoft и Google. Первая построила первый дата-центр в стране в 2019 году, вторая начала возводить ЦОД в рамках проекта стоимостью €600 млн в феврале 2024 года. Объект ёмкостью 240 МВт будет предлагать «мусорную» тепловую энергию местным муниципалитетам. В Google заявляют, что запуск планируется на 2026 год.

Политики хотят, чтобы муниципалитеты обязали операторов размещать вырабатывающие много тепла ЦОД рядом с промышленными центрами, способными его использовать. А обновлённый план National Energy Efficiency Action Plan норвежских властей связан с энергоёмкими отраслями. Так, правительство предложило поправки в Закон об энергетике (Energy Act), согласно которым от строителей ЦОД потребуется проведение анализа эффективности и целесообразности использования тепловых выбросов ЦОД. Инициатива касается дата-центров ёмкостью от 20 МВт. При этом Норвегия по-прежнему намерена стать «фантастической площадкой» для ЦОД.

Американская энергетическая компания Dominion Energy рассматривает целесообразность прямого подключения дата-центра к атомной электростанции в Коннектикуте (США). По данным Datacenter Dynamics, речь идёт об объекте близ АЭС Millstone Power Station в Уотерфорде. Соответствующую информацию подтвердил глава компании Роберт Блю (Robert Blue). Он заявил, что компания «безусловно открыта» для идеи строительства колокейшн-мощностей в районе АЭС.

По его словам, Dominion Energy чётко понимает, что колокейшн-объект имеет смысл как для самой компании, так и её контрагента и акционеров. Комментарии появились после того, как Amazon (AWS) в марте приобрела дата-центр компании Talen Energy, расположенный рядом с её же атомной станцией в Пенсильвании. AWS потратила $650 млн на приобретение кампуса Cumulus ёмкостью до 960 МВт. Здесь облачный гигант намерен построить15 зданий ЦОДв течение следующего десятилетия.

Источник изображения: Dominion Energy

Впрочем, не всё так гладко, как может показаться на первый взгляд. Американские энергокомпании American Electric Power (AEP) и Exelon пожаловались в Федеральную комиссию по регулированию энергетики США (FERC), поскольку их возмутил запрос на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в будущие дата-центры AWS.

Что касается Millstone Nuclear Power Plant, то она имеет мощность 2098 МВт, но до 2029 года 55 % вырабатываемой энергии станция обязана продавать третьей стороне по фиксированной стоимости в соответствии с подписанным ранее контрактом. По словам Блю, Dominion активно работает с несколькими потенциальными контрагентами для получения максимальной выгоды от новой сделки, когда истечёт текущее соглашение о покупке энергии.

Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

В Meta✴ продолжают активно вкладывать средства в серверы, дата-центры и сетевую инфраструктуру — компания выстраивает экосистему для искусственного интеллекта. По информации Datacenter Dynamics, капитальные затраты во II квартале составили $8,5 млрд, ожидается, что они будут расти и в дальнейшем.

Выручка за отчётный период превзошла прогнозы экспертов и составила $39,07 млрд, на 22 % больше в сравнении с аналогичным периодом прошлого года. Чистая прибыль в прошедшем квартале — $13,46 млрд, рост составил 73 %. Прогноз выручки на следующий квартал — $38,5-$41 млрд.

Капитальные затраты оказались несколько ниже ($8,5 млрд), чем предполагали отраслевые эксперты ($9,51 млрд), тем не менее рост составил 32,8 % год к году. Компания ожидает и дальнейшего значительного роста капитальных вложений в 2025 году, при этом имеется достаточный запас гибкости. Та же инфраструктура, что построена для обучения генеративного ИИ, будет использована и для инференса. Кроме того, инфраструктуру можно будет модифицировать для других задач, включая ранжирование, рекомендательные системы и др.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Как утверждают в Meta✴, несмотря на рост инвестиций, генеративный ИИ не должен стать значимым драйвером выручки в 2024 году. Впрочем, по словам главы компании Марка Цукерберга (Mark Zuckerberg), он скорее рискнёт создать лишнюю ёмкость до того, как она понадобится, чем станет добиваться её строительства с опозданием, с учётом довольно длительной реализации новых внутренних проектов.

Ожидается, что для тренировки ИИ-модели Llama 4 понадобится почти в 10 раз больше вычислительных мощностей, чем было необходимо для Llama 3. Для последующих моделей потребуется ещё больше. К концу года компания будет использовать ускорители эквивалентные по вычислительной способности 600 тыс. экземпляров NVIDIA H100.

По словам финансового директора Meta✴ Сьюзан Ли (Susan Li), компания применяет стратегию поэтапного строительства ЦОД, позволяющую быстро увеличивать общую ёмкость для удовлетворения спроса. При этом в будущем капитальные затраты снизятся, поскольку не будет необходимости сразу сдавать большие объекты.

Google заключила довольно необычное 10-летнее соглашение о покупке возобновляемой энергии (PPA) для своих дата-центров в Сингапуре. По данным Datacenter Dynamics, это первый в своём роде вариант PPA, который предусматривает получение возобновляемой энергии из деревянных отходов. Подобная «чистая» энергия будет обеспечивать экобезопасные операции Google в Сингапуре и, в конечном счёте, содействовать достижению компанией нулевого углеродного выброса к 2030 году.

Google заключила контракт с энергокомпанией PacificLight Energy (PLE), которая будет поставлять возобновляемую энергию от электростанции Rexus Bioenergy (Rexus). Сама Rexus утверждает, что её электростанция класса WWtE («отходы древесины в энергию») мощностью 13,2 МВт будет первой в своём роде в Сингапуре.

Источник изображения: Ambitious Studio* | Rick Barrett/unsplash.com

Для питания будут использоваться не подлежащие традиционное переработке древесные остатки. Это и отходы сельского хозяйства, и отходы логистических компаний вроде грузовых поддонов. Этот мусор будет не только сжигаться, но и использоваться для получения биомассы, которая, вероятно, тоже будет источником энергии. Также установка будет связана с системой захвата углеродных выбросов (CO₂). Начало коммерческого использования электростанции запланировано на 2026 год.

Google управляет в Сингапуре тремя ЦОД и недавно выделила ещё $5 млрд на развитие инфраструктуры в стране. С 2019 года в Сингапуре действует мораторий на строительство новых дата-центров — не хватает как энергии, так и места для размещения ЦОД. Впрочем, ранее в этом году было решено «разблокировать» ещё 300 МВт. В PacificLight намерены развивать зелёную биоэнергетику и со временем стать «низкоуглеродной» компанией, что соответствует целям города-государства.

Компания Nano Nuclear Energy Inc. подписала меморандум о взаимопонимании с криптомайнингвой Blockfusion Ventures — дочерней структурой Blockfusion USA, Inc. — документ предусматривает использование атомной энергии для питания ЦОД, передаёт Datacenter Dynamics.

Nano Nuclear изучит возможность интеграции своих микрореакторов в ЦОД Blockfusion, который размещается на месте закрытой и реконструированной угольной электростанции. ЦОД для криптомайнинга запитан от ГЭС, связанной с Ниагарским водопадом. Его ёмкость может составлять до 50 МВт. Впрочем, текущее состояние ЦОД под вопросом. В 2022 году на объекте взорвался трансформатор и случился пожар. Предполагается, что причиной стало неисправное оборудование энергоснабжающей организации. Вскоре после ремонта компания на время вынужденно остановила работу объекта по приказу местных властей.

Источник изображения: Nano Nuclear Energy

Основанная в 2021 году компания Nano разрабатывает портативные атомные микрореакторы. Модель Zeus, создаваемая для размещения в 45″ контейнере, оснащена модулем, который позволяет вырабатывать 1–2 МВт и не требует жидкого охладителя. Дополнительно разрабатывается реактор Odin с охлаждающей жидкостью низкого давления. В Nano рассказывают, что давно присматривались к ЦОД, занятыми ИИ, квантовыми вычислениями и майнингом. Впрочем, аналитики Hunterbrook Capital сомневаются в жизнеспособности Nano Nuclear, говоря, что у компании нет доходов и продукции, а руководители работают на полставки.

Малые модульные реакторы (SMR) часто рассматриваются в качестве оптимальных источников энергии с низким углеродным выбросом для дата-центров, они могли бы обеспечить объектам автономную работу и независимость от локальных энергосетей. В прошлом году блокчейн-компания Standard Power объявила о намерении приобрести 24 SMR у NuScale для двух ЦОД в США. А Equinix и Wyoming Hyperscale подписали соглашения о поставках SMR с компанией Oklo.

Индонезийская Star Energy Geothermal, входящая в холдинг Barito Renewables и занимающаяся геотермальной энергетикой, ведёт переговоры с операторами дата-центров о поставках «чистой» энергии при условии, что они будут строить объекты рядом с её ГеоТЭС, передаёт Datacenter Knowledge. Индонезия, по данным Азиатского банка развития, имеет, возможно, крупнейший в мире потенциал в области геотермальной энергетики — на неё приходится 2,1 ГВт или 13 % мировых мощностей такого типа.

Star Energy Geothermal намерена уйти от продажи электричества только государственным коммунальным компаниям и привлечь клиентов, желающих покупать в Индонезии возобновляемую энергию. Также рассматриваются поставки «зелёной» энергии в соседние страны. Компания рассчитывает, что быстрый рост ИИ-сектора, требующего всё больше энергии (предпочтительно «чистой»), привлечёт операторов ЦОД. При этом геотермальные источники являются стабильным поставщиком энергии в местностях, где погода слишком переменчива для регулярной солнечной и ветряной энергетики.

Источник изображения: Joey Clover/unsplash.com

Обычно геотермальные электростанции строятся возле вулканов, гейзеров и иных мест, где природное тепло подходит близко к поверхности Земли. По оценкам Азиатского банка развития, Индонезия, фактически окружённая т.н. «Тихоокеанским огненным кольцом», имеет сильнейший в мире потенциал развития геотермальной энергетики. Однако операторы ЦОД могут и не захотеть строить свои объекты вблизи подобных источников, расположенных зачастую в отдалённых местах.

По данным СМИ, хотя на возобновляемые источники приходится лишь малая часть глобальной энергетики, в индустрии снова наблюдается рост интереса со стороны инвесторов. Так, вложения в геотермальные электростанции в 2023 году достигли $8 млрд, что намного больше, чем в предыдущие годы. Немало внимания уделяется геотермальной энергетике и в других странах. Например, Кения готова вложить $4,5 млрд в развитие этой и других технологий, а в мае Microsoft и G42 заявили о намерении построить ЦОД за $1 млрд рядом с геотермальными источниками.