Управляющая альтернативными активами компания KKR прогнозирует, что мировые расходы на дата-центры вырастут до $250 млрд в год. По данным Datacenter Dynamics, компания сама анонсировала сделку на $50 млрд с Energy Capital Partners (ECP) для финансирования ИИ-инфраструктуры, включая ЦОД, генерацию энергии и линии электропередач. По словам топ-менеджеров KKR, сегодня США располагают около 16–18 ГВт ёмкости дата-центров, а в следующие три-четыре года этот показатель, вполне вероятно, удвоится, если не утроится.

Источник изображения: Christine Roy / Unsplash

В 2022 году KKR и Global Infrastructure Partners (GIP, теперь BlackRock) приобрели оператора ЦОД CyrusOne за $15 млрд. На тот момент это была крупнейшая сделка в индустрии ЦОД за всю историю, сейчас она уступила первенство соглашению о покупке AirTrunk. В KKR отмечают рост спроса на дополнительные ёмкости дата-центров по всему миру, в компании утверждают, что её бизнес в этом секторе активно развивается. В прошлом году KKR приобрела в сингапурской Singtel, поддерживает GTR и STT и инвестировала в CoolIT.

Команда Microsoft Research поделилась информацией о прототипах робототехники, предназначенной для обслуживания дата-центров. Соответствующую команду компания сформировала год назад. Как передаёт Datacenter Dynamics, её представители заявили о самом начале «фундаментального сдвига» в принципах разработки оборудования и ПО для ЦОД.

Ключевым, по мнению исследователей Microsoft, является отход от попыток создания гуманоидных роботов. Вместо них предлагается использование самодостаточных модульных роботов для узкопрофильных задач, способных заниматься как ремонтом оборудования, так и его текущим обслуживанием. А мониторинг и автоматизация позволят проактивно выявлять возможное поломки до наступления инцидентов. Увы, развитие технологий не привело к существенному снижению отказов в сложных системах, констатируют исследователи. А человеческий фактор становится всё более значимым.

Источник изображений: Microsoft

В Microsoft Research рассказали о прототипах двух роботов, предназначенных для обслуживания ЦОД. Первый оснащён рукой-манипулятором и захватом для обслуживания отдельных трансиверов. Захват позволяет аккуратно поправлять, вставлять и вынимать трансиверы из корзин, не задевая кабели и соседние трансиверы, что нередко случается, когда обслуживанием занимается живой техник. Система машинного зрения позволяет роботу оценивать сложную окружающую среду и автономно ориентироваться в скоплениях кабелей.

Второй робот предназначен для очистки волокон и трансиверов. Трансивер с подключённым кабелем достаточно поместить внутрь робота, что может сделать человек или роборука. Робот способен самостоятельно вынимать кабель из трансивера и осматривать торец кабеля и гнездо в трансивере, при необходимости очищая их. Для человека это довольно трудоёмкий процесс, особенно в случае MPO-кабелей. Робот использует камеры и специальные модули распознавания для определения типа кабеля. Дисплей на роботе позволяет получать вспомогательную информацию оператору и крупным планом осматривать проверяемые подключения.

Теперь компания концентрирует усилия на создании малых модулей для минимизации количества форм-факторов машин, необходимых для поддержки широкого спектра операций. Многие из участников нового проекта работали над роботами для хранилищ Project Silica. Такие роботы способны автономно передвигаться между стойками, а также вверх и вниз по самим стойкам.

Команда разделила процесс эволюции робототехники для ЦОД на четыре этапа. Level 1 предусматривает использование машин для помощи людям, Level 2 допускает частичную автоматизацию, где роботы могут выполнять специальные задачи под наблюдением людей, Level 3 предусматривает высокий уровень автоматизации с ограниченным контролем со стороны людей. Наконец, на уровне Level 4 обеспечена полная автоматизация, все операции по ремонту и обслуживанию ЦОД не нуждаются в человеческом участии.

На уровне Level 4 речь идёт о полностью «самодостаточных» дата-центрах, физически не рассчитанных на участие в процессах людей и оптимизированных для работы в условиях высокой плотности стоек и высокой энергетической эффективности. Люди смогут наблюдать за ЦОД без личного присутствия в помещениях. Учёные подчёркивают, что даже создание роботов первого и второго уровней — непростая задача, и сейчас их усилия направлены именно на такие системы. Тем не менее считается, что после достижения второго уровня переход к Level 3–4 будет легче.

Конечно, над проектами роботизации ЦОД работают не только в Microsoft. Google тоже создаёт технологии, способные заменить людей при обслуживании дата-центров, а роботов-сопровождающих и робособак-патрульных уже используют довольно широко по всему миру разные вендоры. Интересно, что Meta✴ тоже начала создание роботов с систем TopoOpt для обслуживания сетей.

Совет директоров французского производителя энергооборудования Schneider Electric неожиданно отстранил генерального директора Питера Хервека (Peter Herweck), проработавшего в компании всего полтора года, сославшись на разногласия с ним по поводу стратегических направлений деятельности, сообщил Bloomberg.

В понедельник компания сообщила, что совет директоров незамедлительно заменяет Хервека ветераном компании Оливье Блюмом (Olivier Blum) Совет директоров Schneider Electric возглавляет Жан-Паскаль Трикуар (Jean-Pascal Tricoire), превративший Schneider в одну из крупнейших компаний Франции с рыночной стоимостью €137 млрд за 17 лет пребывания на посту её генерального директора.

Сейчас компания борется с ограничениями поставок из-за длительного периода высокого спроса, который повлиял на рост продаж в Северной Америке, особенно на рынке жилья в США. Недавно компанию оштрафовали французские регулирующие органы на €207 млн по делу о ценовом сговоре, в котором также участвовали Legrand SA и дистрибьюторы Rexel SA и Sonepar.

Источник изображения: Schneider Electric

Несмотря на проблемы, Schneider Electric подтвердила на прошлой неделе финансовые цели на текущий год. Её акции недавно подскочили до рекордного пика на фоне растущего спроса на трансформаторы, инверторы, датчики, счётчики, ПО и иные системы, вызванного бумом вокруг ЦОД, обусловленным расширением внедрения ИИ и государственной политикой, направленной на стимулирование предприятий и домохозяйств к отказу от ископаемого топлива.

Новый гендиректор, 54-летний Блум, работает в Schneider более 30 лет, является членом исполнительного комитета компании с 2014 года. За время работы он занимал ключевые должности в компании, в том числе был главой представительства в Индии и руководителем стратегического и делового направления в Китае.

Amazon объявила о намерении продолжить реализацию проекта, предусматривающего строительство кампуса ЦОД AWS у АЭС Susquehanna в Пенсильвании. По данным Datacenter Knowledge, работы продолжатся даже после того, как регулятор FERC отклонил сделку с Talen Energy о предоставлении добавочной мощности объекту. Намерение продолжать развивать строительство ЦОД у АЭС подтвердила и Constellation Energy, подписавшая 20-летнее соглашение с Microsoft.

По последним данным FERC выступила против запроса Talen на увеличение поставок энергии для будущего кампуса AWS, который обошёлся в $650 млн и который со временем разрастётся до 15 зданий. В ответ на новость о запрете FERC акции американских энергокомпаний упали в цене, а инвесторы заявили, что решение регулятора помешают попыткам IT-гигантам получить быстрый доступ к атомной энергии для питания своих ЦОД. Однако после заявления о продолжении проекта акции Talen и Amazon выросли.

В рамках сделки кампус будет запитан напрямую от АЭС, что, по мнению других энергокомпаний, угрожает надёжности энергосетей и приведёт к росту тарифов для других потребителей. Ранее Talen получила право на отдачу кампусу 300 МВт, но увеличить мощность до 480 МВТ FERC запретила. AWS, как и другие гиперскейлеры, отчаянно нуждается в электроэнергии для поддержки роста ИИ ЦОД.

Источник изображения: Charlotte Venema/unsplash.com

Активно действуют и другие игроки рынка. Так, Constellation Energy намерена поддержать строительство ЦОД у своих электростанций, не оглядываясь на решение FERC по Susquehanna, передаёт DataCenter Dynamics. Но для этого потребуются реформы правил, регулирующих прозрачность, ценообразование и др. По словам компании, расположенные рядом с электростанциями дата-центры не повлияют на надёжность энергосетей — в случае необходимости выделенная ЦОД ёмкость будет отдаваться другим потребителям. При этом ЦОД всё равно должны будут платить сетевым операторам за транспортировку энергии.

Впрочем, решение FERC неблагоприятно повлияло и на рыночное положение Constellation, её акции значительно упали в цене, несмотря на хорошую выручку в III квартале 2024 года. Constellation очень заинтересована в ослаблении ограничений после подписания 20-летнего контракта на поставку 100 % энергии с АЭС Three Mile Island (Crane Clean Energy Center, CCEC) дата-центрам Microsoft.

В ходе мероприятия SK AI Summit 2024 глава южнокорейского оператора SK Telecom Рю Ён Сан (Ryu Young-sang) объявил, что стратегия компании будет связана с тремя основными компонентами: ИИ ЦОД, облачным доступом к ИИ-ускорителям (GPUaaS) и периферийными ИИ-сервисами (Edge AI). По данным блога IEEE ComSoc, компания рассчитывает развивать соответствующий бизнес в Южной Корее и в Азиатско-Тихоокеанском регионе (АТР), а также за его пределами, в том числе с партнёрами.

SK Telecom намерена построить в ключевых регионах страны и за её пределами ИИ ЦОД гиперскейл-уровня, став инфраструктурным ИИ-хабом для всего АТР. Компания также будет предоставлять облачный доступ к ИИ-ускорителям, чтобы компенсировать их дефицит в Южной Корее и развернёт периферийную ИИ-инфраструктуру для быстрого обслуживания оконечных устройств.

SK Telecom начнёт строительство «небольших» ИИ ЦОД ёмкостью от 100 МВт каждый, со временем доведя общую ёмкость до нескольких гигаватт. В Корее дата-центры смогут рассчитывать на стабильные поставки энергии из возобновляемых источников на основе водородной, солнечной или ветряной энергетики. Дополнят ЦОД международные ВОЛС. При этом «материнская» SK Group намерена задействовать для обеспечения работы все свои ресурсы, от передовых полупроводников до систем погружного охлаждения и других технологий.

Источник изображения: SK Telecom

SK Telecom намерена уже в декабре развернуть тестовый ИИ ЦОД в Южной Корее для испытания комбинации технологий SK Group и партнёров. В частности, в ЦОД будут испытывать три типа СЖО: прямое жидкостное охлаждение, иммерсионное охлаждение и прецизионное жидкостного охлаждения (Precision Liquid Cooling, PLC). Там же проведут испытания чипов SK hynix, включая передовую память HBM, решения для виртуализации ускорителей и ИИ-технологии оптимизации энергозатрат.

Один из имеющихся ЦОД в Гасане в спешном порядке оснастят современными ускорителями. С декабря в рамках GPUaaS станут доступны NVIDIA H100 — это совместный проект с американской Lambda Labs. В марте 2025 года планируется развернуть NVIDIA H200. Наконец, периферийные сервисы Edge AI задействуют национальную телеком-инфраструктуру, чтобы «установить контакт» между ЦОД и ИИ на оконечных устройствах.

Сейчас SK Telecom проводит исследования совместно с партнёрами со всего мира, изучая пути возможности развития ИИ-инфраструктуры и разработки новых ИИ-сервисов в области здравоохранения, робототехники, видеонаблюдения и др. В компании утверждают, что если раньше конкуренция в сфере телекоммуникаций была связана в основном со скоростью и ёмкостью каналов, то теперь «парадигму сетевой эволюции» следует изменить — будущие 6G-сети эволюционируют в ИИ-инфраструктуру следующего поколения, где коммуникации и ИИ интегрированы.

Системам генеративного ИИ требуются самые разные ресурсы, но в некоторых сферах их нехватка может носить критический характер. По данным DigiTimes, серьёзную проблему может составить нехватка качественных массивов данных, рост потребления электроэнергии и пресной воды, а также дефицит поставок меди для IT-индустрии.

Как сообщают эксперты CB Insights, к 2026 году может снизиться доступность высококачественных данных для обучения языковых моделей. В результате их разработчикам придётся полагаться либо на дорогие лицензированные данные, либо на синтезированные самим же ИИ наборы данных. С 2022 года около 50 вендоров уже вышли на рынок синтетических данных для обучения, а ещё 30 компаний ищут средства.

Однако выход на этот рынок гигантов вроде Microsoft и Meta✴ сократил возможности привлечения средств стартапами. В 2024 году в этой сфере отмечены всего пять раундов финансирования, тогда как в 2022 году был 21 раунд. Кроме того, теперь в некоторых стартапах соответствующего профиля начались и увольнения, а израильская Datagen, основанная ещё в 2018 году, подала заявление о банкротстве. При этом Scale AI, основанная чуть раньше, сумела привлечь $1 млрд.

Источник изображения: Christian Dubovan/unsplash.com

Развитие ИИ также значительно увеличивает энергопотребление, например, ИИ-поиск Google, по слухам, требует в 10 раз больше энергии, чем обычный. По информации Международного энергетического агентства (IEA), спрос на электроэнергию, связанный ЦОД. ИИ и криптовалютами, достиг в 2022 году 460 ТВт∙ч, а к 2026 году должен вырасти до 620–1050 ТВт∙ч.

По оценкам IEA к 2026 году отрасли на основе ИИ, возможно, будут потреблять в 10 раз больше энергии, чем в 2023 году. Компенсировать спрос частично могут технологические инновации в сфере энергетики. Исследователи Central Research Institute of Electric Power Industry (CRIEPI) отмечают, что развитие энергосберегающих технологий может вдвое снизить рост спроса на электричество. Впрочем, коммерческая судьба таких проектов не всегда благоприятна.

Источник изображения: Jani Brumat / Unsplash

Развитию ИИ угрожает и рост потребления воды системами охлаждения ЦОД. В 2023 году Microsoft сообщала о 23-% росте потребления воды до 7,844 млн м³, в основном из-за расширения ЦОД. Например, обучение модели OpenAI GPT-3 с 175 млрд параметров потребовало 700 м³ только на охлаждение серверов в новейшем американском ЦОД Microsoft. С учётом воды, потраченной при генерации энергии и производстве оборудования, расход составил и вовсе 5,4 тыс. м³. А при эксплуатации GPT-3 каждый диалог из 10–50 запросов обходился в 0,5 л воды. К 2027 году спрос на воду на охлаждение и производство энергии во всех ЦОД должен достичь 4,2–6,6 млрд м³/год. Приблизительно столько за полгода потребляет Великобритания.

Источник изображения: Ra Dragon / Unsplash

Наконец, угрозу индустрии ИИ представляет дефицит меди. Спрос на медь растёт вместе со спросом на возобновляемую энергию, электротранспорт и генеративный ИИ. По данным JPMorgan Chase & Co. К 2030 году только ИИ ЦОД могут требовать 2,6 млн т меди ежегодно. Каждый дополнительный МВт ёмкости может требовать 20–40 т меди. Дефицит предложения меди по прогнозам вырастет до 4 млн т в год к 2030 году, спрос ИИ-индустрии добавит этому показателю ещё 2,6 млн т. Здесь тоже могут помочь новые технологии, способные прямо или косвенно снизить спрос или замедлить его рост.

По оценкам Macquarie Investment Bank, ежегодный рост спроса на медь может быть ограничен 200 тыс. т до 2030 года — другие аналитики куда более пессимистичны. Оценка потребления для ЦОД составляет 27 т/МВт, что приблизительно соответствует оценкам JPMorgan. В Macquarie отмечают, что технологии энергосбережения помогут компенсировать рост энергопотребления ИИ-инфраструктурой, а также рост использования меди в отрасли.

Nautilus Data Technologies выставила свой смонтированный на барже ЦОД в Стоктоне (Калифорния) на продажу. По информации Datacenter Dynamics, это первый коммерческий плавучий ЦОД Nautilus, от которого компания решила отказаться, чтобы и сфокусироваться на продвижении других проектов, в частности, экоустойчивых модульных платформ EcoCore.

ЦОД уровня Tier III введён в эксплуатацию в 2021 году. ЦОД использует воду в качестве внешнего охлаждающего контура, благодаря чему уровень PUE не превышает 1,15 круглый год. Поддерживаются стойки мощностью до 55 кВт. Объект площадью 1858 м² состоит из четырёх машинных залов. На земле расположено офисное здание и склад. На сегодня клиентами арендованы 5,58 МВт из имеющихся 6,5 МВт.

Источник изображения: Nautilus Data Technologies

Весь комплекс доступен для покупки за $45 млн, при этом Nautilus намерена сохранить за собой долю в 15 %. Также компания объявила, что может поделиться практическим опытом эксплуатации необычного дата-центра. В компании заявляют, что объект в Стоктоне доказал жизнеспособность и эффективность подхода, а полученный опыт лёг в основу EcoCore COOL и других инфраструктурных решений, которые компания намерена продвигать на мировом рынке ЦОЛ.

Компания разрабатывает несколько собственных проектов ЦОД, включая наземный в штате Мэн и плавучие объекты в США и Франции. Однако дальше планов, по-видимому, дело не пошло, поскольку для успешного завершения проектов требуются партнёры и инвестиции. Впрочем, теперь компания сфокусирована на EcoCore. Ранее сообщалось, что Nautilus будет поставлять модули EcoCore для кампуса Start Campus в Португалии, полноценная реализация которого тоже под вопросом.

План компании Meta✴ по строительству дата-центра с питанием от АЭС столкнулся с неожиданным препятствием. По данным The Register, его реализации помешали насекомые, точнее — редкий вид пчёл, обосновавшийся на «спорной» территории.

По словам главы компании Марка Цукерберга (Mark Zuckerberg), обнаружение редкого вида насекомых на участке будущей стройки оказало влияние на решение регуляторов, в конце концов отклонивших проект ЦОД, сообщает Financial Times. Meta✴ вела переговоры об энергоснабжении нового ИИ ЦОД с оператором действующей электростанции, рассчитывая получать безуглеродную энергию в больших объёмах.

Неизвестно, где именно должны были построить ЦОД. В 2018 году Electric Power Research Institute (EPRI), занимающаяся исследованиями чистой энергетики, выступил с инициативой Power-In-Pollinators, в рамках которой энергокомпании должны были поддержать насекомых-опылителей вроде пчёл и бабочек. В частности, речь шла о восстановлении их популяций на территории бывших АЭС. Сегодня EPRI Pollinator Stewardship Dashboard включает 19 компаний-участников.

Источник изображения: Sandy Millar/unsplash.com

ИИ-вычисления требуют немало энергии, поэтому гиперскейлеры в США заинтересованы в атомных проектах для удовлетворения спроса на электричество без использования ископаемого топлива. В сентябре Microsoft заключила сделку сроком на 20 лет, связанную с возобновлением работы АЭС Three Mile Island (Crane Clean Energy Center). В прошлом месяце Google объявила о сделке с Kairos Power о покупке энергии, полученной от малых модульных реакторов (SMR). Oracle заявила, что получила разрешения на строительство трёх SMR для питания ИИ ЦОД ёмкостью более 1 ГВт.

В недавнем отчёте о финансах Meta✴ подняла нижний порог капитальных затрат в 2024 году с $37 млрд до $38 млрд, верхний порог сохранился на уровне $40 млрд. Значительная часть этих расходов предназначена для строительства и обслуживания ИИ ЦОД. Впрочем, с препятствиями в попытке получить атомную энергию для своих ЦОД столкнулась и Amazon — регулятор отказал в увеличении поставок энергии кампусу AWS от АЭС Susquehanna.

Microsoft и CoreWeave являются конкурентами на рынке ИИ-решений, но это не мешает Microsoft быть крупнейшим клиентом стартапа. Затраты Microsoft на аренду серверов у CoreWeave в период с 2023 по 2030 год составят почти $10 млрд, пишет ресурс The Information. Эта сумма больше, чем сообщалось ранее, и составляет более половины от всех имеющихся у CoreWeave контрактов с клиентами в объёме $17 млрд, отметил ресурс, ссылаясь на комментарии компании в ходе общения с инвесторами.

Недавно CoreWeave получила кредитную линию на $650 млн от нескольких инвестиционных банков, включая JPMorgan Chase, Goldman Sachs и Morgan Stanley. До этого CoreWeave за 12 месяцев привлекла $12,7 млрд в виде акционерного и долгового финансирования, включая раунд долгового финансирования на $7,5 млрд в мае. Также компания в августе 2023 года привлекла $2,3 млрд в виде долга под залог ускорителей NVIDIA от ряда инвесторов. Кроме того, в компанию инвестировала и сама NVIDIA.

Источник изображения: CoreWeave

CoreWeave, основанная в 2017 году в Роузленде (штат Нью-Джерси), предоставляет облачный доступ на правах аренды к самым передовым ускорителям NVIDIA в своих 14 ЦОД. К концу года компания планирует открыть ещё 28 ЦОД. Ранее сообщалось о подготовке CoreWeave к первичному публичному размещению ценных бумаг (IPO), которое может пройти в начале 2025 года.

Сама Microsoft стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL нового поколения и намерена агрессивно масштабировать свои вычислительные ресурсы. Причём не только для себя — Microsoft арендует у Oracle ускорители для нужд OpenAI.

Федеральная комиссия по регулированию энергетики США (FERC) отклонила наращивание поставок электроэнергии кампусу ЦОД Amazon (AWS) от АЭС Susquehanna. По данным Reuters, регулятор не исключает, что результатом предложенного компаниями соглашения станет рост цен на электричество для рядовых потребителей и падение надёжности энергосети.

Поправка, предложенная оператором энергосети PJM Interconnection, предусматривает изменение ISA-соглашения на поставку энергии. В сделке также участвуют владелец АЭС Susquehanna Nuclear (структура Talen) и владелец линий электропередач, соединяющий станцию с электрической сетью, PPL Corp. Ожидалось, что дата-центрам AWS сразу станет доступно 480 МВт вместо изначальных 300 МВт.

В марте AWS приобрела за $650 млн кампус ЦОД с максимально допустимой мощностью 960 МВт, расположенный вблизи АЭС Susquehanna в Пенсильвании. В будущем компания намерена построить на площади около 650 га сразу 15 зданий ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, которая будет расти с шагом в 120 МВт.

Источник изображения: Talen Energy

Хотя в поправке оператор сети уверял, что рост отдаваемой ЦОД мощности не повлияет на надёжность энергосети электропередач, он предупредил, что поставка свыше 480 МВт может вызвать перебои передачи от АЭС к дата-центрам. В будущем нагрузка может быть увеличена до 960 МВт, но только при повышении надёжности сети. Например, при возникновении в сети серьёзных проблем АЭС может отключить питание ЦОД, а использование резервного питания должно быть ограничено особыми случаями, одобренными PJM и PPL.

В июне против соглашения выступили энергокомпании AEP и Exelon. Они подали жалобу в FERC, возмущённые запросом на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры AWS. AEP и Exelon посчитали, что AWS всё равно будет пользоваться общей энергосетью Пенсильвании, но платить сборы за это не намерена. Сами участники сделки считают, что сторонних компаний она не касается. Опппоненты же уверены, что это опасный прецедент, несущий экономические и иные риски для других энергокомпаний и создающий финансовую нагрузку на других потребителей.

Как заявил комиссар FERC Марк Кристи (Mark Christie), соглашения о совместном размещении такого рода представляют собой сложный и многогранный вопрос. Они могут иметь серьёзно повлиять на надёжность энергосетей и стоимость электричества. Впрочем, единства нет даже в недрах самой FERC. При голосовании заявку отклонили двумя голосами против одного, а председатель FERC Вилли Филипс (Willie Phillips) выступил против запрета, указав на то, что такие меры могут подорвать доминирование США в гонке за первенство в сфере ИИ. По его словам, это шаг назад в деле защиты национальной безопасности.