Облачный провайдер CoreWeave намерен внедрять топливные ячейки Bloom Energy в одном из своих дата-центров. Datacenter Dynamics сообщает, что речь идёт о твёрдооксидных топливных элементах (SOFC), которые будут генерировать энергию непосредственно на территории ЦОД Chirisa Technology Parks (CTP) в Иллинойсе.

Топливные элементы должны ввести в эксплуатацию в III квартале 2025 года, но масштаб внедрения технологии пока не разглашается. По словам представителя Bloom Energy, выбор решений компании одним из лидеров ИИ-рынка свидетельствует о зрелости топливных элементов и их важности для ИИ. В самой CoreWeave добавляют, что гордятся новым сотрудничеством, которое поспособствует достижению целей экоустойчивости.

SOFC работают при высоких температурах, из-за чего требуют больше времени на запуск в сравнении с низкотемпературными PEMFC-элементами. Однако запуск SOFC всё равно быстрее, чем газовых турбин или дизельных генераторов, говорит разработчик, а при частичных нагрузках ещё и эффективнее турбин.

Топливные ячейки Bloom могут применяться как параллельно с магистральной энергосетью, дополняя её, так и самостоятельно питать дата-центр, когда это необходимо. В числе клиентов Blool уже есть Intel, Equinix, JPMorgan Chase, Nxtra и AWS. К началу 2024 года компания поставила элементов на 5 ГВт по всему миру. Одним из крупных проектов должно стать оснащение ирландского ЦОД.

Кампус CTP, расположенный на участке площадью 20 га, включает объект YLO-01 (14 МВт, 14,8 тыс. м²), который будет дополнен точно таким же объектом YLO-02. Ещё 13,9 тыс. м², судя по данным на сайте компании, будет построено в будущем.

Источник изображения: Bloom Energy

CoreWeave в настоящее время управляет несколькими регионами: US East (LGA1) в Нью-Джерси, US West (LAS1) в Неваде и US Central (ORD1) в Иллинойсе. Также сообщается о регионах в Рино (RNO2) и US East-02. Ожидается, что концу 2024 года она будет распоряжаться 28 ЦОД, для сравнения — в конце 2023 года речь шла о 14 объектах. Соглашения об аренде заключены с Lincoln Rackhouse, Chirisa, Flexential, TierPoint, Digital Realty, и Core Scientific в США. Также компания расширяет бизнес в материковой Европе, а также Великобритании. Пока имеется подтверждённая информация о сотрудничестве с провайдером EdgeConneX в Испании.

Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific,Northern Data, Hut 8 и Applied Digital.

Принадлежащий компании KKR оператор ЦОД CyrusOne получил в этом году кредитов на сумму порядка $8 млрд. Datacenter Dynamics сообщает, что новая кредитная линия Warehouse Credit Facility на $7,9 млрд дополнит уже имеющуюся линию Revolving Credit Facility на $1,8 млрд, открытую в мае 2024 года.

Warehouse Credit Facility в первую очередь предназначена для финансирования существующих и будущих проектов строительства ЦОД в США, а Revolving Credit Facility — на обеспечение оборотного капитала и общекорпоративные цели.

Источник изображения: CyrusOne

По словам главы по инвестициям CyrusOne Фрэн Федерман (Fran Federman), интерес со стороны заёмщиков — подтверждение прочности бизнеса компании и уверенности в её возможности продолжать развитие. По её словам, обе программы финансирования рассчитаны на устойчивое развитие. Условия кредитования будут меняться в зависимости от достижения компанией целевых показателей по выбросам парниковых газов.

Morgan Stanley, TD Securities и KKR Capital Markets выступили ведущими организаторами, стоящими за кредитной линией Warehouse Credit Facility, а Wells Fargo — за линией Revolving Credit Facility. В рамках сделок с компанией тесно сотрудничала и Global Infrastructure Partners (GIP), которая частично владеет CyrusOne и которая вскоре будет выкуплена BlackRock.

CyrusOne владеет десятками ЦОД на 13 региональных рынках США. Только в 2024 году она подала заявки на строительство кампусов в Чикаго (Иллинойс), Нью-Олбани (Огайо), а также начала строительство новых объектов в Сан-Антонио (Техас). В Аризоне власти города Меса рассмотрят предложение о строительстве компанией нового кампуса на 5 дата-центров в окрестностях Финикса. В 2018 году CyrusOne приобрела участок земли у Sunbelt Investment Holdings Inc. за $19,3 млн, а в прошлом году подала заявку на возведение кампуса.

Corning повысила прогноз продаж во II квартале 2024 года на $200 млн. Datacenter Knowledge сообщает, что во многом это обусловлено недооценённым ранее спросом на оптоволоконные соединения в дата-центрах для ИИ-задача. Теперь квартальные продажи должны достичь $3,6 млрд, тогда как ранее ожидалось, что они не превысят $3,4 млрд. Также компания прогнозирует возвращение роста выручки год к году.

Как заявили в компании, рост во многом связан с большой востребованностью новых оптоволоконных решений для генеративного ИИ. В следующие три года ожидается увеличение годовых продаж более чем на $3 млрд под влиянием «циклических факторов и долговременных трендов». Итоговые финансовые результаты II квартала будут объявлены 30 июля. На фоне этих заявлений акции Corning выросли в цене.

В компании связывают более оптимистичные прогнозы с рядом факторов, в первую очередь — успешными продажами оптоволокна для интерконнекта. Так, по данным Corning, параллельные ИИ-вычисления с помощью современных ускорителей требуют в 10 раз больше оптоволокна, чем традиционные облачные сети. Согласен расчётам компании, NVIDIA GB200 NVL72 требуется 576 волокон, то есть в 18 раз больше, чем в стойке с классическими серверными CPU.

Источник изображения: John Adams/unsplash.com

Corning является стратегическим активом для США, поскольку выпускает значительную часть оптоволокна для американских ВОЛС. Оптоволокно также является и важнейшим компонентом в самих ЦОД. А гиперскейлеры сейчас активно вкладываются в развитие инфраструктуры. Одна только Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров и рассчитывает до конца года иметь до 1,8 млн ускорителей на базе GPU, практически каждому из которых требуется собственное сетевое подключение.

По данным Synergy Research Group, количество крупных ЦОД, управляемых гиперскейлерами, достигло 992 шт. ещё в конце 2023 года. Ожидается, что ежегодно они будут вводить в строй ещё 120–130 дата-центров, а генеративный ИИ называют первоочередной причиной такого взрывного роста. Рост инвестиций в ЦОД совпадает со значительным падением трат телеком-операторов по всему миру — это отчасти сказалась на показателях вендоров от Ericsson до Crown Castle и Corning.

В результате многие вендоры стали искать новые возможности для роста. Так, Nokia назвала желание укрепиться на рынке ЦОД первоочередной причиной покупки Infinera за $2,3 млрд — это увеличит влияние компании на рынке ЦОД. Большие планы, связанные с развитием ИИ, вынашивают и в Cisco.

Тем не менее, поставщики уверены, что телеком-операторы со временем возобновят закупки оптоволокна. Пока они используют избыточные запасы, накопленные во время пандемии COVID-19, но скоро эти резервы истощатся. Кроме того, в последние месяцы ведутся переговоры о развёртывании новых широкополосных телеком-магистралей. Corning подтвердила эти ожидания, во многом связанные с масштабной государственной программой США Broadband Equity Access and Deployment (BEAD).

Бум спроса на дата-центры, работающие с ИИ-приложениями, сулит большие выгоды энергетическим компаниям, поставляющим природный газ. По данным Datacenter Dynamics, с соответствующим прогнозом выступили эксперты Wells Fargo.

Специалисты Инвестиционного института банка (Investment Institute, WFII) уверены, что сегодня такие энергоснабжающие структуры находятся в сильной позиции, позволяющей им снабжать новые ИИ ЦОД, активно строящиеся на территории Соединённых Штатов. В марте уже сообщалось, что проект нового газопровода Mountain Valley Pipeline, реализуемого Equitrans Midstream Corp., будет способствовать буму ИИ-технологий.

Хотя большинство операторов хотели бы получать энергию для новых объектов из возобновляемых источников и всеми силами стремятся к этому, природный газ в США всё ещё удовлетворяет 43 % спроса на энергию, о чём свидетельствует статистика Управления энергетической информации страны (Energy Information Administration, EIA). Согласно докладу WFII, компании, поставляющие природный газ, поспособствуют процветанию многих современных ЦОД.

Источник изображения: American Public Power Association/unsplash.com

В WFII заявляют, что возможности добычи природного газа в США и имеющиеся резервы достаточны для удовлетворения растущего спроса. Ключевым ограничением для роста пока является сопутствующая инфраструктура. Ожидается, что бенефициарами в сложившейся ситуации в первую очередь станут компании среднего уровня, им представляется возможность роста и более активного использования доступных активов, а ценность существующей газовой инфраструктуры со временем будет только расти. Эксперты ожидают, что доля природного газа в энергоснабжении США в ближайшем будущем останется стабильной, несмотря на то что в эксплуатацию вводятся всё новые источники возобновляемой энергии.

Получаемое с помощью природного газа электричество — более экобезопасная альтернатива прочим углеводородам из ископаемого топлива. По статистике EIA, при сжигании газа выбрасывается 430 г CO₂ на каждый кВт∙ч. В случае с углём речь идёт об 1 кг CO2, а для нефти — уже об 1,1 кг. Впрочем, по данным Всемирной ядерной ассоциации (World Nuclear Association), это несопоставимо с выбросами, связанными с эксплуатацией солнечных элементов питания (48 г/кВт∙ч) или АЭС (12 г/кВт∙ч).

В прошлом месяце появилась информация о том, что Amazon (AWS) отправила в долгий ящик планы по перекачке природного газа в Орегон для питания своих ЦОД — это увеличило бы углеродный выброс действующих объектах, поскольку сегодня те запитаны преимущественно от ГЭС (фактического разделения нет, электричество поставляется из электрических магистралей штата).

Американское министерство энергетики (DOE) намерено инвестировать $100 млн в проекты, предусматривающие применение батарей без использования лития. По данным Datacenter Dynamics, оно уже выпустило т.н. «уведомление о намерениях», предусматривающих финансирование нескольких демонстрационных энергопроектов, акцентирующих внимание на «нелитиевых» технологиях, решениях со временем разрядки 10+ часов и стационарных энергохранилищах.

Подобные системы могут стать важным элементом перехода на возобновляемые источники энергии для дата-центров и сетевых поставщиков электроэнергии, поскольку смогут помогать захватывать и сохранять солнечную или ветряную энергию и отдавать её по мере необходимости, в том числе ночью или в штиль. Кроме того, подобные технологии можно будет использовать для подпитки энергосетей в случае экстренной необходимости.

В DOE считают, что США понадобится ещё 700–900 «зелёных» ГВт для того, чтобы страна добилась нулевых выбросов к 2050 году. При этом нынешние сети уже включают кратковременные хранилища энергии, но рост мощностей возобновляемых источников может привести к ужесточению требований к системам хранения. Системы длительного хранения энергии (LDES), по мнению чиновников, должны сыграть ключевую роль в создании энергетических резервов, необходимых для обеспечения стабильности работы энергосетей.

Источник изображения: Federico Beccari/unsplash.com

За финансирование отвечает Управление по демонстрации экологически чистой энергии (Office of Clean Energy Demonstrations, OCED). Предполагается поддержать от 3 до 15 проектов, которые получат $5–20 млн. Но должны найтись и частные соинвесторы, готовые вложить в каждый выбранный проект аналогичную сумму. Предполагается, что гранты помогут в развитии технологий, позволят довести опытные разработки до промышленной реализации, поспособствуют проведению практических испытаний и развитию цепочек поставок. При этом отобраны будут проекты, которые наиболее близки к стадии коммерциализации.

Промышленные аккумуляторы без лития, которые подходят для резервного питания крупных объектов, уже существуют. Недавно американский стартап Unigrid привлёк $12 млн для разработки найтрий-ионных АКБ. А ZincFive и FDK создают никель-цинковые батареи.

Американские энергокомпании American Electric Power (AEP) и Exelon подали жалобу в Федеральную комиссию по регулированию энергетики США (FERC). Datacenter Dynamics сообщает, что их возмутил запрос на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры, принадлежащие AWS (Amazon). AEP и Exelon утверждают, что AWS всё равно будет пользоваться общей энергосетью в Пенсильвании, но платить обычные сборы за это не намерена. В Talen уверены, что пожаловавшихся компаний этот вопрос не касается вовсе.

В марте AWS приобрела кампус ЦОД в Пенсильвании, расположенный в непосредственной близости от местной АЭС. В будущем компания намерена построить на площадке около 650 га 15 ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, она будет расти с шагом в 120 МВт. Единовременно AWS сможет ограничить потребление 480 МВт. Кроме того, имеются два вариант продления договора на 10 лет, зависящие от продления лицензии самой АЭС. Кроме того, 10-летнее соглашение предусматривает покупку «зелёной» электроэнергии по PPA у той же электростанции.

Источник изображения: Talen Energy

Ранее местный оператор энергосетей PJM обратился в FERC с просьбой одобрить т.н. «Соглашение об услугах межсетевого соединения» (ISA) между Talen и AWS — передача электроэнергии не будет классифицироваться как сетевая нагрузка, поэтому должна осуществляться бесплатно.

AEP и Exelon считают иначе. Компании уверены, что подобных ISA-соглашений не существует в принципе, как и юридических определений для них. Более того, они ущербны как с инженерной, так и с экономической точки зрения и приведут к тому, что AWS будет бесплатно пользоваться сетью за счёт других — в общей сложности участники сговора будут экономить $140 млн ежегодно. Заявители подчёркивают, что энергосеть PJM связана с другими сетями и экономически и технически влияет на них. Кроме того, от общей энергосети всего региона будет осуществляться и резервное питание ЦОД.

Компании просят FERC разобраться в ситуации. Они подчёркивают, что ситуация создаёт опасный прецедент и для других операторов ЦОД и электростанций, а это существенно повлияет на распределение затрат между потребителями и финансовое состояние компаний. Фактически компании назвали AWS «безбилетником».

Поставщик никель-цинковых аккумуляторов ZincFive сообщил, что суммарная мощность отгруженных и заказанных АКБ превысила 1 ГВт (ёмкость батарей не указывается). Компания также объявила, что увеличила инвестиции в США и планирует расширить там как разработку, так и производство новых продуктов. Масштабирование бизнеса подогревается ростом спроса на ИИ-инфраструктуру.

В компании в очередной раз подчеркнули, что её решения безопаснее, надёжнее и экологичнее других распространённых типов аккумуляторов. По словам ZincFive, обеспечению экоустойчивости теперь уделяется повышенное внимание — как сама компания, так и её клиенты намерены снижать углеродные выбросы.

Источник изображения: ZincFive

Вендор продвигает никель-цинковые аккумуляторы более 10 лет. Литий-ионные варианты критикуют за неконтролируемый нагрев, часто приводящий к серьёзным пожарам, включая самый масштабный в мире сбой ЦОД Kakao. Утверждается, что никель-цинковые батареи требуют минимального обслуживания, не перегреваются, при этом чрезвычайно надёжны в качестве резервных источников питания для ЦОД.

Оператор дата-центров Corscale использует аккумуляторы ZincFive в кампусе Gainesville Crossing в Северной Вирджинии с 2022 года, применение АКБ компании в своих ИБП одобрила ABB. У компании есть и конкуренты. В конце прошлого года сообщалось, что Ni-Zn аккумуляторы японской компании FDK готовы к использованию в дата-центрах.

Американские власти расследуют деятельность китайских телеком-операторов China Mobile, China Telecom и China Unicom. Datacenter Dynamics сообщает, что меры будут приниматься на фоне опасений, что принадлежащие государству компании могут обеспечивать китайское правительство сведениями об американских данных с помощью своих облаков и каналов связи.

По данным СМИ, власти уже завершили анализ рисков в отношении China Mobile и China Telecom, но пока не слишком преуспели в расследовании работы China Unicom. Все три компании в той или иной степени ведут дела в США, хотя в очень ограниченных масштабах — после решения ограничить их деятельность из-за возможных угроз национальной безопасности.

В 2022 году Федеральная комиссия связи (FCC) США отозвала разрешение подразделения China Unicom Americas предоставлять телекоммуникационные сервисы в США. Аналогичный запрет в отношении China Telecom ввели в 2021 году. Наконец, поданную China Mobile заявку на предоставление на территории США услуг телефонной связи отклонили ещё в 2019 году.

Источник изображения: Mudit Agarwal/unsplash.com

Ранее в 2024 году FCC предписала американским подразделениям China Telecom, China Unicom и China Mobile прекратить в стране операции связанные с фиксированным и мобильным доступом в интернет. Ранее регулятор объявил, что китайские телеком-компании эксплуатируются китайским правительством, находятся под его влиянием и контролируются им. Особо отмечены риски, связанные с доступом к точкам присутствия (POP) в США, обычно расположенным в ЦОД.

СМИ сообщают, что свидетельств предоставления значимых данных китайским властям найдено не было, как и следов нанесения какого-либо ущерба США. Несмотря на запреты, компании по-прежнему могли предоставлять в стране облачные сервисы. По данным источников СМИ, регуляторам ещё предстоит устранить эту потенциальную угрозу. В частности, возможен запрет на работу в ЦОД и маршрутизацию трафика. В результате даже оставшийся в стране бизнес китайской «большой тройки» будет парализован.

Буквально на днях сообщалось, что китайские компании ищут всё новые пути обхода американских санкций, например, используя запрещённые к экспорту чипы для вычислений на территории самих США. При этом США постоянно усиливают санкции, начиная с 2019 года. Был введён запрет на закупку телеком-оборудования ряда вендоров, использование Google Mobile Services, продажу технологий и чипов и т.д.

Американская энергетическая Pacific Gas and Electric Company (PG&E) в последнем отчёте для инвесторов отметила, что в Калифорнии, особенно в северной и центральной частях, в ближайшие годы построят много дата-центров. Datacenter Dynamics сообщает, что речь идёт строительстве ЦОД ёмкостью 3,5 ГВт до 2029 года, причём треть приходится на единственного клиента.

В Сан-Хосе от 11 клиентов поступил запрос на строительство ЦОД общей ёмкостью 1,6 ГВт в 2025–2029 гг., отдельные объекты требуют подвод от 10 МВт до 600 МВт. В Хейварде речь идёт о вводе к 2028 году 975 МВт для четырёх клиентов, причём 800 МВт приходится лишь на одного из них. В остальных городах запросы скромнее. Так, во во Фримонте нужно 230 МВт, в Гилрое и Милпитасе — 210 МВт, в Сан-Франциско — 70 МВт, в Саннивейле и Санта-Кларе — по 100 МВт, а в Ричмонде — всего лишь 35 МВт.

Источник изображения: Lala Miklós/unsplash.com

Подавшие заявки компании не называются и указываются в отчёте под номерами. Например, первый клиент запросил суммарно более 1,3 ГВт в пяти локациях, все должны заработать в 2028 году. Клиент №3 (второй по значимости) запросил 500 МВт в одном месте, объекты должны ввести в эксплуатацию между 2025 и 2029 гг.

В среднем нагрузка PG&E должна вырасти на 2–4 % с 2023 по 2040 гг. (эквивалент 144 ТВт∙ч), на дата-центры из них придётся 0,5–1,5 %, а на электромобили — 1,25–2 % роста. На обеспечение роста потребностей ЦОД потребуется $0,5–$1,6 млрд. Однако аналитики CBRE предупреждают, что многие подстанции в районе Кремниевой долины не получат энергии до 2028–2029 гг., причём их сдача в эксплуатацию может быть отложена из-за превышения возможностей электросетей в Санта-Кларе.

Digital Core (Digital Realty) уже отмечала проблемы с энергоснабжением в Калифорнии. Ещё в I квартале 2023 года местный поставщик энергии на севере штата предупреждал о приостановке выделения дополнительных мощностей для ЦОД до 2028 года. Один из ключевых поставщиков энергии, Silicon Valley Power, сообщает, что многие проекты получают максимум 2 МВт, что сильно ограничивает их возможный будущий рост.

В прошлом году Silicon Valley Power объявила, что нагрузка на электросети из-за ЦОД почти удвоится к 2035 году, а дата-центры и без того являются крупнейшим потребителем калифорнийских энергорезервов. В PG&E тоже отметили, что компания медлит с новыми поставками энергии из-за нехватки резервов и роста её потребления. Ожидается, что новые мощности будут массово введены лишь к 2028 году. Пока же пытаются реализовать необычные зелёные проекты. например, ЦОД Microsoft в Сан-Хосе запитают от биогаза, получаемого из пищевых отходов.