Компания OpenAI может построить дата-центр для хранения данных стоимостью миллиарды долларов, желая снизить зависимость от облачных провайдеров. Разработчик ChatGPT намерен закупить комплектующие и ПО для хранения 5 Эбайт, сообщает The Information.

Для размещения необходимой инфраструктуры рассматривается строительство нового дата-центра, доложили журналистам анонимные источники. Впрочем, план также может быть частью стратегии по давлению на Microsoft и других облачных провайдеров для заключения с ними сделок на более выгодных условиях. Не так давно Microsoft, имеющая договорные обязательства с OpenAI, разрешила той пользоваться сторонними облаками.

Руководство OpenAI, по слухам, заявило сотрудникам, что компания намерена увеличить объём доступных вычислительных ресурсов для разработчиков до конца года — без учёта ускорителей и сопутствующие инфраструктуры для работы ChatGPT и других продуктов. Также компания надеется утроить общую ёмкость ЦОД, доведя её до 2 ГВт. Сюда входят облачные серверы, которые она арендует у Microsoft.

Источник изображения: Mariia Shalabaieva/unsplash.com

Разработка новых ИИ-моделей требует больших СХД. Если новый ЦОД будет построен, он, вероятно, будет напрямую связан с ИИ-мегапроектом Stargate, совместной инициативой OpenAI, SoftBank и Oracle, а также арабского инвестора MGX — предполагается потратить на инфраструктуру до $500 млрд. ЦОД для хранения данных стремятся строить на территории кампусов с прочей цифровой инфраструктурой, а не выделять отдельные площадки.

OpenAI рассматривает возможность размещения хранилища возле объекта первой фазы проекта Stargate, который уже строится в Техасе. Как именно компания намеревается финансировать эти покупки и дополнительное строительство, пока неизвестно. В прошлом году она привлекла $6,6 млрд и теперь ожидает раунд финансирования на $40 млрд, который обеспечит ей капитализацию в $340 млрд.

Microsoft была единственным облачным провайдером OpenAI с тех пор, как начала инвестировать в компанию в 2023 году, но требования к вычислительным мощностям растут так быстро, что теперь OpenAI пришлось дополнительно вести дела с Oracle и CoreWeave для обеспечения работы Stargate.

Оператор облачных проектов и ИИ ЦОД Crusoe Energy продал связанный с майнингом криптовалют бизнес, окончательно отказавшись от криптопроектов. Ранее сообщалось о намерении NYDIG приобрести бизнеса Crusoe, относящийся к добыче биткоинов, включая энергетичесие проекты Digital Flare Mitigation, однако условия сделки пока официально не разглашаются, сообщает Datacenter Dynamics. К NYDIG перейдут майнинговые ЦОД, генерирующие мощности (270 МВт) и около 135 сотрудников Crusoe.

Основанная в 2018 году, Crusoe изначально размещала криптомайнинговые мощности при нефтегазовых проектах, используя природный попутный газ для питания модульных ЦОД. В компании заявляли, что такой способ использования попутного газа значительно лучше для окружающей среды, чем просто сжигание. Crusoe внедрила более 425 модульных ЦОД общей ёмкостью более 250 МВт в семи штатах США (Колорадо, Северная Дакота, Монтана, Вайоминг, Нью-Мексико, Юта и Техас), а также в Аргентине. Поработав с майнинговыми проектами, Crusoe запустила собственный облачный ИИ-сервис, заняв место в нескольких колокейшн-ЦОД — прежде, чем перейти на использование собственных стационарных объектов.

Источник изображения: Crusoe

Основанная в 2017 году и аффилированная с управляющей активами компанией Stone Ridge Holdings Group, NYDIG уже имеет собственный бизнес по майнингу биткоинов и предлагает связанные с криптовалютой финансовые сервисы. Stone Ridge Energy владеет и управляет в США добычей природного газа, эквивалентной более чем 10 ГВт. В NYDIG заявили, что Crusoe создала «экстраординарное» предприятие по майнингу биткоинов, продемонстрировав выдающиеся инновации, собрав лучшие кадры индустрии для решения сложных задач и использования нетронутых энергоресурсов.

В настоящее время Crusoe строит крупный кампус дата-центров в Техасе совместно с Oracle для ИИ-проекта OpenAI Stargate. Для своих облачных проектов компания использует дата-центр ICE02 компании atNorth в Исландии. Также компания работает с Digital Realty, а на днях появилась новость о том, что она получит 4,5 ГВт от газовых электростанций для питания ИИ ЦОД.

Как сообщается в пресс-релизе Crusoe, она продолжит расти и масштабировать свою вертикально-интегрированную ИИ-инфраструктуру, включающую оптимизированные для ИИ дата-центры, расширит ассортимент предложений в облаке Crusoe Cloud и продолжит внедрение наиболее передовых в индустрии энергетических решений для обеспечения электричеством своей инфраструктуры.

Компания Microsoft отказалась от некоторых проектов дата-центров в США и Европе совокупной мощностью около 2 ГВт. Об этом сообщает Bloomberg со ссылкой на аналитику TD Cowen, связывающую подобные изменения с «перепроизводством» ИИ-кластеров.

Примечательно, что в феврале сообщалось о том, что Microsoft отказалась от аренды ЦОД на «пару сотен мегаватт». Последние изменения могут быть также связаны с отказом Microsoft от некоторых совместных проектов с OpenAI, хотя на этот ИИ-стартап техногигант уже потратил $13 млрд. Не так давно компании сообщили, что изменили соглашение о многолетнем сотрудничестве, что позволило OpenAI использовать облачные сервисы сторонних компаний. Очевидно, что Microsoft сама не желала или не могла развивать сотрудничество.

Источник изображения: Bermix Studio/unsplash.com

По данным TD Cowen, в последние полгода оптимизация бизнеса Microsoft заключалась в том числе в отказе от арендных обязательств и отложенных проектах. По мнению аналитиков, Google и Meta✴ воспользовались этим для получения дополнительных ёмкостей ЦОД в Европе. Не исключено что отказ связан с невозможностью объектов разместить самые современные ускорители. Так, грядущее поколение суперускорителей NVIDIA Rubin Ultra NVL576 потребует уже 600 кВт на стойку.

В самой Microsoft заявляют, что в текущем финансовом году на строительство ЦОД будет потрачено $80 млрд. Год заканчивается в июне, но после этого рост соответствующего бизнеса компании начнёт замедляться. Как считают в руководстве компании, после стремительного расширения инфрасруктуры для поддержки OpenAI и прочих ИИ-проектов, теперь вместо новых строек средства будут тратиться на дооснащение серверами и оборудованием уже существующих объектов.

Ранее на этой неделе Джо Цай (Joe Tsai) предупредил о потенциальном образовании «пузыря» на рынке строительства ЦОД, заявив, что новые проекты могут привести к «перепроизводству» мощностей, превышающему спрос на ИИ-серверы. В TD Cowen также уверены, что отмена и отсрочка аренды мощностей в дата-центрах указывает на их переизбыток из-за более низкого спроса, чем прогнозировалось.

Председатель Alibaba Group Джо Цай (Joe Tsai) предупредил, что дата-центров для ИИ может быть построено больше, чем необходимо. В ходе недавнего мероприятия HSBC Global Investment Summit в Гонконге он заявил, что текущие темпы строительства ЦОД могут опередить рост спроса на ИИ-сервисы, сообщает Bloomberg.

По данным издания, бизнесмен заявил, что «начинает видеть пузырь некоего вида». Он отметил, что некоторые проекты строительства уже стартовали без заключения предварительных соглашений с будущими клиентами, без гарантированного спроса. Цай выразил озабоченность тем, что ЦОД строятся «наудачу», по инициативе появившихся в отрасли людей и фондов, с привлечением миллионов или даже миллиардов долларов.

В частности, он обратил внимание на практику строительства дата-центров в США. Инвестиционные обязательства в соответствующем секторе страны уже весьма значительны. В этом году стартовал проект Stargate с участием OpenAI, Oracle и SoftBank, в рамках которого компании собираются потратить до $500 млрд, в основном на строительство ИИ ЦОД на всей территории США. Как сообщает Datacenter Dynamics, другие компании также планируют масштабные вложения в строительство ИИ-инфраструктуры в 2025 году. Так, Microsoft обещала потратить $80 млрд (хотя уже отказалась от 2 ГВт), Amazon (AWS) — $100 млрд, Google — $75 млрд, а Meta✴ — $60–65 млрд.

Источник изображения: Ben Allan/unsplash.com

По словам Цая, он всё ещё поражён уровнем инвестиций в ИИ в США. Бизнесмен прямо заявил, что люди буквально говорят о $500 млрд — совершенно избыточной сумме. Бизнесмен считает, что люди, возможно, напрасно вкладывают деньги, рассчитывая на значительный рост спроса в будущем.

Убеждённость в том, что ИИ-проекты представляют собой большой «мыльный пузырь», у некоторых экспертов существует уже давно, но усугубилась она к январю 2025 года, на фоне появления экономичных и эффективных ИИ-моделей китайского стартапа DeepSeek, сумевшего обучить модель R1 за весьма скромные деньги (хотя сенсационность новости несколько преувеличена). После новостей о триумфе китайских ИИ-технологий сегмент фондового рынка США, связанный с искусственным интеллектом, стремительно потерял около $1 трлн, $600 млрд из которых приходилось на акции NVIDIA.

В текущем месяце Alibaba представила ИИ-модель QwQ-32B на 32 млрд параметров, которая, как утверждается, соответствует по производительности DeepSeek-R1, но требует ещё меньше вычислительных ресурсов. После этого китайская Tencent объявила, что замедлит развёртывание ускорителей, хотя её капитальные расходы всё ещё будут составлять более 10 % от выручки. В финансовом 2024 году та составляла $91,1 млрд, на 8 % выше год к году.

Несмотря на слова Цая и более осмотрительный подход конкурентов к инвестициям, ранее в этом году Alibaba Group объявила, что намерена потратить на облачную и ИИ-инфраструктуру $52 млрд в следующие три года — это высочайший уровень инвестиций для компании к сегодняшнему дню.

В отличие от других крупных технологических компаний, которые активно инвестируют в развёртывание ИИ ЦОД, Apple долгое время избегала резкого увеличения капитальных вложений в это направление. Но, похоже, ситуация изменилась, и Apple тоже начала наращивать инвестиции в это направление, пишет ресурс Investor's Business Daily (IBD).

Аналитик Loop Capital Ананда Баруа (Ananda Baruah) сообщил в понедельник в записке для инвесторов, что Apple размещает заказы на поставку систем NVIDIA GB300 NVL72 на сумму около $1 млрд. Речь идёт о приблизительно 250 системах стоимостью $3,7– $4 млн каждая, пояснил аналитик.

Баруа также сообщил, что Apple привлекла Dell и Supermicro к работе над собственным большим серверным кластером для поддержки приложений генеративного ИИ. Аналитик рассказал, что на текущий момент об этом проекте мало данных, но, похоже, Apple намерена использовать кластер для работы с большими языковыми моделями (LLM). Ранее компания сотрудничала с Google Cloud и использовала TPU для обучения своих ИИ-моделей. Для безопасного инференса компания использует серверы на базе собственных чипов серии M. По слухам, компания также работает над собственными серверными ИИ-ускорителями при поддержке Broadcom.

Источник изображения: Laurenz Heymann/unsplash.com

Ананда Баруа считает, что резкая смена стратегии Apple связана с проблемами с выводом на рынок своего обновленного цифрового помощника Siri с поддержкой ИИ, который был анонсирован в прошлом году на конференции WWDC 2024. Компания планировала запустить новые функции Siri в начале этого года, но, похоже, что это произойдёт только в 2026 году.

Один из топ-менеджеров Apple назвал задержки и промахи с запуском функций ИИ-платформы Apple Intelligence «отвратительными» и «позорными», поскольку компания продвигала возможности ИИ в телевизионной рекламе, сообщил ранее Bloomberg. В связи с этим на компанию уже подали в суд. В итоге новым руководителем направления ИИ вместо Джона Джаннандреа (John Giannandrea) был назначен Майк Роквелл (Mike Rockwell), глава отдела разработки Vision Pro.

Развитие систем искусственного интеллекта (ИИ) подпитывает ажиотаж, связанный со строительством азиатских дата-центров. В результате на континенте выдана серия рекордных кредитов на создание ЦОД, ещё больше сделок может быть заключено в будущем, сообщает Bloomberg.

Только за неделю два крупных азиатских оператора ЦОД получили самые значимые в своей истории кредиты, частично предназначенные для расширения проектов в Малайзии, намеренной стать новым региональным хабом для дата-центров. Сам факт таких крупных сделок свидетельствует о росте привлекательности отрасли для инвесторов, бум ИИ стимулирует их интерес. Также сделки стали своеобразным маркером того, что Азия становится одним из ключевых рынков ЦОД. Как прогнозирует Cushman and Wakefield, спрос будет расти на 32 % ежегодно до 2028 года. Это выше, чем предполагаемый рост в США (CAGR 18 %), хотя в начале 2024 года прогнозы были более скромными.

По данным юридической компании Morrison Foerster, рост спроса на ЦОД вызвал интерес у пула инвесторов по всему Азиатско-Тихоокеанскому региону (АТР). Если раньше инвесторами выступали в основном банки, то теперь появились частные кредитные и инфраструктурные фонды. Среди недавних инициатив — проект компании Bridge Data Centres, принадлежащей Bain Capital. Она получила в кредит $2,8 млрд для развития в Малайзии, а DayOne (ранее GDS International) привлекла заём, эквивалентный $3,4 млрд. Готовятся и новые сделки. Сингапурское подразделение австралийской Firmus Technologies желает получить кредит на $120 млн, а индийская Yotta Data Services договаривается с частными фондами о привлечении около $500 млн для своих парков ЦОД.

Источник изображения: Steven Wilcox/unsplash.com

Боле того, чем сильнее напряжённость между США и КНР, тем активнее транснациональные компании готовы вкладывать средства в ЦОД за пределами Китая. Одним из ключевых бенефициаров наметившейся тенденции стал малайзийский штат Джохор (Johor), граничащий с Сингапуром, где около 30 проектов дата-центров завершены или находятся на стадии строительства, а ещё 20 ожидают одобрения регуляторов. Таиланд одобрил инвестиционные заявки на $5,9 млрд буквально на прошлой неделе, в том числе на проекты в секторе, связанном с ЦОД.

Тем не менее, в отрасли царит неопределённость, поскольку США готовят новые пошлины, риск глобальной торговой войны не так уж мал. В числе возможных целей — страны, поставляющие продукцию для индустрии дата-центров (в основном в Азии). Также не исключено нарушение цепочек поставок, в том числе полупроводников. В Morrison Foerster допускают, что геополитические риски могут привести к росту кредитных рисков для финансистов, поэтому те могут потребовать большего вознаграждения или, например, отказаться от проектов, связанных с китайскими структурами. Это потенциально затормозит рост на рынке ЦОД в Юго-Восточной Азии.

На участке более 20 тыс. га корпорация Energy Abundance Development Corporation намерена построить кампус ЦОД ёмкостью 5 ГВт, использующий собственные источники энергии. Проект Data City намерены реализовать недалеко от города Ларедо (Laredo) на юго-западе Техаса вблизи от мексиканской границы, сообщает пресс-служба компании. Первые 300 МВт и более 92 тыс. м² намерены ввести в эксплуатацию в 2026 году.

Предполагается, что объект будет работать на «чистой» энергии. Фактически электричество будет поставляться с соседней площадки Hydrogen City, проект которой тоже реализуется Energy Abundance. Первую фазу «водородного города» намерены запустить до 2028 года. Также будут задействованы ветряные и солнечные генераторах, а также природный газ — фактически речь всё же идёт о применении ископаемого топлива, сообщает Datacenter Dynamics. Впрочем, в пресс-релизе компании говорится о постепенном переходе на питание на 100 % за счёт энергии водорода. Компания не сообщала, когда именно она намерена довести мощность ЦОД до 5 ГВт.

Источник изображения: Energy Abundance

В Energy Abundance заявляют, что Data City — проект мирового класса, который поможет Америке выиграть «гонку ИИ», одновременно продемонстрировав, как добиться круглосуточных поставок «зелёной» энергии с помощью водорода и хранилищ в соляных пещерах. В компании считают, что именно Data City станет местом рождения AGI — «общего искусственного интеллекта», равного человеческому или превосходящему его.

Energy Abundance ранее была известна как Green Hydrogen International. По словам её представителей, управленцы компании имеют большой опыт в развитии крупномасштабных инициатив в глобальной энергетике, а также проектировании генерирующих мощностей «на местах» — она подготовила и построила энергетические проекты по всему миру общей мощностью более 3 ГВт.

Энергия водорода уже активно используется компаниями вроде Equinix . Более того, ECL намерена построить гигантский «зелёный» ЦОД TerraSite-TX1 ёмкостью до 2 ГВт (в перспективе), а Microsoft проводит эксперименты по питанию дублинского ЦОД от водородных топливных ячеек GeoPura. Наконец, Modern Hydrogen и Mesa Solutions объединились для выработки водорода из природного газа непосредственно на территории кампуса ЦОД.

Чтобы удовлетворить растущий спрос на ИИ-инфраструктуру, NVIDIA представила NVIDIA Instant AI Factory — управляемый сервис на базе платформ NVIDIA DGX SuperPOD с ускорителями Blackwell Ultra и ПО NVIDIA Mission Control. NVIDIA сообщила, что её партнёр Equinix станет первой компанией, которая предложит новые системы DGX GB300 и DGX B300 в своих предварительно сконфигурированных ЦОД с жидкостным или воздушным охлаждением, готовых к обработке ИИ-нагрузок и расположенных на 45 рынках по всему миру.

Как пишет SiliconANGLE, Тони Пейкдей (Tony Paikeday), старший директор NVIDIA по маркетингу продуктов и систем ИИ, заявил, что партнёрство с Equinix позволит компании выйти на более чем 45 рынков по всему миру «с предварительно настроенными объектами, которые готовы в зависимости от спроса клиентов масштабировать, эксплуатировать и управлять ИИ-инфраструктурой».

NVIDIA отметила, что сервис предоставит предприятиям полностью готовые ИИ-фабрики, оптимизированные для обучения современных моделей и рабочих нагрузок моделей рассуждений в реальном времени, что избавит от многомесячного планирования инфраструктуры перед развёртыванием.

Источник изображения: NVIDIA

Поскольку Equinix предоставляет средства и инфраструктуру для разработки ИИ, Пейкдей возлагает большие надежды на платформу SuperPOD и считает, что она окажет позитивное влияние на развёртывание ИИ компаниями. «Equinix — ключевой компонент этой платформы, потому что вам нужно жидкостное охлаждение, вам нужны ЦОД следующего поколения, вам нужны сверхскоростные соединения с внешним миром, чтобы передавать эти данные», — заявил он.

Как выяснилось недавно, прошлым летом Вирджиния (США) оказалась на грани катастрофы после того, как от энергосети одновременно отключились 60 дата-центров, суммарно потреблявших 1,5 ГВт. Это вынудило операторов электросетей принимать экстренные меры, чтобы избежать масштабных отключений электричества у других потребителей в регионе, сообщает Datacenter Dynamics.

Инцидент документирован, впервые о нём сообщило агентство Reuters — все ЦОД в округе Фэрфакс (Fairfax) в массовом порядке пришлось переключать на резервные генераторы из-за сбоев оборудования в энергосети. Оператору сети PJM Interconnection и местной коммунальной компании Dominion Energy пришлось экстренно сокращать объём поступающей в сеть с электростанций энергии — в противном случае системы сами отключились бы от избыточной мощности. Потенциально это могло привести к отключениям электричества во всём штате.

По данным Североамериканской корпорации по надёжности электроснабжения (NERC), неполадки начались вечером 10 июля 2024 года. На 230-кВ линии электропередачи произошёл сбой оборудования защиты, что привело к нарушениям в работе всей системы. В результате на несколько миллисекунд произошла серия сбоев подачи электричества — этого оказалось достаточно, чтобы местные ЦОД временно переключились на резервные системы питания.

Источник изображения: dhahi alsaeedi/unspalsh.com

Расследование NERC показало, что в случае серии сбоев в течение короткого периода времени дата-центры не переключаются обратно на основную энергосеть — это приходится делать вручную, причём в данном случае ЦОД несколько часов проработали на резервных источниках питания. Хотя напряжение «не поднялось до уровней, представляющих риск для надёжности», операторам энергосети всё равно пришлось принимать меры для сокращения подачи электричества в сеть.

Более того, подобные проблемы, вероятно, в будущем станут более распространёнными, поскольку спрос на электричество для ЦОД в Вирджинии только растёт. В феврале Dominion заявляла, что теперь располагает 40 ГВт «законтрактованных» мощностей для дата-центров по состоянию на декабрь 2024 года — это на 88 % больше, чем в июле.

Не исключены и другие проблемы. В NERC сообщают, что инцидент не вызвал значимых проблем с повторным подключением объектов большой ёмкости, но существует возможность возникновения проблем в будущем. В прошлом году NERC организовала специальную команду для отслеживания ситуаций с большими нагрузками и влияния на состояние энергетической инфраструктуры ЦОД и других крупных потребителей энергии. Такие потребители уже представляют проблему, а иногда и опасность для обычных жителей, т.к. они повышают риск пожаров.

Сетевые операторы и энергокомпании должны принять меры для изучения вероятного влияния внезапного «выхода из сети» крупных потребителей и их повторного подключения. В NERC подчёркивают, что ЦОД становятся больше и потребляют всё больше энергии, но сеть не рассчитана на то, чтобы выдержать отключения дата-центров общей мощностью 1,5 ГВт. На каком-то этапе проблема станет неразрешимой, если ей не заниматься. Северная Вирджиния, где и произошёл сбой, признана самым ёмким рынком ЦОД в мире.

NVIDIA и xAI присоединились к консорциуму, намеренному инвестировать $30 млрд в развитие ИИ-инфраструктуры. Консорциум AI Infrastructure Partnership (AIP), ранее известный как Global AI Infrastructure Investment Partnership, был сформирован Microsoft, BlackRock, Global Infrastructure Partners (GIP, принадлежит BlackRock) и дубайской государственной инвесткомпанией MGX (создана при участии Mubadala и G42) в сентябре 2024 года, Silicon Angle.

Источник изображения: Troy Mortier/Unsplash.com

На начальном этапе консорциум намерен инвестировать в ИИ-проекты более $30 млрд, а в долгосрочной перспективе — $100 млрд. В основном речь идёт об инвестициях в дата-центры и энергетическую инфраструктуру, преимущественно в США. Консорциум сообщил, что уже привлёк значительные средства и вызвал интерес у бизнеса. До того, как NVIDIA объявила о намерении присоединиться к AIP, она выступала техническим консультантом консорциума в области ИИ ЦОД. Эту роль она сохранит.

Также стало известно, что с AIP работают производитель оборудования для энергетической отрасли GE Vernova, в прошлом году отделившийся от General Electric, и крупнейшая в США коммунальная компания NextEra Energy, занимающаяся электроснабжением. Она же является крупнейшим в мире провайдером в области ветроэнергетики. GE Vernova будет работать с AIP и партнёрами над формированием цепочек поставок. NextEra Energy поможет в масштабировании критически важных и разнообразных энергетических решений для ИИ ЦОД.

Некоторые из поддерживающих AIP компаний также участвуют и в других инициативах по финансированию развития ИИ-инфраструктуры. В прошлом году Microsoft с Constellation Energy Generation объявили о возобновлении работы АЭС Three Mile Island. Обновление объекта обойдётся в $1,6 млрд. После того, как тот заработает приблизительно в 2026 году, все 837 МВт пойдут на питание дата-центров Microsoft. NVIDIA параллельно участвует в проекте Stargate.