Компания Google вкладывает средства в строительство энергетических мегапарков для получения возобновляемой энергии — IT-гигант стремится обеспечить электричеством свои ЦОД. В частности, он заключил партнёрское соглашение с независимым производителем энергии Intersect Power. Также в сделке участвует инвестиционная TPG Rise Climate LP, сообщает Bloomberg.

Консорциум займётся проектированием и строительством крупных энергетических комплексов рядом с кампусами ЦОД, которые будут включать возобновляемые источники энергии, энергохранилища и сопутствующую инфраструктуру передачи энергии на несколько гигаватт. Это обойдётся приблизительно в $20 млрд.

Для поддержки проекта Google также инвестировала и в акционерный капитал Intersect Power. TPG возглавила раунд финансирования, в котором помимо Google приняли участие CAI и Greenbelt Capital Partners. Всего привлечено $800 млн. Новые инвестиции помогут Intersect получить дополнительные заёмные средства на строительство энергетических мощностей.

Источник изображения: Intersect Power

План Google заключается в постройке ЦОД и новых энергетических мощностей таким образом, чтобы те подключались к одним и тем же подстанциям. Это должно помочь ускорить их ввод в эксплуатацию. В Google сообщают, что компания намерена оплатить 100 % расходов на модернизацию энергосетей для этих проектов. По оценкам партнёров, кампусу ИИ ЦОД на 1 ГВт потребуется по 1 ГВт солнечных и ветряных мощностей, а также 1-ГВт энергохранилище, способное проработать два-четыре часа — всё это на площади более 4 тыс. га.

Энергетические парки станут альтернативой стареющим электросетям США, которые с трудом справляются с потребностями ИИ ЦОД и параллельным электроснабжением домов, транспорта и промышленности. Google, Microsoft и AWS, а также другим крупным операторам ЦОД необходимы многомиллиардные инвестиции для удовлетворения потребностей ИИ в энергии. Все, включая Google, присматриваются к малым модульным реакторам, но они заработают не раньше 2030-х годов.

По данным пресс-службы Intersect, компания будет строить новые мощности по выработке чистой энергии, а Google станет её якорным клиентом. Таким образом, запросы Google будут полностью соответствовать доступным мощностям. Сейчас Intersect привлекает заемные средства для своего первого проекта с Google, который планируется к вводу в эксплуатацию в 2026 году. Параметры и местоположение проекта компании пока не раскрывают.

Китайский антимонопольный регулятор начал расследование в отношении NVIDIA. Вероятно, главной причиной является желание дать ответ на решение властей США снова ужесточить ограничения на поставку чипов в Китай, сообщает гонконгское издание SCMP. В NVIDIA не спешат комментировать ситуацию. На фоне новостей акции компании незначительно упали на торгах в понедельник.

NVIDIA, соблюдающая американские законы, касающиеся ограничений поставок передовых чипов в КНР, подозревается китайскими регулятором в нарушении антимонопольных законов при покупке израильской компании Mellanox Technologies. Об этом в понедельник заявила китайская Государственная администрация по регулированию рынка.

Сделка NVIDIA-Mellanox стоимостью $6,9 млрд была анонсирована в 2019 году. Китайский регулятор одобрил поглощение в апреле 2020-го с условием, что ускорители NVIDIA, сетевые решения Mellanox и сопутствующее ПО будут поставляться в КНР на «честных, разумных и недискриминационных принципах».

Источник изображения: NVIDIA

Антимонопольное расследование китайских регуляторов рассматривается некоторыми экспертами как начало реализации систематической «стратегии возмездии». Расследование называют предвестником более жёстких мер. Некоторые даже называют его не вопросом регуляций, а «геополитическим манёвром» — Китай посылает сообщение Вашингтону и, похоже, не намерен отступать.

Принятые Пекином меры последовали всего через несколько дней после того, как поддерживаемые властями КНР промышленные ассоциации призвали своих участников с осторожностью покупать американские чипы. Например, Китайская ассоциация полупроводниковой промышленности (China Semiconductor Industry Association), в которую входит и подразделение NVIDIA Technical Service (Пекин), призвала своих участников избегать покупки чипов у американских поставщиков, заявив, что они «не безопасны не надёжны».

Ирония в том, что деятельность NVIDIA расследует Министерство юстиции и в самих США, сообщает Datacenter Dynamics. Интерес к делам компании проявляет и французский антимонопольный регулятор, а также антимонопольное ведомство Евросоюза в целом.

Разработчик малых модульных реакторов (SMR) Terrestrial Energy подписал меморандум о взаимопонимании с Energy Solutions. По данным пресс-службы компании, партнёры достигли предварительного соглашения о развёртывании интегрированных реакторов на расплавах солей (IMSR) в США — их разместят на площадках EnergySolutions. Первые реакторы Terrestrial намерена ввести в эксплуатацию в начале 2030-х годов.

Как заявили партнёры, подписание меморандума обусловлено ростом интереса к рынку SMR, в первую очередь, со стороны ИИ ЦОД и некоторых секторов промышленности, находящихся в поиске решений в области «чистой» энергии. В 2023 года Energy Solutions приобрела три площадки для изучения возможности установки на них ISMR суммарной мощностью несколько гигаватт. Среди них есть и выведенная из эксплуатации АЭС Kewaunee в штате Висконсин.

IMSR представляют собой реакторы поколения IV. Считается, что они намного эффективнее решений прошлых поколений, однако их системы охлаждения недостаточно долго тестировались в реальных условиях, из-за чего пока не вполне понятны перспективы их масштабируемости в долгосрочной перспективе.

Источник изображения: Terrestrial Energy

В 2024 году Terrestrial Energy подписала ещё один меморандум о взаимопонимании со Schneider Electric для поддержки разработки ISMR на 190 МВт. В текущем году соглашения о поставке SMR подписали несколько крупных операторов ЦОД, что только подогрело интерес к технологии. Например, поддерживаемая Сэмом Альтманом (Sam Altman) компания Oklo заключила соглашения с Equinix и Prometheus о поставке SMR на 500 МВт и 100 МВт соответственно, а в прошлом месяце с двумя нераскрытыми партнёрами из числа операторов ЦОД достигнута договорённость о поставке до 750 МВт.

В октябре AWS заключила с Energy Northwest, X-Energy и Dominion Virginia соглашения о поддержке развёртывания SMR общей мощностью более 600 МВт в Вашингтоне и Вирджинии. Google также подписала соглашение о покупке энергии от нескольких малых реакторов у Karios Power, их должны ввести в эксплуатацию в 2030 году.

На днях Meta✴ объявила о намерении построить свой самый крупный дата-центр стоимостью $10 млрд в Луизиане (США). По данным Silicon Angle, объект станет крупнейшим дата-центром компании. Строительство кампуса Franklin Farm начнётся уже в декабре и продлится до 2030 года. Инфраструктура, включая сетевое оборудование и серверы, будет изначально оптимизирована для ИИ-нагрузок. Общая площадь кампуса составит чуть более 900 га, площадь строений более 370 тыс. м².

Власти Луизианы заявили, что постройка кампуса ЦОД обеспечит регион новыми технологическими возможностями. В Meta✴ объявили, что помимо создания рабочих мест компания инвестирует $200 млн и в совершенствование местной инфраструктуры, в т.ч. в дороги и системы водоснабжения. После запуска ЦОД стартует и программа грантов Community Action Grants для организации партнёрских связей с местными школами и организациями — кузницей будущих кадров для компании. В ходе строительства будет задействовано более 5 тыс. рабочих, а после окончания штат ЦОД составит около 500 человек.

Источник изображения: Meta✴

Как подметили в The Next Platform, рендер кампуса очень напоминает AMD EPYC. И это не случайность — вычислительные «чиплеты»-здания расположены вокруг центрального «IO-хаба». Современные ИИ-кластеры действительно состоят из отдельных т.н. «островов», внутри которых скорость обмена данными и связность гораздо выше, чем за их пределами. Здания справа вверху могут выполнять некие функции хранения данных. «Зелёные зоны» в окружении деревьев, вероятно — пруды для хранения воды для охлаждения.

Для своего кампуса Meta✴ пообещала использовать на 100 % «чистую» и возобновляемую энергию. Правда, обольщаться на этот счёт не стоит. Компания будет выкупать «зелёную» энергию где-то ещё, а вот сам 1,5-ГВт кампус будет запитан от строящейся поблизости газовой электростанции Entergy общей мощностью 2,2 ГВт. В отчёте об устойчивом развитии Meta✴ объявила, что в 2023 году располагала контрактами на 11,7 ГВт возобновляемой энергии для компенсации потребления своих ЦОД, 6,7 ГВт из которой приходилось на США. Общемировое энергопотребление Meta✴ превышает 12 ГВт, но компания намерена получить ещё 1–4 ГВт от АЭС к концу десятилетия.

Источник изображения: Meta✴

Также Meta✴ объявила, что намерена свести к минимуму потребление воды новым ЦОД. По данным NPR, средний дата-центр требует более 1135 м³ воды в день — столько же потребляют 1 тыс. домохозяйств США. В Meta✴ обещают, что проекты «восстановления» воды в Луизиане позволят получать в результате деятельности компании больше пресной воды, чем она будет тратить сама. Правда, куда будет деваться осадок после очистки вод дата-центра, пока не уточняется.

По предварительным оценкам, из $10 млрд инвестиций около половины придётся на ИИ-ускорители. При средней цене в районе $25 тыс. речь может идти о 200 тыс. ИИ-ускорителей. Если же Meta✴ задействуют ускорители MTIA собственной разработки, которые вдвое дешевле сторонних, речь может идти уже о 400 тыс. На фоне планов xAI расширить ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA до 1 млн проект Franklin Farm смотрится скромно. Впрочем, как выяснилось, для обучения модели Llama-4 уже используются более 100 тыс. NVIDIA H100.

Стартап xAI, курируемый Илоном Маском (Elon Musk), планирует на порядок расширить свой ИИ-кластер Colossus в Мемфисе (Теннесси, США), включающий в настоящее время 100 тыс. NVIDIA H100. Как пишет HPCwire, об этом заявил Брент Майо (Brent Mayo), старший менеджер xAI по строительству объектов и инфраструктуры.

По словам Майо, стартап уже приступил к работам по расширению ИИ-кластера до не менее чем 1 млн ускорителей совместно с NVIDIA, Dell и Supermicro. Для содействия проекту xAI была создана оперативная группа под руководством главы Торговой палаты Мемфиса Теда Таунсенда (Ted Townsend), готовая оказать помощь в решении проблем в любое время суток. Проект знаменует собой крупнейшее капиталовложение в истории региона.

Заявление о старте работ над расширением ИИ-кластера последовало после появления сообщений о том, что xAI удалось привлечь ещё $6 млрд инвестиций. Новые вливания могут увеличить оценку рыночной стоимости стартапа до $50 млрд. Точные цифры будут объявлены немного позже.

Источник изображения: Supermicro

Colossus используется для обучения моделей ИИ для чат-бота Grok, разработанного xAI, который уступает по возможностям и аудитории лидеру рынка OpenAI ChatGPT, а также Google Gemini. Стартап выпустил свою первую большую языковую модель Grok-1 в конце 2023 года, в апреле 2024 года вышла модель Grok-1.5, а Grok-2 — в августе.

Colossus был построен в рекордные сроки — всего за три месяца. Гендиректор NVIDIA, Дженсен Хуанг (Jensen Huang), заявил, что «в мире есть только один человек, который мог бы это сделать». Хуанг назвал Colossus «несомненно самым быстрым суперкомпьютером на планете, если рассматривать его как один кластер», отметив, что ЦОД такого размера обычно строится три года.

Активисты из числа жителей Мемфиса раскритиковали проект из-за повышенной нагрузки на местные энергосети и требований, которые ИИ-кластер предъявляет к региональной энергосистеме. «Мы не просто лидируем; мы ускоряем прогресс беспрецедентными темпами, обеспечивая при этом стабильность энергосети, используя Megapack», — заявил в ответ Брент Майо на мероприятии в Мемфисе, пишет Financial Times.

Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Компания Meta✴ ищет подрядчиков, способных к началу 2030-з годов начать поставки энергии от атомных реакторов в США. Проекты должны обеспечить энергией дата-центры компании и ближайшие поселения. Фактически компания вступает в своеобразный «клуб» гиперскейлеров, готовых использовать атомную энергию для питания дата центров. Над аналогичными проектами уже работают AWS, Google, Microsoft, Oracle и другие техногиганты, желающие получать «безуглеродную» энергию.

«Запрос предложений» (request for proposals, RFP) предусматривает строительство значительных мощностей нового поколения, от одного до четырёх гигаватт. Хотя некоторые игроки рынка заключили сделки с конкретными энергетическими стартапами, Meta✴ предлагает широкое «окно возможностей» и открыта для самых разных идей и работы с всевозможными типами реакторов, разными локациями и т.п. Компания ищет партнёров, способных повысить доступность атомных реакторов, причём в масштабах, позволяющих значительно снизить себестоимость проектов, использовав многочисленные модули.

Источник изображения: Hal Gatewood/unsplash.com

Meta✴ ищет партнёров, способных выполнить проект от начала до конца — от поиска подходящих площадок и получения разрешений до разработки, работы с финансами, ввода в эксплуатацию, обслуживания и т.д. Это позволит быстро масштабировать проекты. В Meta✴ допускают, что места, в которых реакторы можно будет запустить быстрее всего, могут оказаться довольно далеко от её собственных кампусов ЦОД. Meta✴ признаёт, что в отличие от проектов возобновляемой энергетики, атомные проекты будут дороже, но зато они рассчитаны на более длительную эксплуатацию.

Компания готова и покупать энергию, когда объекты заработают, и разделить расходы на строительство новых атомных мощностей. При этом компания подчёркивает, что нуждается в больших объёмах энергии и намерена преодолеть «нерешительность» инвесторов, намеренных потратить деньги на масштабные стройки. Ранее Meta✴ ужа прошла похожий путь с возобновляемой энергетикой, которая более десяти лет назад была намного дороже, а её востребованность была под вопросом.

Утверждается, что с 2020 года все глобальные операции компании на 100 % обеспечиваются «чистой» и возобновляемой энергией. Сейчас на долю Meta✴ уже приходится 12 ГВт возобновляемой энергии по всему миру, но для ИИ ЦОД будущего этого может и не хватить. Первоначальных откликов на PFR будут ожидать до 7 февраля 2025 года.

Уходящая администрация действующего президента США Джо Байдена (Joe Biden) объявила об ограничениях экспорта в Китай высокопроизводительной HBM-памяти, критически важной для производства ИИ-ускорителей. Запрет коснётся более сотни китайских организаций, сообщает The Register.

Ограничения, обновлённые и анонсированные Бюро промышленности и безопасности (BIS) в минувший понедельник, препятствуют экспорту HBM в ряд стран, в частности — в КНР. Модули такой памяти производятся всего несколькими поставщиками в мире, включая южнокорейские Samsung и SK Hynix, а также американскую Micron. В модулях HBM применяются передовые технологии упаковки, недоступные КНР. В Китае активно ведутся работы по импортозамещению технологий. В частности, над собственными HBM-модулями трудится ChangXin Memory Technologies (CXMT).

Источник изображения: Debbie Molle/unsplash.com

HBM чрезвычайно важна для обучения ИИ и инференса и гораздо эффективнее (G)DDR, хотя она дороже и потребляет больше энергии. В последних поколениях оборудования память порой даже важнее FP-производительности. Например, в версиях NVIDIA H200 и AMD MI325X HBM3 заменена на более быструю HBM3e. Особенно результаты заметны при эксплуатации больших языковых моделей (LLM). Однако для моделей поменьше достаточно более простых и доступных ускорителей NVIDIA и AMD с памятью GDDR.

По новым правилам производители памяти должны будут получать специальные экспортные лицензии для продажи HBM китайскому бизнесу. Как показал опыт Cerebras и Groq, при выполнении некоторых технических условий можно обойтись и SRAM. Оба разработчика добились отличных показателей при инференсе, даже в сравнении с решениями с HBM. Пока неизвестно, сможет ли SMIC предложить собственное решение аналогичного класса. В любом случае, запрет на экспорт в Китай HBM не означает завершение масштабных китайских ИИ-проектов.

При Байдене США уже ввели множество ограничений на экспорт, чтобы лишить Китай доступа к технологиям, связанным с передовыми полупроводниками и ИИ-ускорителями, в том числе на поставки высокопроизводительных чипов и литографических EUV-машин для их выпуска. Тем не менее, успехи КНР в сфере ИИ ставят под сомнение эффективность санкций.

Amazon представила сервис AWS Data Transfer Terminal — пункты, где можно быстро и безопасно выгрузить большие объёмы данных в облако AWS. Первые терминалы расположены в Лос-Анджелесе и Нью-Йорке, в будущем планируется добавить пункты приёма данных и в других локациях по всему миру.

Использование пунктов AWS Data Transfer Terminal позволит значительно снизить время передачи данных (не считая времени на дорогу и обратно) в хранилища S3, EFS и др. Например, можно выгрузить большие датасеты от парка беспилотных машин, видеофайлы или картографические данные для дальнейшего анализа и обработки. Также с собой можно принести носители Snowball, хотя в целом AWS постепенно сворачивает сервисы Snow по физической доставке данных в облако.

Источник изображения: AWS

Список терминалов доступен в AWS Management Console, где можно заранее назначить дату и время визита и вписать участников. В назначенный час сотрудник AWS проверит документы и проводит до отдельной комнаты, где есть патч-панель, оптоволоконный кабель и ПК. Патч-панель интегрирована в небольшую стойку, а компьютер можно использовать для контроля процесса передачи данных. Примечательно, что в целях безопасности на зданиях и в помещениях нет никаких символов AWS. Плата за гигабайты не предусмотрена, вместо этого платить придётся за время загрузки в регионы AWS. При этом доступны только те регионы, которые находятся на том же континенте, где и пользователь.