Компания Crusoe Energy, больше всего известная благодаря майнингу криптовалют с помощью попутного газа, начнёт строить стационарные ЦОД. Datacenter Dynamics сообщает, что она намерена воспользоваться ажиотажем вокруг ИИ, построив «гигаватты новых ёмкостей».

Основанная в 2018 году Crusoe запустила сервис с использованием контейнерных ЦОД у нефтяных скважин в США — там факельный газ, обычно сжигаемый при добыче, используется для получения электричества и питания микро-ЦОД. Изначально энергию использовали для майнинга биткоинов, но позже компания стала предлагать облачные HPC- и ИИ-сервисы Crusoe Cloud. Кроме того, с рядом партнёров были заключены сделки на колокейшн-основе, в частности, с atNorth и Digital Realty.

Источник изображения: Danist Soh/unsplash.com

На фоне ИИ-бума Crusoe намерена заняться строительством крупных стационарных дата-центров, в том числе для колокации ИИ-инфраструктуры сторонних клиентов. Компания разработала новую архитектуру ЦОД высокой плотности для размещения максимального количества ускорителей. Дизайн дата-центра ёмкостью 103 МВт включает четыре «крыла» по 25 МВт каждое и позволяет объединить до 100 тыс. ускорителей в рамках одной сетевой фабрики. Дизайн будет оптимизирован для прямого жидкостного охлаждения в сочетении с теплообменниками на дверях стоек. Впрочем, возможно применение и традиционных систем воздушного охлаждения.

В одном из последних отчётов компании говорится, что только треть облака Crusoe Cloud полагается на факельный газ, а остальные мощности расположены в сторонних ЦОД. Суммарная ёмкость площадок Crusoe составляет 200 МВт, но компания намерена освоить приблизительно ещё 4 ГВт. В США у Crusoe есть десятки уже работающих проектов. Компания намерена освоить площадки в Северной Америке и Европе, в дальнейшем рассматриваются Латинская Америка и Ближний Восток, ещё позже — Азия. Сейчас на Crusoe Cloud приходится около половины всей выручки, к концу года этот показатель может вырасти до 70–80 %.

Фото: Crusoe Energy Systems

Crusoe привлекла сотни миллионов долларов, в число инвесторов входят Mubadala and the Oman Investment Authority, Valor Equity Partners, Founders Fund, Bain Capital Ventures, Coinbase Ventures, G2 и др. Готовится очередной раунд финансирования. Компания намерена сделать основной акцент на ИИ-бизнес, поскольку такая возможность «бывает раз в жизни». Но отказываться от криптопроектов она не намерена. В прошлом году Crusoe выделила $200 млн на покупку 20 тыс. ускорителей NVIDIA и объявила о намерении внедрить ИИ-суперкомпьютеры HPE Cray XD. Сегодня Crusoe предлагает ускорители NVIDIA H100, A100, L40S и A40.

Компания также не намерена полностью отказываться от факельного газа в своих проектах. В своих докладах она упоминает, что сейчас ищет новые источники метана вроде свалок. В то же время Crusoe вкладывается в технологии связывания и нейтрализации продуктов горения после сжигания топлива, а также уделяет особое внимание проектам малых модульных реакторов (SMR) с целью ускорить внедрение источников энергии нового поколения.

Google приобрела долю в тайваньской компании New Green Power (NGP), занятой добычей «зелёной» энергии. По данным Datacenter Dynamics, IT-гигант не только купил часть бизнеса, но и получил права на получение до 300 МВт в рамках соглашениям о покупке энергии (PPA). По словам Google, работа компании на острове зависит от ископаемого топлива приблизительно на 85 %, так что целью новых инвестиций является поставки энергии от солнечных электростанций в больших объёмах.

NGP принадлежит фонду, управляемому подразделением Climate Infrastructure инвестиционной компании BlackRock. Ни она, ни Google не сообщают об объёме инвестиций Google, но представители компании заявили, что средств, вероятно, хватит на строительство 1 ГВт новых мощностей NGP.

Google будет использовать солнечную энергию для обеспечения собственных потребностей, а также предлагать её своим поставщикам и производителям в регионе. В целом, по данным BlackRock, к 2025 году Тайвань намерен довести мощность солнечных проектов до примерно 20 ГВт и до 80 ГВт — к 2050 году.

Источник изображения: Mariana Proença/unsplash.com

Google приобрела на Тайване 15 га земли ещё в 2011 году, её первый дата-центр на острове заработал в конце 2013 года, а облачный GCP-регион появился там годом позже. Пять лет назад компания заявила о планах постройки второй площадки. При этом Google намерена добиться нулевых выбросов в каждом регионе присутствия уже к 2030 году. В компании отмечают, что в Юго-Восточной Азии проблемы с безуглеродной энергетикой — из-за недостатка свободной земли, малой доступности коммерчески масштабируемых ветряных и солнечных станций, а также из-за высокой стоимости строительства.

В 2023 году Google заключила контракты на поставку 1,5 ГВт «чистой» энергии и намерена и далее заключать PPA в достаточных объёмах для того, чтобы обеспечить «чистую» работу всех своих объектов и офисов круглосуточно на ежедневной основе. IT-гигант использует платформу компании Flexiado для того, чтобы сопоставлять реальное потребление энергии Google с оплаченной и генерируемой «чистой» энергией в те же временные промежутки.

У BlackRock зарегистрировано немало инфраструктурных инвестиций. В июне 2024 года компания приобрела контрольный пакет акций у германского оператора ЦОД Mainova WebHouse. После покупки Global Infrastructure Partners в этом году, инвестор также приобрёл контрольные пакеты CyrusOne и Vantage Towers (заодно предоставив займы Vantage Data Centers). Дополнительно компания инвестировала в CoreWeave и Phoenix Tower.

Южнокорейская компания SK hynix планирует выделить в период до 2028 года ₩103 трлн ($74,6 млрд) в укрепление своего бизнеса по производству чипов, сосредоточив внимание на ИИ-направлении, пишет агентство Reuters со ссылкой на заявление холдинга SK Group. Как сообщает Bloomberg, значительная часть этой суммы — ₩82 трлн ($59,5 млрд) — будет инвестирована в производство памяти HBM.

Дочерние предприятия SK Telecom и SK Broadband в рамках развёртывания ИИ-технологий инвестируют ₩3,4 трлн ($2,5 млрд) в свои ЦОД. В свою очередь, SK Group планирует привлечь к 2026 году ₩80 трлн ($56 млрд) для инвестиций в основном в ИИ и полупроводники, стремясь закрепить позицию своего подразделения по производству чипов в качестве ключевого поставщика памяти для NVIDIA и других игроков рынка ИИ.

Второй по величине конгломерат Южной Кореи объявил, что в результате двухдневной встречи топ-менеджеров с участием главы SK Group Чей Тэ Вона (Chey Tae-won) в минувшие выходные было решено, что холдинг будет использовать средства, полученные за счёт повышения прибыльности и оптимизации структуры бизнеса для инвестиций в производство памяти HBM и чипов, а также в ЦОД и персонализированных ИИ-ассистентов. «Поскольку наступил новый переходный период, нам нужны упреждающие и существенные изменения, чтобы подготовиться к будущему», — заявил Чей Тэ Вон.

Источник изображения: SK hynix

SK hynix является основным поставщиком чипов HBM для ускорителей NVIDIA. Её акции в этом году подскочили на 65 %, в то время как у её более крупного конкурента Samsung Electronics акции выросли в цене с начала года на 4 %. Samsung, крупнейший в мире производитель чипов памяти, также выпускает HBM, равно как и американская компания Micron, которая также стремится увеличить долю на этом рынке. Аналитики утверждают, что SK hynix по-прежнему лидирует в области технологии стекирования микросхем, которая используется в HBM.

В ходе встречи топ-менеджеры также договорились предпринять поэтапные шаги по доведению количества дочерних компаний в SK Group до «управляемого диапазона», не уточнив масштабы сокращения. Как сообщает Nikkei Asia со ссылкой на правительственные данные, по состоянию на май у холдинга было 219 «дочек» с совокупными активами в ₩334,4 трлн (около $240 млрд). В частности, по настоянию SK hynix будут объединены ИИ-стартапы Sapeon и Rebellions.

Нидерландский ИИ-стартап Axelera AI B.V., выпускающий ИИ-ускорители для инференса, объявил о привлечении $68 млн на расширение бизнеса. По данным Silicon Angle, в общей сложности общий объём финансирования достиг $120 млн.

В числе ключевых инвесторов, участвовавших в раунде серии B, названы Invest-NL Deep Tech Fund, The European Innovation Council Fund, the Innovation Industries Strategic Partners Fund и Samsung Catalyst Fund. Приняли участие и прежние инвесторы, включая Verve Ventures, Innovation Industries, Fractionelera и итальянский суверенный фонд CDP Venture Capital SGR.

Источник изображения: Axelera AI

По словам Axelera AI, ИИ-индустрия имеет потенциал, чтобы трансформировать многие отрасли экономики, но для того, чтобы полноценно использовать возможности ИИ, компаниям и организациям нужны высокопроизводительные, относительно недорогие и энергоэффективные решения. Основанная в 2021 году Axelera AI занимается созданием именно таких ИИ-ускорителей, ориентированных в первую очередь на периферийные вычисления.

Флагманским продуктом стартапа является платформа Metis AI Platform, включающая до четырёх чипов Axelera Metis AIPU с суммарной производительностью до 856 TOPS (INT8). Платформа не только весьма производительна, но и чрезвычайно энергоэффективна в сравнении с традиционными чипами, благодаря чему она отлично подходит для периферийных устройств, говорят создатели.

В компании сообщили, что направят полученные средства на расширение портфолио. Будут созданы новые решения как для периферийных вычислений, так и для облачных ЦОД, которые смогут удовлетворить нужды систем генеративного ИИ, больших языковых моделей (LLM) и мультимодальных моделей. В компании утверждают, что новые продукты будут стоять за ЦОД петафлопсного и экзафлопсного класса. По оценкам Omdia, это богатый и перспективный рынок.

Google Cloud объединит усилия с Gulf Edge Company Limited для постройки суверенного облака в Таиланде. По данным Datacenter Dynamics, это даст возможность клиентам соблюдать требования местных властей к обеспечению безопасности и конфиденциальности данных. Дополнительно они получат доступ к ИИ-функциям и аналитическим возможностям облака Google.

Gulf Edge является подразделением Gulf Energy Development Public Company Limited и будет оператором облака Google Distributed Cloud (GDC) в статусе Managed GDC Provider. Облако можно развернуть либо на собственном on-premise оборудовании клиентов, либо воспользоваться уже развёрнутой платформой на базе дата-центра Gulf.

При этом сама Gulf намерена вместе с партнёрами инвестировать ฿10 млрд ($271 млн) в развитие кампуса ЦОД в пригороде Бангкока, передаёт Bloomberg. Это позволит удвоить ёмкость, увеличив её с 25 до 50 МВт. Работы планируется завершить к марту следующего года.

Как сообщается, успешное освоение GDC в Таиланде является «стратегическим императивом». Внедрение сервисов суверенного ИИ-облака среди регулируемых государством отраслей не только будет способствовать цифровой конкурентоспособности страны, но и обеспечит новые источники доходов.

Источник изображения: Mathew Schwartz/unsplash.com

В конце 2023 года Google заключила комплексное соглашение с правительством Таиланда, посвящённое инвестициям в цифровую инфраструктуру страны, а также инициативам по ускорению внедрения ИИ в госсекторе. Соглашение включает планы открытия в стране дата-центра Google, хотя ещё в 2022 году компания сообщала о намерении построить в Бангкоке облачный регион.

Анонсированное в 2021 году решение Google Distributed Cloud позволяет использовать собственное оборудование с применением программных решений Google, обеспечивая высокий уровень безопасности и надёжности. GDC не требует подключения к публичному облаку Google Cloud.

В утекшем внутреннем докладе Google упоминается, что компания намерена занять рынок суверенных облаков в Европе и Азии объёмом $100 млрд. Google уже сотрудничает в аналогичных проектах с T-Systems в Германии, Thales во Франции, а также Proximus и LuxConnect в Бельгии и Люксембурге. Впрочем, похожие облачные предложения уже анонсировали AWS, Microsoft и Oracle.

Государственное объединение научных и прикладных исследований Австралии (CSIRO) сообщило о вводе в эксплуатацию высокопроизводительного вычислительного комплекса Virga. Система, предназначенная для ИИ-задач, ускорит научные открытия, а также поможет развитию промышленности и экономики страны.

Суперкомпьютер располагается в дата-центре Hume компании CDC в Канберре. Его созданием занималась компания Dell: в основу положены серверы PowerEdge XE9640, оснащённые двумя процессорами Intel Xeon Sapphire Rapids 8452Y (36C/72T, 2,0/3,2 ГГц, 300 Вт), до 512 Гбайт RAM и четырьмя 61,44-Тбайт NVMe SSD. Задействованы ИИ-ускорители NVIDIA H100 с 96 Гбайт памяти HBM3 — всего 448 шт. Система занимает 14 стоек, а в качестве интерконнекта используется Infiniband NDR.

Dell заключила контракт на создание Virga в 2023 году: сумма изначально составляла $9,65 млн, однако фактическое строительство комплекса обошлось в $10,85 млн. Новый суперкомпьютер придёт на смену НРС-системе CSIRO предыдущего поколения под названием Bracewell, но унаследует от неё BeeGFS-хранилище, также построенное на оборудовании Dell. В нынешнем рейтинге TOP500 машина занимает 72 место с пиковой и практической FP64-производительностью 18,46 Пфлопс и 14,94 Пфлопс соответственно.

Комплекс Virga получил своё имя в честь метеорологического эффекта «вирга» — это дождь, который испаряется, не достигая земли: видеть его можно в виде полос, выходящих из-под облаков. Систему Virga планируется использовать для таких задач, как прогнозирование пожаров, разработка вакцин нового поколения, проектирование гибких солнечных панелей, анализ медицинских изображений и пр.

Источник изображения: CSIRO

Пока подробные технические характеристики Virga и показатели быстродействия не раскрываются. Отмечается лишь, что в составе комплекса применена гибридная система прямого жидкостного охлаждения. Говорится также, что CDC оперирует двумя кампусами дата-центров Hume. Площадка Hume Campus One объединяет три ЦОД и имеет мощность 21 МВт, тогда как в состав Hume Campus Two входят два объекта суммарной мощностью 51 МВт.

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

Облачная платформа Amazon Web Services (AWS) готовит ИИ-ускоритель нового поколения — изделие Trainium 3. Завесу тайны над этим решением, как сообщает ресурс Fierce Networks, приоткрыл вице-президент компании по инфраструктурным услугам Прасад Кальянараман (Prasad Kalyanaraman).

Оригинальный ускоритель AWS Trainium дебютировал в конце 2021 года. Его производительность — 3,4 Пфлопс на вычислениях малой точности и до 840 Тфлопс в FP32-расчётах. В ноябре 2023-го было представлено решение AWS Trainium 2, которое, как утверждается, вчетверо производительнее первой версии. Теперь AWS готовит изделие третьего поколения.

Кальянараман намекнул, что энергопотребление Trainium 3 достигнет 1000 Вт или более. Он не стал называть конкретные цифры, но сказал, что для ускорителя планируется применение СЖО. «Текущее поколение ускорителей не требует СЖО, но следующему она понадобится. Когда мощность чипа превышает 1000 Вт, ему необходимо жидкостное охлаждение», — отметил Кальянараман.

Источник изображения: AWS

В настоящее время единственными ИИ-изделиями, показатель TDP которых достигает 1000 Вт, являются ускорители NVIDIA Blackwell. Вместе с тем, по имеющимся сведениям, Intel разрабатывает устройство в соответствующей категории с энергопотреблением на уровне 1500 Вт.

На текущий момент почти все дата-центры AWS используют технологию воздушного охлаждения. Но Кальянараман сказал, что компания рассматривает возможность внедрения технологии однофазной СЖО (а не иммерсионного охлаждения) для поддержки ресурсоёмких рабочих нагрузок. К внедрению СЖО вынужденно пришли и Meta✴ с Microsoft — компании используют гибридный подход с водоблоками на чипах и теплообменниками на дверях стойки или же в составе отдельной стойки.

Кроме того, отметил Кальянараман, AWS стремится к дальнейшей оптимизации своих ЦОД путём «стратегического позиционирования стоек» и модернизации сетевой архитектуры. Речь идёт о применении коммутаторов следующего поколения с пропускной способностью до 51,2 Тбит/с, а также оптических компонентов.

Компания OpenAI, по сообщению ресурса Datacenter Dynamics, наняла еще одного бывшего сотрудника Tesla и Google для развития своей вычислительной инфраструктуры. Несмотря на использование облака Microsoft Azure, OpenAI развивает собственное направление ЦОД, в связи с чем расширяет штат специалистов в соответствующей области.

В OpenAI перешел Реза Хиабани (Reza Khiabani), который ранее в течение почти двух лет работал в Tesla в качестве инженера-теплотехника. Он, в частности, помогал в создании системы охлаждения для ИИ-суперкомпьютера Dojo, для которого планируется построить специальный дата-центр. Однако с реализацией проекта возникли сложности.

До прихода в Tesla Хиабани проработал почти девять лет в Google, из которых основную часть времени выполнял обязанности технического менеджера, архитектора тепловых систем и технического руководителя команды по разработке СЖО для ИИ-ускорителей семейства Cloud TPU. Он курировал проектирование ЦОД, тепловой дизайн TPU и «разработку машстабных систем жидкостного охлаждения».

Источник изображения: Google

В OpenAI Хиабани войдёт в техническую команду. Чем именно ему предстоит заниматься, не уточняется. Но можно предположить, что его работа снова будет связана с решениями СЖО для дата-центров, ориентированных на ресурсоёмкие приложения ИИ.

OpenAI активно нанимает бывших специалистов Tesla и Google. В частности, ранее ИИ-компания назначила бывшего руководителя Google TPU Ричарда Хо (Richard Ho) главой отдела аппаратного обеспечения. В OpenAI также перешли ветеран Google Тодд Андервуд (Todd Underwood) и старший инженер-программист команды Tesla Dojo Клайв Чан (Clive Chan).

Компания InspireSemi объявила о разработке чипа Thunderbird на открытой архитектуре RISC-V для ИИ-нагрузок. Это изделие легло в основу специализированной карты расширения с интерфейсом PCIe, которая, как утверждается, подходит для решения широкого спектра задач.

Чип Thunderbird содержит 1536 кастомизированных 64-битных суперскалярных ядер RISC-V, а также высокопроизводительную память SRAM. Говорится о наличии ячеистой сети с малой задержкой для меж- и внутричиповых соединений. Кроме того, предусмотрены блоки ускорения определённых алгоритмов шифрования.

Источник изображения: InspireSemi

Идея заключается в том, чтобы объединить универсальность и возможности программирования традиционных CPU с высокой степенью параллелизма GPU. Изделие ориентировано на НРС-приложения, но при этом поддерживает исполнение программ общего назначения. InspireSemi называет новинку «суперкомпьютерным кластером на кристалле». Точно так же назвала свои ИИ-ускорители Esperanto Technologies. Именно её чипы ET-SoC-1, по-видимому, впервые объединили более 1 тыс. ядер RISC-V. Впрочем, сама Esperanto позиционировала их как гибкие и энергоэффективные решения для инференса.

В случае Thunderbird четыре могут быть объединены на одной карте PCIe, что в сумме даёт 6144 ядра RISC-V. Более того, заявлена возможность масштабирования до 256 чипов, связанных с помощью высокоскоростных трансиверов. Таким образом, количество ядер может быть доведено до 393 216.

Чип обеспечивает производительность до 24 Тфлопс (FP64) при энергетической эффективность 50 Гфлопс/Вт. Для сравнения: NVIDIA A100 обладает быстродействием 19,5 Тфлопс (FP64), а NVIDIA H100 — 67 Тфлопс (FP64). Суперскалярные ядра поддерживают векторные и тензорные операции и форматы данных с плавающей запятой смешанной точности. Однако о совместимости с Linux ничего не говорится. Среди возможных областей применения названы ИИ, НРС, графовый анализ, блокчейн, вычислительная гидродинамика, сложное моделирование в области энергетики, изменений климата и пр.