Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific, Northern Data, Hut 8 и Applied Digital.

Компания Northern Data, деятельность которой связана с майнингом криптовалюты, предоставлением услуг высокопроизводительных вычислений (HPC) и ИИ, обдумывает возможность проведения IPO подразделений Taiga и Ardent, предоставляющих услуги облачных вычислений и ЦОД соответственно, пишет Bloomberg.

По данным источников Bloomberg, IPO может состояться на площадке Nasdaq. В настоящее время компания ведёт переговоры с банками для проведения публичного размещения акций. По оценкам банков, капитализация этих подразделений может составить $10–$16 млрд. Как и многие компании, занимающиеся майнингом криптовалют, Northern Data рассматривает HPC и ИИ как прибыльное дополнение к своей основной деятельности.

В прошлом году Northern Data разделила свой бизнес на три подразделения — Arden, Taiga и Peak Mining, сосредоточив в последнем все операции по майнингу криптовалют. Согласно информации на сайте компании, у неё имеется 11 дата-центров. Peak Mining, американское подразделение компании по майнингу биткоинов, строит и разрабатывает дата-центры суммарной ёмкостью почти 700 МВт, что в случае реализации всех планов сделает его одним из крупнейших майнеров криптовалюты в США.

Taiga уже владеет 24,5 тыс. ускорителей NVIDIA, включая H100, A100 и A6000. Они в основном находятся в трёх ЦОД в Швеции и Норвегии и на 100 % запитаны от «зелёных» источников энергии. В понедельник компания объявила, что первой в Европе приобрела 2 тыс. ускорителей NVIDIA H200, дополненных DPU BlueField-3 и ConnectX-7. Они будут размещены в одном из европейских ЦОД с PUE менее 1,2. Запуск первого кластера намечен на IV квартал, а его производительность составит порядка 32 Пфлопс (точность вычислений не указана). Пиковая теоретическая FP64-производительность такого количества ускорителей H200 составляет 68 Пфлопс.

Источник изображения: Northern Data

В свою очередь Ardent занимается дизайном и строительством высокоплотных ЦОД, ориентированных на HPC- и ИИ-нагрузки. Компания использует СЖО, а заявленный уровень PUE не превышает 1,15. При этом Ardent обещает 100 % доступность своих площадок.

Как сообщается, Northern Data в ноябре получила кредитное финансирование на сумму €575 млн от компании Tether Group, занимающейся стейблкоинами, а в январе завершила приобретение у Tether компании Damoon за €400 млн, рассчитавшись с помощью облигаций, конвертируемых в акции, выпущенные Northern Data AG. В результате Tether стала основным инвестором Northern Data. Полученные средства Northern Data использует для закупок самых востребованных чипов NVIDIA. Благодаря этому к концу лета компанией будет развёрнуто около 20 тыс. NVIDIA H100.

Компания Crusoe Energy, больше всего известная благодаря майнингу криптовалют с помощью попутного газа, начнёт строить стационарные ЦОД. Datacenter Dynamics сообщает, что она намерена воспользоваться ажиотажем вокруг ИИ, построив «гигаватты новых ёмкостей».

Основанная в 2018 году Crusoe запустила сервис с использованием контейнерных ЦОД у нефтяных скважин в США — там факельный газ, обычно сжигаемый при добыче, используется для получения электричества и питания микро-ЦОД. Изначально энергию использовали для майнинга биткоинов, но позже компания стала предлагать облачные HPC- и ИИ-сервисы Crusoe Cloud. Кроме того, с рядом партнёров были заключены сделки на колокейшн-основе, в частности, с atNorth и Digital Realty.

Источник изображения: Danist Soh/unsplash.com

На фоне ИИ-бума Crusoe намерена заняться строительством крупных стационарных дата-центров, в том числе для колокации ИИ-инфраструктуры сторонних клиентов. Компания разработала новую архитектуру ЦОД высокой плотности для размещения максимального количества ускорителей. Дизайн дата-центра ёмкостью 103 МВт включает четыре «крыла» по 25 МВт каждое и позволяет объединить до 100 тыс. ускорителей в рамках одной сетевой фабрики. Дизайн будет оптимизирован для прямого жидкостного охлаждения в сочетении с теплообменниками на дверях стоек. Впрочем, возможно применение и традиционных систем воздушного охлаждения.

В одном из последних отчётов компании говорится, что только треть облака Crusoe Cloud полагается на факельный газ, а остальные мощности расположены в сторонних ЦОД. Суммарная ёмкость площадок Crusoe составляет 200 МВт, но компания намерена освоить приблизительно ещё 4 ГВт. В США у Crusoe есть десятки уже работающих проектов. Компания намерена освоить площадки в Северной Америке и Европе, в дальнейшем рассматриваются Латинская Америка и Ближний Восток, ещё позже — Азия. Сейчас на Crusoe Cloud приходится около половины всей выручки, к концу года этот показатель может вырасти до 70–80 %.

Фото: Crusoe Energy Systems

Crusoe привлекла сотни миллионов долларов, в число инвесторов входят Mubadala and the Oman Investment Authority, Valor Equity Partners, Founders Fund, Bain Capital Ventures, Coinbase Ventures, G2 и др. Готовится очередной раунд финансирования. Компания намерена сделать основной акцент на ИИ-бизнес, поскольку такая возможность «бывает раз в жизни». Но отказываться от криптопроектов она не намерена. В прошлом году Crusoe выделила $200 млн на покупку 20 тыс. ускорителей NVIDIA и объявила о намерении внедрить ИИ-суперкомпьютеры HPE Cray XD. Сегодня Crusoe предлагает ускорители NVIDIA H100, A100, L40S и A40.

Компания также не намерена полностью отказываться от факельного газа в своих проектах. В своих докладах она упоминает, что сейчас ищет новые источники метана вроде свалок. В то же время Crusoe вкладывается в технологии связывания и нейтрализации продуктов горения после сжигания топлива, а также уделяет особое внимание проектам малых модульных реакторов (SMR) с целью ускорить внедрение источников энергии нового поколения.

Облачный провайдер CoreWeave предложил $1 млрд компании Core Scientific, предоставляющей хостинг для HPC-систем и параллельно занимающейся криптомайнингом. Datacenter Dynamics сообщает, что предложение поступило всего через несколько дней после подписания соглашения на аренду 200 МВт в течение 12 лет за $3,5 млрд.

Как сообщают отраслевые источники, речь идёт о покупке компании из расчёта $5,75 за акцию — это несколько меньше биржевой стоимости Core Scientific на момент предложения. Компании сотрудничают уже несколько лет — в Core Scientific говорят об аренде «тысяч ускорителей» с 2019 по 2022 гг. Если соглашение об аренде 200 МВт останется в силе, то последней придётся модифицировать многочисленные площадки для размещения ускорителей NVIDIA, принадлежащих CoreWeave.

Модернизация должна начаться летом 2024 года, а закончить её планируется в первой половине 2025-го. На это потребуется около $300 млн, которые будут получены от платежей CoreWeave за хостинг, но инвестировать можно будет не более половины от ежемесячной платы. Договор с CoreWeave позволяет дважды продлить аренду мощностей сроком на пять лет, в том числе на других площадках Core Scientific.

Предполагается, что сделка с CoreWeave позволит диверсифицировать бизнес и сбалансировать майнинг и хостинг для ИИ-проектов для максимизации прибыли и минимизации рисков. В Core Scientific заявили, что из доступных ей почти 1,2 ГВт мощностей она может выделить до 500 МВТ для HPC/ИИ-хостинга. Часть майнинговых проектов перенесут с одних площадок на другие, компактно высвобождая место для HPC-кластеров.

Источник изображения: Towfiqu barbhuiya/unsplash.com

CoreWeave, основанная в 2017 году, в своё время и сама занималась криптовалютами и блокчейн-технологиями, но впоследствии переключилась на облачные ИИ-платформы. Компания привлекла миллиарды долларов в качестве инвестиций и просто в долг. На сегодня она предлагает сервисы в трёх регионах: US East (Нью-Джерси), US West (Невада) и US Central (Иллинойс). Компания активно арендует мощности и к концу 2023 года намеревалась управлять 14 дата-центрами, а к концу 2024 — 28 ЦОД.

CoreWeave заявила, что потратит $1,6 млрд на постройку ЦОД для ИИ-супероблака, перенесёт часть мощностей в ЦОД Chirisa, арендует дата-центры Flexential и TierPoint в США. В марте этого года CoreWeave арендовала 16 МВт в ЦОД Core Scientific в Остине (Техас). Компания считается крупным клиентом Digital Realty, арендующим стойки для «десятков тысяч» ускорителей в одном из ЦОД на западном побережье США. Недавно компания анонсировала строительство двух ЦОД в Великобритании и присматривается к ЦОД EdgeConneX в Барселоне. Прямым конкурентом компании считается Lambda Labs, масштабы бизнеса которой гораздо скромнее.

Core Scientific тоже основана в 2017 году, но управляет криптомайнинговыми кампусами ЦОД в США. Всего компания располагает 745 МВт доступной энергии и ещё 372 МВт зарезервированной ёмкости. У неё имеется собственное майнинговое оборудование и, конечно, на её мощностях расположено оборудование клиентов. Впрочем, дела Core Scientific идут довольно плохо — в декабре 2022 года она подала заявление о банкротстве, после чего цена её акций упала на 98 %.

UPD 06.06.2024: руководство Core Scientific отказалось от предложения CoreWeave о покупке, отметив, что ведёт переговоры с другими клиентами по поводу предоставления ёмкостей для хостинга HPC- и ИИ-проектов. Компания считает, что для неё это пока более прибыльно, чем продажа. На фоне последних новостей акции компании выросли.

UPD 26.06.2024: CoreWeave подписала с Core Scientific ещё одно соглашение об аренде, на этот раз на 12 лет и 70 МВт.

18 ЦОД закрыты в Швеции местным налоговым ведомством (Skatteverket). По данным Datacenter Dynamics, площадки объявили вне закона после того, как выяснилось, что они скрытно участвуют в майнинге криптовалют, пользуясь налоговыми льготами, предназначенными для обычных дата-центров. Речь идёт об уклонении от уплаты 990 млн шведских крон (около $91 млн), включая НДС и прочие надбавки. Расследование началось ещё в 2020 году.

Налоговое ведомство заявило, что ему трудно быстро определить, с какой целью используется тот или иной дата-центр. Национальная система оценки рисков отмывания денег с 2020 года учитывает криптомайнинг, но местные законы всё ещё не предусматривает ответственности для ЦОД, незаконно занимающихся добычей криптовалют, что позволяет им действовать без надзора со стороны регуляторов. Эксперты считают, что отсутствие контроля позволяет таким дата-центрам проводить незаконные транзакции, избегать уплаты налогов и отмывать деньги.

Источник изображения: Erling Løken Andersen/unsplash.com

По словам шведских налоговиков, у недобросовестных игроков есть стимул скрывать свои операции. Например, компании вроде Datacenter AB и Datorhall AB декларировали, что занимаются графическим дизайном и консалтингом соответственно для того, чтобы избежать уплаты налогов. В обоих случаях выяснилось, что ничего общего с заявленной деятельностью компании не имели. Так, в случае Datorhall AB с майнингом была связана вся инфраструктура компании.

Сначала компании обжаловали решения местных регуляторов, но в итоге суды поддержали государственные органы. Глава Центробанка Швеции выразил озабоченность интеграцией биткоинов в финансовую систему страны. Он опасается спекулятивной природы криптовалют и связанных с криптовалютой потенциальных потерь для инвесторов.

Впрочем, вне закона объявлены не все дата-центры. В 2023 году компания Hive Digital Technologies, продвигающая идею использования для криптомайнинга «зелёной» энергии, приобрела ещё один ЦОД — оператор уже имеет аналогичные площадки в Швеции, Исландии и Канаде. Но не все проявляют подобную толерантность. Соседняя Норвегия недавно анонсировала планы стать первой европейской страной, которая, вероятно, закроет дверь для ЦОД, желающих заниматься майнингом.

Компания «Битривер-Б» (входит в группу BitRiver), резидент территории опережающего развития (ТОР) «Бурятия», намерена ввести в эксплуатацию крупнейший на Дальнем Востоке дата-центр во II половине 2024 года. Ресурсы ЦОД планируется использовать для высокопроизводительных энергоёмких вычислений, таких как майнинг, облачные сервисы и современные цифровые услуги.

Проект реализуется в рамках соглашения с Корпорацией развития Дальнего Востока и Арктики (КРДВ). Строительство дата-центра началось в 2022 году, а объём инвестиций BitRiver на сегодняшний день превысил 1,4 млрд руб. Планируемая мощность ЦОД составляет 100 МВт.

Отмечается, что ЦОД станет якорным предприятием, вокруг которого в Республике Бурятия будет формироваться IT-кластер в соответствии с целями развития цифровой экономики РФ. На площадке будут созданы рабочие места с комфортными условиями труда для 120 высококвалифицированных специалистов. В штат планируется принимать людей с ограниченными возможностями здоровья, а также выпускников местных учебных заведений. Кроме того, оператор ЦОД намерен сотрудничать с вузами и организовывать практику для студентов.

Источник изображения: BitRiver

Выбор ТОР «Бурятия» для строительства дата-центра, как сообщается, не случаен. Действующие здесь налоговые льготы (нулевые налоги на землю и имущество) и административные преференции создают комфортные условия для бизнеса, а также повышают экономическую эффективность проекта. Интерес к будущему ЦОД уже проявили крупные институциональные и частные заказчики из России, СНГ, стран Персидского залива, Китая и других государств БРИКС.

«В настоящее время происходит взаимное проникновение двух сквозных технологий — блокчейна и ИИ. В этом смысле новые центры обработки данных для энергоёмких вычислений служат инфраструктурным заделом для выполнения задачи развития цифровой экономики и ИИ, в частности. Вся сфера высокопроизводительных и энергоёмких вычислений в России, особенно с учётом тенденции повсеместного использования ИИ, к 2035 году может потреблять до нескольких десятков ГВт», — отмечает «Битривер-Б».

Российский бизнес решил воспользоваться преимуществами майнинга на африканском континенте. Как сообщает РБК, отечественная BitСluster намерена открыть здесь ЦОД для майнинга криптовалют.

Как сообщает телеграм-канал Михаила Ляпина, стоимость электроэнергии в стране составляет порядка $0,022/кВт·ч. Генерируется она ГЭС в больших объёмах — якобы намного больших, чем могут освоить местные потребители. По данным РБК, одним из главных источников энергии стала гидроэлектростанция Grand Ethiopian Renaissance Dam на 5,15 ГВт. Утверждается, что это крупнейший гидроэнергетический проект в Африке, который и обеспечит бесперебойный майнинг. По словам главы BitСluster Сергея Арестова, Эфиопия с её энергоресурсами способна стать важным хабом майнинга криптовалют.

Источник изображений: BitCluster/BWP

В частности, ЦОД самой BitCluster ёмкостью 120 МВт в Аддис-Абебе, ввести который в эксплуатацию планируют уже в январе 2024 года, будет занимать площадь порядка 30 тыс. м². Важную роль играет близость подстанции Kilinto. Как сообщают на сайте самой компании, проект имеет и другие преимущества: расположен ЦОД недалеко от международного аэропорта Боле, температура воздуха в регионе составляет комфортные 12–23 °C без жары и пыли, а клиентов защищают два периметра безопасности и прочие системы охраны.

Впрочем, в том же телеграм-канале приводятся и другие данные: с энергетикой в стране всё не так уж радужно в отношении стабильности поставок, реально доступных мощностей и стоимости. Последняя вскоре может быть существенно скорректирована. Кроме того, лицензии здесь выдаются буквально годами, а чиновников, готовых и способных регулировать отрасль просто не хватает. Обстановка в стране оставляет желать лучшего из-за противостояния политических групп, экономика нестабильна, а формирование энергетической инфраструктуры обходится очень дорого.

Хотя многие знают, что на операции с биткоинами тратится очень много электроэнергии, не всем известно, что соответствующая экосистема требует для работы и существенных объёмов воды. Как сообщает The Register, основатель Digiconomist и эксперт Амстердамского свободного университета Алекс де Врис (Alex de Vries) предполагает, что экосистема биткоина только в 2023 году потратит 2237 гигалитров пресной воды (1 гигалитр = 1 млн м³).

В США на добычу этой криптовалюты за год ушло 39–120 гигалитров воды, примерно столько же потребляют 300 тыс. домохозяйств или город размером с Вашингтон. В прошлом году биткоин подешевел, что привело к некоторому спаду использования энергии и воды, но в текущем году его цена снова выросла, а в марте 2023 года потребление энергии взлетело до рекордных значений. По итогам года на биткоин уйдёт 141,9 ТВт·ч, т.е. на треть выше в сравнении с 2021 годом. В 2021 году на биткоины во всём мире было потрачено почти 1600 гигалитров — примерно 16 тыс. литров на каждую транзакцию, т.е. в 6,2 млн раз больше, чем обходится обработки транзакции банковской карты.

Источник: Alex de Vries / Cell.com

По мнению эксперта, способы снизить расход воды и энергии имеются, но, похоже, никто не намерен ими воспользоваться, поскольку биткоин-сообщество весьма консервативно. Переход на более эффективные механизмы, как это произошло с Ethereum, не предвидится. Более того, держатели и майнеры во многом видят залог относительной надёжности и стабильности биткоина в том, что никаких изменений и не будет. Эксперт отмечает, что огромный урон окружающей среде может привести к серьёзным проблемам, особенно на фоне острой нехватки воды в мире.

Например, в Казахстане, ставшем крупной площадкой для майнинга биткоинов после запрета аналогичной деятельности в Китае, нехватка воды приведёт к настоящему кризису. Ожидается, что с учётом климатических изменений дефицит воды в стране к 2030 году составит 75 гигалитров. В 2021 году на майнинг биткоинов в Казахстане ушло около 1 тыс. гигалитров воды. При этом, как утверждает учёный, нет никаких свидетельств того, что тревожные новости вызывают какую-либо озабоченность в биткоин-сообществе. На этом фоне затраты воды на обучение и запуск нейросетей уже не кажутся такими уж большими.

Колокейшн-провайдер Standard Power рассчитывает организовать электропитание новых ЦОД в штатах Огайо и Пенсильвания (США) полностью за счёт миниатюрных реакторов. Как сообщает The Register, специфика работы клиентов компании требует большого количества энергии, которую смогут обеспечить реакторы NuScale.

Standard Power предоставляет колокейшн-сервисы не только клиентам с ИИ/HPC-системами, но и майнинговым компаниям, аппаратная составляющая которых в процессе работы требует бесперебойного энергоснабжения. Хотя идея использования малых реакторов не нова, а сами они применяются ещё с 1950-х годов, например, в подводных лодках, о коммерческом использовании малых модульных реакторов (SMR) заговорили только недавно. Современные технологии, во-первых, позволяют поставить производство таких реакторов на поток и, во-вторых, SMR-энергосистему легко масштабировать, добавляя столько модулей, сколько потребуется.

Источник изображения: NuScale

Поскольку связанные с блокчейн-технологиями вычисления требуют гигантского количества ресурсов, работа над соответствующими проектами уже привела к расследованию проблемы Управлением научно-технической политики Белого дома, а ряд американских законодателей призвал внедрить отчётность и контроль требований к экологической и энергетической безопасности подобных проектов. Поскольку майнеры потребляют очень много электроэнергии, Standard Power решила сыграть на опережение, чтобы заранее обеспечить свои ЦОД электричеством без подключения к магистральным энергосетям.

По имеющимся данным для ЦОД в Огайо и Пенсильвании будут применяться малые модульные реакторы (SMR), способные генерировать 77 МВт каждый, а 24 реактора NuScale совокупно будут отвечать за производство 1848 МВт. Впрочем, до реального внедрения технологии на объектах Standard Power могут пройти годы. По имеющимся данным, среди первых эксплуатантов технологии NuScale будет Национальная лаборатория Айдахо — первый модуль заработает не раньше 2029 года.

Хотя NuScale является первым получателем разрешения регуляторов на коммерческое использование SMR, аналогичными технологиями уже активно занимаются TerraPower, Westinghouse и другие компании. Разумеется, и среди операторов ЦОД к новой технологии, а также к атомной энергетике вообще проявили интерес многие компании. Например, Cumulus Data уже открыла ЦОД рядом с АЭС, а Microsoft ищет топ-менеджера по внедрению SMR.

Компания Nothern Data Group, поставщик HPC-инфраструктуры и специалист в области майнинга криптовалют, провела реструктуризацию. Как сообщает DataCenter Dynamics, теперь деятельность компании поделена между тремя брендами: Taiga Cloud, Ardent Data Centers и Peak Mining. При этом Northern Data Group по-прежнему останется «материнской» компанией, осуществляющей общее управление.

Northern Data Group была основана в 2009 году в Германии под именем Northern Bitcoin AG для «зелёного» майнинга биткоинов. В 2019 году состоялось слияние с Whinstone US, глава которой Аруш Тиллайнатан (Aroosh Thillainathan) стал руководителем новой структуры. В 2020 году её переименовали в Nothern Data Group. Теперь руководством выделенными направлениями займутся три нынешних управляющих директора головной компании, а Тиллайнатан по-прежнему останется генеральным директором.

Карл Хавард (Karl Havard) будет руководить Taiga Cloud — подразделение предложит облычные сервисы для генеративного ИИ, питаемые за счёт «чистой» энергии. Кори Нидлз (Corey Needles) будет руководить Ardent Data Centers, которая займётся строительством и оснащением ЦОД, рассчитанных на HPC-системы будущего с СЖО. Наконец, Peak Mining займётся майнингом биткоинов, компанию возглавит Ник Бьюдекер (Niek Beudeker).

Фото: Nothern Data

По словам Тиллайнатана, сегодня работа ведётся в условиях стремительного роста рынка генеративных ИИ-систем, вызвавших взлёт рост спроса на вычислительные мощности. Запуск трёх отдельных брендов позволит гибко использовать рыночные возможности в каждом из секторов цифровой экономики. Хотя компания Nothern Group по-прежнему уделяет немало внимания майнингу, теперь она активно работает и над решениями для рынка HPC-вычислений в целом.