С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

Кампус ЦОД ёмкостью 386 МВт и стоимостью около £3 млрд ($3,8 млрд), строительство которого планируется в графстве Линкольншир (Великобритания), должен стать источником тепла для не только для районной системы отопления, но и для подсобного тепличного хозяйства, передаёт Datacenter Dynamics.

Согласно заявке, строительство кампуса Humber Tech Park предполагается в поселении Южный Киллингхолм. Компания намерена получить разрешение на строительство объекта из трёх зданий общей площадью 278 тыс. м². ЦОД подойдёт для размещения ИИ-систем, хотя о том, какое именно оборудование будет использовано, пока не сообщается. На территории кампуса будет построена и новая электроподстанция для обеспечения потребностей оборудования и инфраструктуры в энергии.

Источник изображения: Markus Spiske/unsplash.com

Проект предполагает несколько вариантов утилизации «мусорного» тепла для повышения экологичности. Предложено уже традиционное подключение к локальной отопительной системе. Но план предусматривает и постройку комплекса теплиц площадью 27 тыс. м² для выращивания помидор. Ожидается, что подсобное хозяйство будет приносить до £3,5 млн ($4,43 млн) ежегодно. Тепло ЦОД в последние годы часто применяется для выращивания водорослей, овощей и рыбы, поэтому британский проект стал лишь одним из многих подобного типа.

Подводным ЦОД ещё предстоит отвоевать свою нишу на рынке дата-центров, но они уже, похоже, оказались уязвимыми для акустических атак. По данным The Register, учёные Университета Флориды и японского Университета электрокоммуникаций выяснили, каким способам можно нанести чувствительные удары таким ЦОД, даже не прибегая к глубинным бомбам или торпедам.

Участниками рынка заявляется, что подводные и, в частности, глубоководные ЦОД используют окружающую воду для охлаждения и защиты от внешних воздействий — Microsoft экспериментирует с ними в рамках инициативы Project Natick, компания Subsea Cloud уже предлагает коммерческие решения, а китайская Highlander и вовсе намерена сделать такие объекты массовыми.

Источник изображения: Biorock Indonesia/unsplash.com

Однако, как выяснилось, что с расстояния до 6 м по таким ЦОД можно наносить акустические удары, влияющие на жёсткие диски в составе RAID-массивов. Исследователи моделировали ситуации с воздействием атак как на системы только с HDD, так и на гибридные платформы, сочетающие SSD и HDD. Добившись резонанса, можно нарушить работу головок чтения-записи и пластин дисков, вызывая вибрации, разрушительный эффект которых повышается с ростом интенсивности звуков.

Источник изображения: arxiv.org

Для эксперимента сервер Supermicro CSE-823 с RAID5-массивом из SATA-накопителей Seagate Exos 7E2, дополненным SSD Inte D3-S4510, помещали в металлические контейнеры в лаборатории и открытых водоёмах, в частности — в озере при кампусе Университета Флориды. Звук генерировали с помощью подводного динамика. Выяснилось, что пропускная способность RAID-массива падала при воздействии звуком с некоторыми частотами, например, речь шла о 2, 3,7, 5,1–5,3 и 8,9 кГц. Нарушения в работе ФС наблюдались уже после 2,4 мин. устойчивого акустического воздействия, это приводило к росту задержек доступа к базе данных на 92,7 %. В экстремальном случае некоторые жёсткие диски полностью выходили из строя.

Атаки можно выполнять с помощью модулей, подключаемых к лодкам или подводным аппаратам. Кроме того, подводные ЦОД могут пострадать и от случайных воздействий. По словам одного из экспертов, океан полон звуков. Для нейтрализации подобных угроз есть несколько методов, включая, например, использование звукопоглощающих материалов, которые, правда, негативно влияют на температуру системы. Кроме того, такую защиту можно одолеть, просто увеличив «громкость». Впрочем, некоторые результаты даёт использование машинного обучения для распознавания нетипичного поведения накопителей и оперативного переноса нагрузок на другие узлы.

Печальная участь постигла уже не первый завод по выпуску LCD-панелей, имеющий отношение к Foxconn. Datacenter Dynamics сообщает, что расположенное в Осаке (Япония) предприятие Sakai Display Product Corp. (SDP) превратят в дата-центр, т.е. в каком-то смысле повторит судьбу завода Foxconn в США.

Председатель Foxconn Янг Лю (Young Liu) подтвердил трансформацию завода в дата-центр, хотя его характеристики и время реализации проекта пока не разглашаются. Формально Foxconn (Hon Hai Precision Industry Co.) не является владельцем завода напрямую, зато тайваньский бизнес является ключевым инвестором SDP и её «родительской» компании Sharp. По словам председателя Foxconn, подобное решением станет более эффективным способом использования активов Sharp.

Источник изображения: UX Indonesia/unsplash.com

Строительство завода по выпуску LCD началось в ноябре 2007 года, а в эксплуатацию объект площадью 1,27 млн м² Sharp ввела в 2009 году. Подразделение SDP, занимавшееся непосредственно производством, ожидало убытки на фоне усилившейся ценовой конкуренции на рынке LCD-панелей. Слухи о том, что предприятие Sakai может закрыться, впервые появились ещё в марте 2024 года.

По данным СМИ, Sharp закроет завод уже в сентябре, не сумев обеспечить спрос заводу, некогда называвшемуся компанией крупнейшим предприятием по выпуску LCD-панелей. Ранее Sharp попыталась желающих купить площадку среди компаний, занимающиеся выпуском полупроводников, но, похоже, не преуспела в этом.

C 2020 года Microsoft увеличила выбросы углекислого газа приблизительно на 30 %, передаёт The Register. Из-за этого ранее заявленная цель достижения углеродно-отрицательного баланса компанией к 2030 году стала ещё более труднодостижимой, а виной тому, судя по всему, широкое внедрение ИИ-систем.

Как сообщается в докладе 2024 Environmental Sustainability Report, который посвящён статистике 2023 фискального года, закончившегося 30 июня прошлого календарного, с 2020 года выбросы CO2 взлетели на 29,1 %. В основном из-за непрямых выбросов Scope 3, связанных со строительством и снабжением всё большего числа ЦОД. В указанный период Microsoft начала наращивать поддержку ИИ после взрывного роста интереса к теме с дебютом ChatGPT компании OpenAI.

Источник изображения: Marcin Jozwiak/unsplash.com

В докладе компания констатирует, что ИИ требует модернизации инфраструктуры — повышения эффективности ЦОД и систем передачи энергии для того, чтобы добиться углеродной нейтральности. По имеющимся данным, некоторые крупные поставщики товаров и услуг для Microsoft будут обязаны перейти на 100 % безуглеродную энергетику к 2030 году. Во всяком случае, эти требования будут входить в документ Supplier Code of Conduct с 2025 фискального года. Сама компания к текущему моменту заключила договоры на поставку 19,8 ГВт из «зелёных» источников.

На Scope 3 приходится более 96 % всех выбросов Microsoft, включая те, что касаются работы цепочек поставок, а также выбросов, связанных с жизненным циклом устройств и прочими непрямыми источниками. «Собственные» выбросы (Scope 1 и 2) компании снизились на 6 % с 2020 года, благодаря закупкам чистой энергии, участии во всевозможных «зелёных» программах и покупке сертификатов на возобновляемую энергию.

Источник изображения: Microsoft

В Microsoft утверждают, что использование возможности перевода серверов в режим низкого энергопотребления уже обеспечило сокращение использования энергии приблизительно на 25 %. Соответствующие энергосберегающие технологии опробовали в 2022 году на нескольких тысячах серверов, а к концу 2023 года речь шла уже приблизительно о миллионе серверов. Ожидается, что 90 % серверов и иного облачного оборудования компании будут перерабатываться и использоваться повторно к 2025 году.

Новые ЦОД Microsoft разработаны и оптимизированы для поддержки ИИ-вычислений и не будут потреблять воду для охлаждения вообще. Впрочем, в докладе признаётся, что за 2023 финансовый год потребление воды даже выросло, с 6,4 млн м³ годом ранее до 7,8 млн м³. При этом в 2022 фискальном году рост водопотребления тоже составил 34 % год к году. Microsoft уже увеличила инвестиции в программы защиты водных ресурсов, направив ещё $16 млн в 49 проектов их восполнения по всему миру. Речь потенциально идёт о возвращении 62 млн м³ чистой воды, но эффект от таких проектов часто становится хоть как-то заметен лишь спустя годы после старта.

Источник изображения: Microsoft

Президент компании Брэд Смит (Brad Smith) уже заявил, что вред природе, наносимый из-за ИИ, будет с избытком компенсироваться преимуществами использования подобных систем — замедлять внедрение ИИ не стоит в любом случае, только надо делать подобные системы более «зелёными». Microsoft намерена утроить скорость строительства дополнительных ЦОД в I половине фискального 2025 года.

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

В последние годы гиперскейлеры Юго-Восточной Азии столкнулись с многочисленными проблемами, от дефицита специалистов до высоких цен на недвижимость и др. Но, как сообщает The Register, сегодня это мелочи в сравнении с главным вызовом — проблемой получения достаточного количества электроэнергии, которой не хватает и в США с Европой, и спросом, диктующим место строительства.

По словам главы BDx Data Centers Майянка Шриваставы (Mayank Srivastava), в странах Азиатско-Тихоокеанского региона уже ожидается скорая нехватка энергомощностей. В своём докладе на мероприятии DataCloud APAC 2024 в Сингапуре он заявил, что для обеспечения энергетической безопасности стране требуется 12 % избыточных мощностей. По данным Международного энергетического агентства (IEA), в Индонезии, Малайзии и на Филиппинах, а также в Японии избыточные мощности оцениваются в 5–12 %, а в материковом Китае, Южной Корее, Сингапуре, на Тайване и в Гонконге эти показатели ещё хуже.

Источник изображения: aboodi vesakaran/unsplash.com

Шривастава назвал дефицит «пугающей ситуацией», отметив, что ввод в эксплуатацию новых ЦОД в Сингапуре может привести к нестабильности энергосети. Его позицию поддержал и представитель STT GDC, заявив, что ещё десять лет назад компания рассчитывала на трёхмегаваттные контракты, но теперь речь в норме идёт о 10–15 МВт и более. В целом же потребность в энергии создаёт ситуацию, в которой приходится соблюдать баланс ряда факторов — от наличия специалистов до наличия свободных площадей для строительства ЦОД вблизи источника энергии, играют роль и другие аспекты бизнеса.

Но в целом местоположение нового дата-центра определяет именно спрос в конкретном регионе — часто приходится не принимать в расчёт даже стоимость проекта и доступность энергии. Если источника энергии нет, приходится искать и необычные решения, вроде генерации на территории самого кампуса. Другими словами, индустрия ЦОД становится всё более рискованным бизнесом, поскольку приходится строить инфраструктуру даже в регионах с высокой вероятностью стихийных бедствий вроде землетрясений и тайфунов.

С учётом необходимости увеличивать ёмкость ЦОД, отраслевые эксперты свидетельствуют, что бизнесу придётся рисковать — если пять лет назад строительство плавучих ЦОД было практически немыслимым, то теперь таких проектов довольно много. Технологии меняются, так что теперь дата-центры появляются там, где представить их раньше было бы невозможно. При этом азиатский рынок ЦОД становится всё привлекательнее для инвесторов.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна нова система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Согласно прогнозам правительства Японии, в стране придётся производить на 35 % или даже 50 % больше энергии к 2050 году. По данным Reuters, это связано с растущим спросом на электричество со стороны заводов по выпуску полупроводников и ростом числа дата-центров, занятых ИИ-вычислениями.

Если в текущем десятилетии ожидается энергогенерация на уровне 1 трлн кВт∙ч, то в 2050 году речь будет идти уже о 1,35-1,5 трлн кВт∙ч. Как сообщили в правительстве страны в понедельник, это будет необходимо для того, чтобы удовлетворить спрос, поскольку Япония строит всё больше дата-центров, заводов по выпуску чипов и прочих предприятий, потребляющих электроэнергию в больших объёмах.

Власти отмечают, что столь заметный рост спроса на энергию ожидается впервые за 20 лет, что потребует крупномасштабных вложений в создание генерирующих мощностей. Кроме того, предполагается, что если объёмы генерации возобновляемой энергии не увеличатся, о стабильных поставках энергии не может быть и речи, поскольку сейчас Япония сильно зависит от углеводородов с Ближнего Востока.

Источник изображения: Tianshu Liu/unsplash.com

Поэтому уже разрабатывается обновлённая стратегия декарбонизации и промышленной политики до 2040 года. В частности, в прошлом году принят закон об инвестициях в декарбонизацию более ¥150 трлн ($962 млн) в течение 10 лет в частном и государственном секторах. Для того, чтобы удовлетворить спрос в возобновляемой энергии, в Японии планируют применять современные перовскитные солнечные элементы, плавучие оффшорные ветроэлектростанции, возобновить работу АЭС и представить реакторы нового поколения.

В стране наблюдается дефицит собственных природных ресурсов — она практически полностью зависит от импорта энергоносителей. При этом уже к 2030 году планируется снизить углеродные выбросы на 46 % в сравнении с 2013 годом, а полной «углеродной нейтральности» достичь к 2050 году. Пока же Япония считается пятой страной мира по объёмам выбросов углекислого газа.

С учётом своих планов она пересмотрела решение о фактически полном отказе от АЭС — с учётом высоких цен на нефть и газ, было решено возобновить работу некоторых реакторов, включая крупнейшую в стране АЭС Kashiwasaki Kariwa на 8,2 ГВт. При этом Япония в формате G7 подписала запрет на использование угольных ТЭС до 2035 года, но, похоже, временно не станет его придерживаться наряду с Германией — из-за зависимости этих стран от стабильной угольной энергетики при отсутствии сопоставимых альтернатив.

Microsoft планирует инвестировать €4 млрд ($4,31 млрд) на создание инфраструктуры ЦОД во Франции и заключение соглашений о покупке «зелёной» энергии (PPA). Планы по развитию бизнеса в стране имеет и основной конкурент в лице Amazon.

Новый ЦОД Microsoft построят близ города Мюлуз (Mulhouse) на востоке Франции, а уже существующие площадки в Париже и Марселе IT-гигант намерен расширить. Реализацию нового проекта анонсировали 13 мая на инвестиционном саммите Choose France, проводимом главой страны Эммануэлем Макроном (Emmanuel Macron). Уже имеющиеся во Франции ЦОД Microsoft открыла в 2017 году. По словам президента Microsoft Брэда Смита (Brad Smith), крупные инвестиции демонстрируют приверженность компании к поддержке цифровых инноваций и экономического развития Франции.

Компания строит в стране передовую облачную и ИИ-инфраструктуру, а к 2027 году намерена обучить работе с ИИ 1 млн человек и поддержать 2,5 тыс. местных ИИ-стартапов. Реализация нового плана предполагает поставку более 25 тыс. самых современных ИИ-ускорителей к концу 2025 года. При этом не сообщается, какое оборудование будет закупаться. На фоне планов Microsoft иметь к концу 2024 года 1,8 млн ускорителей — это просто капля в море.

Источник изображения: Microsoft

Ранее появлялась информация о намерении превратить в ЦОД бывший автозавод в Ренне на западе страны, но ничего подобного в ходе последнего анонса не упоминалось. Также Microsoft упомянула о покупке PPA, но о сертификатах на какую именно возобновляемую энергию шла речь, не сказала. По данным компании, к концу 2024 года она оплатит экоустойчивые энергопроекты во Франции приблизительно на 100 МВт. Ранее уже появлялась информация, что облачный бизнес Microsoft ищет людей для расширения присутствия в Европе, Африке и на Ближнем Востоке, с поиском свободных площадок для новых ЦОД.

Microsoft — не единственный гиперскейлер, желающий активно развиваться во Франции. Amazon также планирует инвестировать в цифровую инфраструктуру страны — компания готова выделить €1,2 млрд ($1,29 млрд) и обещает создать 3 тыс. рабочих мест. Деньги в основном пойдут на облачные проекты во Франции, связанные с ИИ-решениями, а также логистические сервисы для системы доставок Amazon.

По информации компании, речь идёт о развитии облачной инфраструктуры в Париже — рабочие места будут создаваться дополнительно к тем 2 тыс., которые компания уже обещала обеспечить во Франции в 2024 году. Текущие вливания являются частью инвестицонного плана объёмом €6 млрд, который Amazon реализует в 2017–2031 гг.