В прошлом месяце компания Google анонсировала долгожданный серверный CPU на архитектуре Arm. Впрочем, как сообщает The Register, она уже оказалась третьей на рынке процессоров для ЦОД (сюда входят не только CPU, но и GPU, TPU и иные ускорители). Согласно отчёту TechInsights, компания теперь уступает только NVIDIA и Intel и давно обогнала AMD.

Источник изображения: Google

Как и другие крупные облачные операторы, IT-гигант выпускает собственные чипы TPU, шестое поколение которых было представлено на прошлой неделе. Хотя на сторону их не продают, компания заказывает огромные партии TPU для оснащения собственных ЦОД — только в прошлом году речь шла о 2 млн штук. Ключевым партнёром Google в создании кастомного «кремния» является Broadcom.

Поставки TPU нарастают с каждым поколением, следуя за ростом самой компании. После премьеры TPU v4 в 2021 году в связи с развитием больших языковых моделей (LLM) объём полупроводникового бизнеса Google значительно вырос. TPU применяются компанией для внутренних задач, а ускорители NVIDIA — для облака. В TechInsights считают, что на сегодняшний день у Google имеется крупнейшая в отрасли база установленных ИИ-ускорителей и самая масштабная ИИ-инфраструктура.

Источник изображения: TechInsights

В прошлом году на серверным рынке произошла «масштабная коррекция запасов» — гиперскейлеры увеличили срок службы оборудования, отложив замену серверов общего назначения и повысив капитальные затраты на ИИ-серверы и ускорители NVIDIA. Аналитики Omdia говорят о таких тенденциях на рынке что в прошлом, что в начале этого года. В TechInsights считают, что по итогам I квартала 2024 года Google сможет догнать или даже перегнать Intel по доле на этом рынке.

Конечно, Google — не единственная облачная компания, разрабатывающая собственные чипы. Microsoft работает над серверным CPU Azure Cobalt и ИИ-ускорителями Maia 100. AWS и вовсе годами использует собственные Arm-процессоры Graviton и ИИ-ускорители серий Trainium и Inferentia. В прошлогоднем докладе Bernstein Research сообщалось, что архитектуру Arm используют уже около 10 % серверов по всему миру, а более 50 % из них внедряется AWS. Softbank в начале 2023 года говорила о том, что Arm захватила 5 % облачного рынка.

Источник изображения: TechInsights

Впрочем, с появлением процессоров TPU V5e и TPU V5p решения Google будут использоваться всё шире из-за «взрывного роста» больших языковых моделей вроде Gemini. В 2024 году у Google появится Arm-процессор Axion. И его внедрение, по мнению TechInsights, будет происходить намного быстрее, чем Graviton, поскольку у Google уже имеется программная инфраструктура для такого чипа. Всё это необходимо компании, чтобы идти в ногу с AWS, Microsoft и, в меньшей степени, Alibaba. При этом в докладе упоминается, что рынок полупроводников для ЦОД быстро меняется — раньше на нём доминировала Intel с архитектурой x86. Теперь его структура определяется потребностями ИИ-систем.

По данным Bloomberg, Google намерена потратить на расширение основного дата-центра в Финляндии €1 млрд ($1,1 млрд) — преимуществом ЦОД является его лёгкий доступ к «зелёной» энергии. Расширение позволит на четверть увеличить штат, наняв ещё 500 человек в этом и следующем годах.

ЦОД расположен в городе Хамина на южном побережье Финляндии. В регионе хорошо налажены поставки возобновляемой энергии, что вполне соответствует цели компании по полному переходу офисов и дата-центров на «зелёную» энергетику до конца текущего десятилетия.

IT-гигант развивает и сотрудничество с местной коммунальной компанией — тепло от работы ЦОД будет передаваться в местную систему отопления. Технология районного центрального отопления весьма популярна в этой части севера Европы. Если проект успешно реализуют, это будет способствовать и будущим инвестициям. По словам представителя Google, со временем новые площадки, возможно, будут строиться в местах, где легче использовать «мусорное» тепло дата-центров. В ходе пилотного проекта тепло коммунальной компании Haminan Energia Oy будет поставляться бесплатно.

Источник изображения: rivage/unsplash.com

Google — не первая технологическая компания, предлагающая тепло своих ЦОД местным поставщикам тепла в северных широтах. Например, Microsoft намерена обогреть теплом ЦОД в Дании до 6 тыс. домов. С той же целью тепло нескольких ЦОД применяется и в Стокгольме. При этом финский дата-центр Yandex почти восемь лет назад начал отапливать дома жителей Мянтсяля.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

Кампус ЦОД ёмкостью 386 МВт и стоимостью около £3 млрд ($3,8 млрд), строительство которого планируется в графстве Линкольншир (Великобритания), должен стать источником тепла для не только для районной системы отопления, но и для подсобного тепличного хозяйства, передаёт Datacenter Dynamics.

Согласно заявке, строительство кампуса Humber Tech Park предполагается в поселении Южный Киллингхолм. Компания намерена получить разрешение на строительство объекта из трёх зданий общей площадью 278 тыс. м². ЦОД подойдёт для размещения ИИ-систем, хотя о том, какое именно оборудование будет использовано, пока не сообщается. На территории кампуса будет построена и новая электроподстанция для обеспечения потребностей оборудования и инфраструктуры в энергии.

Источник изображения: Markus Spiske/unsplash.com

Проект предполагает несколько вариантов утилизации «мусорного» тепла для повышения экологичности. Предложено уже традиционное подключение к локальной отопительной системе. Но план предусматривает и постройку комплекса теплиц площадью 27 тыс. м² для выращивания помидор. Ожидается, что подсобное хозяйство будет приносить до £3,5 млн ($4,43 млн) ежегодно. Тепло ЦОД в последние годы часто применяется для выращивания водорослей, овощей и рыбы, поэтому британский проект стал лишь одним из многих подобного типа.

Подводным ЦОД ещё предстоит отвоевать свою нишу на рынке дата-центров, но они уже, похоже, оказались уязвимыми для акустических атак. По данным The Register, учёные Университета Флориды и японского Университета электрокоммуникаций выяснили, каким способом можно нанести чувствительные удары таким ЦОД, даже не прибегая к глубинным бомбам или торпедам.

Участниками рынка заявляется, что подводные и, в частности, глубоководные ЦОД используют окружающую воду для охлаждения и защиты от внешних воздействий — Microsoft экспериментирует с ними в рамках инициативы Project Natick, компания Subsea Cloud уже предлагает коммерческие решения, а китайская Highlander и вовсе намерена сделать такие объекты массовыми.

Источник изображения: Biorock Indonesia/unsplash.com

Однако, как выяснилось, что с расстояния до 6 м по таким ЦОД можно наносить акустические удары, влияющие на жёсткие диски в составе RAID-массивов. Исследователи моделировали ситуации с воздействием атак как на системы только с HDD, так и на гибридные платформы, сочетающие SSD и HDD. Добившись резонанса, можно нарушить работу головок чтения-записи и пластин дисков, вызывая вибрации, разрушительный эффект которых повышается с ростом интенсивности звуков.

Источник изображения: arxiv.org

Для эксперимента сервер Supermicro CSE-823 с RAID5-массивом из SATA-накопителей Seagate Exos 7E2, дополненным SSD Intel D3-S4510, помещали в металлические контейнеры в лаборатории и открытых водоёмах, в частности — в озере при кампусе Университета Флориды. Звук генерировали с помощью подводного динамика. Выяснилось, что пропускная способность RAID-массива падала при воздействии звуком с некоторыми частотами, например, речь шла о 2, 3,7, 5,1–5,3 и 8,9 кГц. Нарушения в работе ФС наблюдались уже после 2,4 мин. устойчивого акустического воздействия, это приводило к росту задержек доступа к базе данных на 92,7 %. В экстремальном случае некоторые жёсткие диски полностью выходили из строя.

Атаки можно выполнять с помощью модулей, подключаемых к лодкам или подводным аппаратам. Кроме того, подводные ЦОД могут пострадать и от случайных воздействий. По словам одного из экспертов, океан полон звуков. Для нейтрализации подобных угроз есть несколько методов, включая, например, использование звукопоглощающих материалов, которые, правда, негативно влияют на температуру системы. Кроме того, такую защиту можно одолеть, просто увеличив «громкость». Впрочем, некоторые результаты даёт использование машинного обучения для распознавания нетипичного поведения накопителей и оперативного переноса нагрузок на другие узлы.

Печальная участь постигла уже не первый завод по выпуску LCD-панелей, имеющий отношение к Foxconn. Datacenter Dynamics сообщает, что расположенное в Осаке (Япония) предприятие Sakai Display Product Corp. (SDP) превратят в дата-центр, т.е. в каком-то смысле повторит судьбу завода Foxconn в США.

Председатель Foxconn Янг Лю (Young Liu) подтвердил трансформацию завода в дата-центр, хотя его характеристики и время реализации проекта пока не разглашаются. Формально Foxconn (Hon Hai Precision Industry Co.) не является владельцем завода напрямую, зато тайваньский бизнес является ключевым инвестором SDP и её «родительской» компании Sharp. По словам председателя Foxconn, подобное решением станет более эффективным способом использования активов Sharp.

Источник изображения: UX Indonesia/unsplash.com

Строительство завода по выпуску LCD началось в ноябре 2007 года, а в эксплуатацию объект площадью 1,27 млн м² Sharp ввела в 2009 году. Подразделение SDP, занимавшееся непосредственно производством, ожидало убытки на фоне усилившейся ценовой конкуренции на рынке LCD-панелей. Слухи о том, что предприятие Sakai может закрыться, впервые появились ещё в марте 2024 года.

По данным СМИ, Sharp закроет завод уже в сентябре, не сумев обеспечить спрос заводу, некогда называвшемуся компанией крупнейшим предприятием по выпуску LCD-панелей. Ранее Sharp попыталась желающих купить площадку среди компаний, занимающиеся выпуском полупроводников, но, похоже, не преуспела в этом.

C 2020 года Microsoft увеличила выбросы углекислого газа приблизительно на 30 %, передаёт The Register. Из-за этого ранее заявленная цель достижения углеродно-отрицательного баланса компанией к 2030 году стала ещё более труднодостижимой, а виной тому, судя по всему, широкое внедрение ИИ-систем.

Как сообщается в докладе 2024 Environmental Sustainability Report, который посвящён статистике 2023 фискального года, закончившегося 30 июня прошлого календарного, с 2020 года выбросы CO2 взлетели на 29,1 %. В основном из-за непрямых выбросов Scope 3, связанных со строительством и снабжением всё большего числа ЦОД. В указанный период Microsoft начала наращивать поддержку ИИ после взрывного роста интереса к теме с дебютом ChatGPT компании OpenAI.

Источник изображения: Marcin Jozwiak/unsplash.com

В докладе компания констатирует, что ИИ требует модернизации инфраструктуры — повышения эффективности ЦОД и систем передачи энергии для того, чтобы добиться углеродной нейтральности. По имеющимся данным, некоторые крупные поставщики товаров и услуг для Microsoft будут обязаны перейти на 100 % безуглеродную энергетику к 2030 году. Во всяком случае, эти требования будут входить в документ Supplier Code of Conduct с 2025 фискального года. Сама компания к текущему моменту заключила договоры на поставку 19,8 ГВт из «зелёных» источников.

На Scope 3 приходится более 96 % всех выбросов Microsoft, включая те, что касаются работы цепочек поставок, а также выбросов, связанных с жизненным циклом устройств и прочими непрямыми источниками. «Собственные» выбросы (Scope 1 и 2) компании снизились на 6 % с 2020 года, благодаря закупкам чистой энергии, участии во всевозможных «зелёных» программах и покупке сертификатов на возобновляемую энергию.

Источник изображения: Microsoft

В Microsoft утверждают, что использование возможности перевода серверов в режим низкого энергопотребления уже обеспечило сокращение использования энергии приблизительно на 25 %. Соответствующие энергосберегающие технологии опробовали в 2022 году на нескольких тысячах серверов, а к концу 2023 года речь шла уже приблизительно о миллионе серверов. Ожидается, что 90 % серверов и иного облачного оборудования компании будут перерабатываться и использоваться повторно к 2025 году.

Новые ЦОД Microsoft разработаны и оптимизированы для поддержки ИИ-вычислений и не будут потреблять воду для охлаждения вообще. Впрочем, в докладе признаётся, что за 2023 финансовый год потребление воды даже выросло, с 6,4 млн м³ годом ранее до 7,8 млн м³. При этом в 2022 фискальном году рост водопотребления тоже составил 34 % год к году. Microsoft уже увеличила инвестиции в программы защиты водных ресурсов, направив ещё $16 млн в 49 проектов их восполнения по всему миру. Речь потенциально идёт о возвращении 62 млн м³ чистой воды, но эффект от таких проектов часто становится хоть как-то заметен лишь спустя годы после старта.

Источник изображения: Microsoft

Президент компании Брэд Смит (Brad Smith) уже заявил, что вред природе, наносимый из-за ИИ, будет с избытком компенсироваться преимуществами использования подобных систем — замедлять внедрение ИИ не стоит в любом случае, только надо делать подобные системы более «зелёными». Microsoft намерена утроить скорость строительства дополнительных ЦОД в I половине фискального 2025 года.

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

В последние годы гиперскейлеры Юго-Восточной Азии столкнулись с многочисленными проблемами, от дефицита специалистов до высоких цен на недвижимость и др. Но, как сообщает The Register, сегодня это мелочи в сравнении с главным вызовом — проблемой получения достаточного количества электроэнергии, которой не хватает и в США с Европой, и спросом, диктующим место строительства.

По словам главы BDx Data Centers Майянка Шриваставы (Mayank Srivastava), в странах Азиатско-Тихоокеанского региона уже ожидается скорая нехватка энергомощностей. В своём докладе на мероприятии DataCloud APAC 2024 в Сингапуре он заявил, что для обеспечения энергетической безопасности стране требуется 12 % избыточных мощностей. По данным Международного энергетического агентства (IEA), в Индонезии, Малайзии и на Филиппинах, а также в Японии избыточные мощности оцениваются в 5–12 %, а в материковом Китае, Южной Корее, Сингапуре, на Тайване и в Гонконге эти показатели ещё хуже.

Источник изображения: aboodi vesakaran/unsplash.com

Шривастава назвал дефицит «пугающей ситуацией», отметив, что ввод в эксплуатацию новых ЦОД в Сингапуре может привести к нестабильности энергосети. Его позицию поддержал и представитель STT GDC, заявив, что ещё десять лет назад компания рассчитывала на трёхмегаваттные контракты, но теперь речь в норме идёт о 10–15 МВт и более. В целом же потребность в энергии создаёт ситуацию, в которой приходится соблюдать баланс ряда факторов — от наличия специалистов до наличия свободных площадей для строительства ЦОД вблизи источника энергии, играют роль и другие аспекты бизнеса.

Но в целом местоположение нового дата-центра определяет именно спрос в конкретном регионе — часто приходится не принимать в расчёт даже стоимость проекта и доступность энергии. Если источника энергии нет, приходится искать и необычные решения, вроде генерации на территории самого кампуса. Другими словами, индустрия ЦОД становится всё более рискованным бизнесом, поскольку приходится строить инфраструктуру даже в регионах с высокой вероятностью стихийных бедствий вроде землетрясений и тайфунов.

С учётом необходимости увеличивать ёмкость ЦОД, отраслевые эксперты свидетельствуют, что бизнесу придётся рисковать — если пять лет назад строительство плавучих ЦОД было практически немыслимым, то теперь таких проектов довольно много. Технологии меняются, так что теперь дата-центры появляются там, где представить их раньше было бы невозможно. При этом азиатский рынок ЦОД становится всё привлекательнее для инвесторов.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна новая система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.