10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.

Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Oracle и NVIDIA анонсировали самый крупный на сегодняшний день облачный ИИ-кластер, состоящий из 131 072 ускорителей NVIDIA B200 (Blackwell). По словам компаний, это первая в мире система производительностью 2,4 Зфлопс (FP8). Кластер заработает в I половине 2025 года, но заказы на bare-metal инстансы и OCI Superclaster компания готова принять уже сейчас. Заказчики также смогут выбрать тип подключения: RoCEv2 (ConnectX-7/8) или InfiniBand (Quantum-2).

По словам компании, новый ИИ-кластер вшестеро крупнее тех, что могут предложить AWS, Microsoft Azure и Google Cloud. Кроме того, компания предлагает и другие кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в следующем году обещаны кластеры на основе GB200 NVL72, объединяющие более 100 тыс. ускорителей GB200. В скором времени также появятся и куда более скромные ВМ GPU.A100.1 и GPU.H100.1 с одним ускорителем A100/H100 (80 Гбайт).

Прямо сейчас для заказы доступны инстансы GPU.H200.8, включающие восемь ускорителей H200 (141 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 200G-подключение. Семейство инстансов на базе NVIDIA Blackwell пока включает лишь два варианта. GPU.B200.8 предлагает восемь ускорителей B200 (192 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 400G-подключение. Наконец, GPU.GB200 фактически представляет собой суперускоритель GB200 NVL72 и включает 72 ускорителя B200, 36 Arm-процессоров Grace и локальное NVMe-хранилище ёмкостью 533 Тбайт. Агрегированная скорость сетевого подключения составляет 7,2 Тбит/с.

Источник изображения: Oracle

Для всех новых инстансов Oracle подготовит управляемое Lustre-хранилище с производительностью до 8 Гбит/с на каждый Тбайт. Кроме того, компания предложит расширенные средства мониторинга и управления, помощь в настройке инфраструктуры для достижения желаемого уровня реальной производительности, а также набор оптимизированного ПО для работы с ИИ, в том числе для Arm.

Компания SambaNova Systems объявила о запуске облачного сервиса SambaNova Cloud: утверждается, что на сегодняшний день это самая быстрая в мире платформа для ИИ-инференса. Она ориентирована на работу с большими языковыми моделями Llama 3.1 405B и Llama 3.1 70B, насчитывающими соответственно 405 и 70 млрд параметров.

В основу сервиса положены ИИ-чипы собственной разработки SN40L. Эти изделия состоят из двух крупных чиплетов, оперирующих 520 Мбайт SRAM-кеша, 1,5 Тбайт DDR5 DRAM, а также 64 Гбайт высокоскоростной памяти HBM3. Утверждается, что восьмипроцессорная система на базе SN40L способна запускать и обслуживать ИИ-модели с 5 трлн параметров и глубиной запроса более 256к.

Источник изображения: SambaNova

Платформа SambaNova Cloud, по заявлениям разработчиков, демонстрирует производительность до 132 токенов в секунду при работе с Llama 3.1 405B и до 461 токена в секунду при использовании Llama 3.1 70B. Для сравнения, по оценкам Artificial Analysis, даже самые мощные системы на базе GPU могут обслуживать модель Llama 3.1 405B только со скоростью 72 токена в секунду, а большинство из них намного медленнее. Подчёркивается, что SambaNova Cloud демонстрирует рекордную скорость при сохранении полной 16-битной точности. Однако без компромиссов всё же не обошлось: модель работает не в полном контекстном окне в 128k, а при 8k.

Доступ к SambaNova Cloud предоставляется по трём схемам — Free, Developer и Enterprise. Первая предусматривает бесплатное базовое использование через API. Схема для разработчиков Developer (появится к концу 2024 года) позволяет работать с моделями Llama 3.1 8B, 70B и 405B с более высокими лимитами. Наконец, план Enterprise предлагает корпоративным клиентам возможность масштабирования для поддержки ресурсоёмких рабочих нагрузок.

Ранее Cerebras Systems тоже объявила о запуске «самой мощной в мире» ИИ-платформы для инференса, а Groq ещё в прошлом году говорила о преимуществах своих решений и тоже переключилась на создание облачных сервисов. Впрочем, в бенчмарках MLPerf Inference по-прежнему бессменно лидируют решения NVIDIA.

Amazon Web Services (AWS) объявила о планах инвестировать £8 млрд ($10,45 млрд) в 2024–2028 гг. в расширение своего облачного бизнеса в Великобритании. Компания отметила, что эти инвестиции являются частью её долгосрочных обязательств по поддержке роста и производительности в стране и, по оценкам, добавят £14 млрд в ВВП Великобритании до 2028 года, а также обеспечат в среднем более 14 тыс. рабочих мест на местных предприятиях из цепочки поставок ЦОД AWS.

Amazon запустила свой первый облачный регион AWS в Великобритании в декабре 2016 года. За последние несколько лет компания добавила три зоны доступности (AZ), две зоны WaveLength Zone, две периферийных локации и Regional Edge Cache. За период с 2020 по 2023 год компания инвестировала в страну £3 млрд, обеспечив работой 6 тыс. жителей.

Аналогичные долгосрочные инвестиционные проекты AWS запустила в Германии, Мексике, США, Саудовской Аравии и Сингапуре. AWS, крупнейший в мире поставщик услуг облачных вычислений и хранения данных, стремится с помощью инвестиций укрепить свои позиции на фоне растущей конкуренции со стороны Microsoft, которая наращивает собственную глобальную инфраструктуру.

Источник изображения: AWS

В пресс-релизе AWS отмечено, что инвестиции позволят Великобритании в полной мере воспользоваться растущими преимуществами облачных вычислений и ИИ. Согласно анализу Telecom Advisory Services, общее экономическое влияние облачных вычислений в Великобритании превысило £42 млрд в 2023 году. Это эквивалентно 1,6 % ВВП. И это больше, чем сектор автомобилестроения Великобритании.

Как утверждает компания, облачные вычисления позволили стартапам, малому бизнесу и государственным органам получить доступ к тем же технологиям, которыми пользуются крупнейшие предприятия, и это помогло им быстрее внедрять инновации, сокращать расходы и конкурировать на мировой арене.

Источник изображений: aboutamazon.co.uk

Также AWS приводит результаты исследования независимой консалтинговой компании Public First, в рамках котороо она опросила более 2000 руководителей бизнеса и построила новую экономическую модель связей между цифровыми технологиями и производительностью бизнеса. Согласно опросу Public First, 84 % респондентов, являющихся клиентами AWS, заявили, что в результате инвестирования в облачную инфраструктуру они сэкономили средства, при этом в среднем экономия составила 28 % по сравнению с использованием локальной инфраструктуры.

Респонденты также заявили, что использование AWS сокращает время развертывания нового ПО более чем на четверть (27 %). Кроме того, 82% клиентов AWS считают, что облачные вычисления позволили им вывести свой бизнес на глобальный уровень, а 85 % — облегчило конкуренцию с более крупными компаниями.

Источник изображения: AWS

В свою очередь, ресурс The Register отметил, что инвестиции облачного гиганта вовсе не бескорыстны. В прошлом году AWS увеличила доходы в Великобритании на 30,1 % до £3,78 млрд, а также получила на 76 % больше прямых доходов в государственном секторе от правительства Великобритании в течение предыдущего финансового года. В декабре прошлого года стало известно, что AWS получила контракт на услуги облачного хостинга для Министерства внутренних дел Великобритании на сумму почти полмиллиарда фунтов стерлингов (£450 281 369).

Вместе с тем Amazon подверглась критике за недостаточную прозрачность в отношении налоговых выплат, поскольку доходы AWS UK были представлены как часть бюджета Amazon Web Services EMEA SARL. Газета Guardian сообщила в прошлом году, что материнская компания облачного гиганта Amazon второй год подряд не платила корпоративный налог после получения налоговых льгот на свои инвестиции в инфраструктуру. Также известно, что в Великобритании сейчас проводится антимонопольное расследование по поводу возможного применения AWS антимонопольных практик.

Марк Буст (Mark Boost), генеральный директор британского оператора облачных вычислений Civo, подверг критике инвестиции AWS, заявив: «Дорогая инфраструктура ЦОД и оборудование ИИ <…> не производятся и не продаются британскими компаниями». «Британские новаторы в области ЦОД заслуживают справедливого шанса сыграть свою роль в цифровом будущем страны, без чрезмерной зависимости от гиперскейлеров исключительно из-за масштаба, который они могут предложить», — добавил он.

Компания Google выделит $10 млн стартапу Holocene на захват CO₂ из атмосферы по технологии Direct Air Capture (DAC) с последующей утилизацией. Сделка является рекордно выгодной в индустрии. За захват каждой тонны углекислого газа Google заплатит всего $100. Министерство энергетики США считает, что именно такой уровень цен позволит стать технологии массовой. Правда, как уточняет Datacenter Dynamics, непосредственная реализация проекта должна стартовать в начале 2030-х годов.

Впрочем, столь низкая цена в любом случае была бы невозможной без вмешательства американских властей. Они предоставляют налоговую льготу 45Q, благодаря которой компании, утилизирующие углекислый газ, могут рассчитывать ещё на $180/т.

Источник изображения: Marcin Jozwiak/unsplash.com

Google оплатит авансом, хотя в этом есть некоторый риск. Отсутствует гарантия, что Holocene вообще добьётся своих целей. Так, Running Tide, которой Microsoft заплатила за удаление из атмосферы 12 тыс. тонн CO₂ в 2023 году, в 2024-м прекратила своё существование. В Google заявляют, что немедленная уплата средств позволит добиться амбициозных масштабных целей уже в среднесрочной перспективе.

Источник изображения: Holocene

Holocene пропускает воздух сквозь специальный «водопад» с добавлением аминокислоты, которая связывает CO₂. Полученный состав смешивается с гуанидином для формирования твёрдой кристаллической массы. Потом аминокислота высвобождается и отправляется в начало цикла, а твёрдое вещество слегка нагревается, высвобождая чистый углекислый газ, который можно хранить или использовать по своему усмотрению. Гуанидин также отправляется в начало цикла. В начале 2030-х годов Holocene рассчитывает захватить и хранить 100 тыс. тонн CO₂.

Ранее в этом году Google обещала потратить $35 млн на проекты по захвату углекислоты. Кроме того, компания участвует в инициативе Frontier Climate, предусматривающей покупки «кредитов» на захват CO₂. Стартап 280earth, выросший из проекта Google X, намерен разрабатывать собственные мощности по захвату углекислого газа в Орегоне, вероятно, с использованием тепла дата-центров самой Google.

Компания Zettlab, по сообщению ресурса NAS Compares, анонсировала сетевые хранилища AI NAS D4, D6, D6 Ultra и D8 Ultra с ИИ-возможностями. Устройства ориентированы на профессиональных пользователей и предприятия, которые работают с большими массивами данных или обширными библиотеками мультимедийных материалов.

Все решения выполнены в «настольном» форм-факторе. Они спроектированы с прицелом на интеграцию ИИ-функций, в том числе запуск больших языковых моделей (LLM), без необходимости подключения к интернету или применения сторонних сервисов. Системы Zettlab AI NAS предоставляют инструменты для интеллектуальной обработки данных и управления ими, поиска информации, запросов на естественном языке, и пр.

Модели D4 и D6 рассчитаны соответственно на четыре и шесть накопителей LFF с интерфейсом SATA-3 суммарной вместимостью до 100 и 148 Тбайт. Дополнительно имеется коннектор для M.2 SSD. В устройства установлен процессор Rockchip RK3588 (4 × Cortex-A76, 4 × Cortex-A55, Arm Mali-G610 MP4) с частотой до 2,4 ГГц. В состав чипа входит NPU производительностью до 6 TOPS. Объём оперативной памяти LPDDR4x составляет 16 Гбайт. Есть сетевые порты 2.5GbE и 1GbE, по одному разъёму USB 4 и USB 3.х, два порта USB 2.0.

Источник изображений: Zettlab

Хранилища D6 Ultra и D8 Ultra, в свою очередь, допускают установку шести и восьми накопителей LFF с интерфейсом SATA-3 суммарной ёмкостью до 152 и 200 Тбайт (плюс PCIe SSD). Применён процессор Intel Core Ultra 5 125H (14 ядер; 18 потоков; до 4,5 ГГц) с NPU-блоком (до 34 TOPS). Объём ОЗУ стандарта DDR5 равен 16 Гбайт с возможностью расширения до 96 Гбайт. Предусмотрены два сетевых порта 10GbE, два разъёма USB 4 и порт USB 3.х.

Все новинки располагают информационным дисплеем с диагональю 3,49″ и интерфейсом HDMI с поддержкой 4К-видео. В продажу NAS поступят в конце 2024-го или в начале 2025 года.

Компания SK hynix объявила о разработке высокопроизводительных SSD семейства PEB110, предназначенных для применения в дата-центрах. Утверждается, что эти накопители обеспечивают двукратный рост производительности и более чем 30-% улучшение энергоэффективности по сравнению с изделиями предыдущего поколения.

Новинки, выполненные в форм-факторе E1.S, оснащены интерфейсом PCIe 5.0. Вместимость составляет 2, 4 и 8 Тбайт. Накопители выполнены на основе 238-слойных чипов флеш-памяти 4D NAND. Говорится о поддержке спецификации OCP 2.5. Кроме того, упомянута технология SPDM (Security Protocol and Data Model): она отвечает за безопасную аутентификацию и мониторинг серверов. Прочие технические характеристики пока не раскрываются.

Источник изображения: SK hynix

SSD серии PEB110 ориентированы на работу с ресурсоёмкими ИИ-приложениями. В настоящее время устройства проходят квалификацию у потенциальных заказчиков из числа крупных операторов ЦОД. Массовое производство накопителей планируется организовать во II квартале 2025 года.

«Новый продукт создан на основе лучшей в своём классе памяти 4D NAND, которая может похвастаться самыми высокими в отрасли показателями производительности, качества и стоимости», — говорит Ан Хён (Ahn Hyun), глава подразделения N-S Committee в составе SK hynix.