Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.

Компания Pure Storage, разрабатывающая All-Flash СХД, инвестировала неназванную сумму в стартап Cerabyte, занимающийся созданием систем архивного хранения с использованием керамики. Основатель Pure Storage также получит место в совете директоров Cerabyte. В случае успеха новая технология сможет потеснить ленточные накопители, отгрузки которых в последние годы только растут. Сама Pure Storage тем временем намерена окончательно расправиться с HDD.

Разработка Cerabyte предусматривает использование покрытого тонким слоем керамики стекла или плёнки. Информация записывается на керамический слой в виде «ямок», быстро наносимых на поверхность лазером. Фактически речь идёт о вариации QR-кодов, считывать которые тоже можно с помощью лазера. Накопители можно хранить в роботизированной библиотеке на манер тех, что используются для ленточных накопителей. Но если последние необходимо менять приблизительно каждые десять лет, данные на керамике хранятся практически вечно, говорят создатели. Кроме того, плотность записи выше, чем у LTO.

Источник изображения: Cerabyte via Blocks&Files

Объём стратегических инвестиций не раскрывается, но известно, что в совет директоров Cerabyte войдёт основатель и директор по стратегии (Chief Visionary Officer) Pure Storage Джон Колгроув (John Colgrove). По его словам, партнёрство позволит предложить клиентам экобезопасные и надёжные решения для хранения данных, способные произвести революцию в индустрии. В Cerabyte рассчитывают, что партнёрство обеспечит её технологии коммерческое внедрение. В 2023 году компания начала работу в США и уже открыла офисы в Калифорнии и Колорадо.

Источник изображения: Cerabyte

По мнению экспертов Furthur Market Research, мировой запрос на хранилища зеттабайтного уровня плохо удовлетворяется из-за дороговизны и высокого энергопотребления текущих решений. СХД на основе технологий Cerabyte обеспечат экономически и экологически целесообразные альтернативы LTO для корпоративных клиентов. Фактически новое решение в случае успеха может серьёзно подорвать рынок ленточных накопителей и сопутствующих технологий. Демонстрация полностью готовых продуктов (чтение/запись 1+ Гбайт/с, задержка первого обращения не более 15 с, 10–30 Пбайт на стойку) ожидается приблизительно в 2026 году. Пока что у Cerabyte есть только рабочий прототип.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.

Испанская энергетическая компания Iberdrola сформировала подразделение, отвественное за строительство и развитие ЦОД. Datacenter Dynamics сообщает, что компания считает дата-центры ключевым драйвером развития энергосетей и возобновляемой энергетики. Будущие дата-центры Iberdrola будут подключены к её же энергосетям. Руководство компании уверено, что спрос на ЦОД будет только расти из-за широкого внедрения систем искусственного интеллекта и облачных вычислений.

Iberdola намерена использовать уже имеющиеся связи с компаниями вроде Meta✴, Apple, Microsoft и Amazon (AWS) для того, чтобы получить новые источники спроса. Кроме того, возможно расширение энергосети компании для тех, кто нуждается в новых подключениях. Сегодня у Iberdola уже имеются действующие контракты на поставку 8 ТВт∙ч/год для дата-центров в Испании, США, Великобритании и Германии.

Источник изображения: Iberdrola

По слухам, в этом году компания искала партнёров для создания совместного предприятия для строительства в Испании ЦОД ёмкостью 200 МВт к 2030 году. Долгосрочной целью является создание кампусов ёмкостью 1,2 ГВт, причём Iberdrola рассчитывает в этих проектах на роль миноритарного акционера. В ближайшие годы в Испании ожидаются масштабные инвестиции в дата-центры. Как AWS, так и Microsoft намерены вложить миллиарды долларов в местные облачные мощности и ИИ-инфраструктуру, в первую очередь в Арагоне. Имеет серьёзные планы по развитию бизнеса в стране и Oracle.

Iberdrola уже имеет более 40 тыс. клиентов по всему миру и управляет энергосетями ёмкостью более 60 ГВт. Это один из крупнейших поставщиков возобновляемой энергии — крупнейшие операторы ЦОД заключают с ней соглашения о покупке чистой энергии (PPA). Так, в марте Iberdrola подписала PPA с Amazon. Последняя намеренна получать энергию с оффшорной ветряной электростанции East Anglia Three, расположенной у побережья Великобритании в Северном море. Также компании заключили PPA для объектов в Европе, США и Азиатско-Тихоокеанском регионе. Кроме того, Iberdrola заключила PPA и с Meta✴ (в США).

Компании DapuStor и Marvell объявили о расширении сотрудничества с целью внедрения технологии Flexible Data Placement (FDP) в SSD, построенные на основе чипов памяти QLC и TLC. Применение FDP позволит повысить долговечность, производительность и эффективность накопителей указанных типов.

Отмечается, что устройства QLC SSD обеспечивают значительные преимущества в плане вместимости и совокупной стоимости владения (TCO) по сравнению с другими видами твердотельных накопителей. Однако существуют и проблемы: изделия QLC сталкиваются с меньшим сроком службы и более низкой скоростью записи. Совместное решение DapuStor и Marvell призвано устранить эти недостатки.

Речь идёт об использовании контроллера Marvell Bravera SC5 и специальной прошивки DapuStor FDP. Технология FDP интеллектуально распределяет данные по флеш-памяти QLC, оптимизируя использование доступных ячеек и сводя к минимуму влияние усиления записи (Write Amplification, WA). Особые алгоритмы динамически контролируют размещение информации в зависимости от рабочей нагрузки и моделей использования, гарантируя, что наиболее часто используемые данные хранятся в самых быстрых и надёжных областях памяти. В результате, повышаются производительность и долговечность накопителя.

Источник изображения: DapuStor

Тестирование показало, что алгоритмы FDP вкупе с контроллером Marvell Bravera SC5 и прошивкой DapuStor позволяют получить значение WA, близкое к 1,0. Иными словами, накопитель использует флеш-память NAND максимально эффективно и без потерь. Кроме того, решение DapuStor FDP включают в себя усовершенствованные методы коррекции ошибок и выравнивания износа. Благодаря этому достигается дополнительное увеличение срока службы и улучшение надёжности QLC SSD. Новая технология будет применяться в накопителях DapuStor QLC серии H5000.

Компания iBase Technology представила одноплатный компьютер IB962, предназначенный для построения систем автоматизации, оборудования для ретейл-сферы и здравоохранения, а также периферийных устройств с поддержкой ИИ. В основу новинки положена аппаратная платформа Intel Meteor Lake U/H.

Изделие имеет размеры 102 × 147 мм. В зависимости от модификации устанавливается процессор Core Ultra 7-165H (6P+8E+2LPE; 22 потока; до 5,0 ГГц) или Core Ultra 7-165U (2P+8E+2LPE; 14 потоков; до 4,9 ГГц). В первом случае присутствует графический контроллер Intel Arc, во втором — Intel Graphics Xe. Чипы наделены нейромодулем Intel AI Boost NPU для ускорения выполнения операций, связанных с ИИ.

Источник изображения: iBase

Новинка снабжена двумя слотами SO-DIMM для модулей DDR5-5600 суммарным объёмом до 64 Гбайт. Есть коннекторы M.2 M-Key 2280 для SSD (NVMe; PCIe x4), M.2 E-Key 2230 для адаптера Wi-Fi и M.2 В–Key 3052 для сотового модема 5G/4G. Предусмотрены два порта SATA-3 для накопителей, сетевые контроллеры Intel I226LM 2.5GbE и Intel I226V 2.5GbE, а также I/O-чип Fintek F81804U-I.

Одноплатный компьютер располагает двумя последовательными портами RS232/422/485, двумя гнёздами RJ-45 для сетевых кабелей, тремя портами USB 3.2 Type-A, портом USB 2.0, интерфейсами HDMI, DP++, LVDS и eDP. Возможен одновременный вывод изображения на несколько дисплеев высокого разрешения.

За безопасность отвечает чип TPM. Имеется звуковой кодек ALC888S. Диапазон рабочих температур простирается от 0 до +60 °C. Напряжение питания может варьироваться от 12 до 24 В.

Оператор ЦОД Aruba IT приобрёл и заново запустил микро-ГЭС мощностью 800 кВт неподалёку от Милана — в Меленьяно. Datacenter Dynamics сообщает, что дамба и собственно ГЭС были построены ещё в начале 1900-х годов и были выведены из эксплуатации десятилетия назад прежним владельцем.

В Aruba заявили, что аккуратные реставрационные работы в здании позволили восстановить все электрические, механические и гидравлические системы микро-ГЭС. Она находится в том же районе, где компании принадлежит ещё одна электростанция, купленная в 2020 году. В апреле 2023 года компания приобрела две гидроэлектростанции общей ёмкостью 2 МВт. В конце 2020 года она приобрела 4 микро-ГЭС на 6 МВт, на тот момент она уже управляла одним объектом такого рода. Теперь Aruba управляет восемью малыми ГЭС на разных итальянских реках с установленной мощностью около 10 МВт.

Источник изображения: Montse Monmo/unsplash.com

Кампус Aruba Bergamo, расположенный близ Милана, включает три здания ЦОД. Первое здание площадью 17 600 м² обеспечивает 8000 м² колокейшн-площадей в 10 помещениях и имеет ёмкость 12 МВт. Здания B и C на 9 и 8 МВт соответственно обеспечивают 4950 м² и 5950 м² колокейшн-площадей. Помимо солнечных и гидроэлектрических источников питания, инфраструктура кампуса использует и геотермальные системы. Всего на территории кампуса есть возможности обпеспечения 60 МВт для пяти зданий площадью 200 000 м². Aruba также управляет двумя объектами в Ареццо, ещё один строится в Риме, и один расположен в Чехии.

Олимпиада-2024 в Париже привлекла внимание не только зрелищными выступлениями спорстменов, но и некоторыми удачными технологическими разработками. Datacenter Knowledge сообщает, что значительную роль в этом сыграло решение, позволяющее нагревать бассейны за счёт «мусорного» тепла ЦОД.

Во время любой летней Олимпиады требуются большие энергетические ресурсы для обслуживания бассейнов. На текущей Олимпиаде в Париже главным таким объектом является Paris Olympic Aquatic Centre в Сен-Дени, который уже использует разнообразные экобезопасные решения. Тепло для подогрева воды в бассейнах поступает из открытого в 2023 году парижского ЦОД Equinix PA10. Это уже десятый дата-центр, построенный компанией во французской столице за последние 20 лет.

Источник изображения: Taiki Ishikawa/unsplash.com

Питание PA10 на 100 % компенсируется возобновляемой энергией, а сам он предлагает 5 тыс. м² места для колокейшн-клиентов (2250 серверных шкафов). ЦОД изначально задумывался и строился с прицелом на использование тепла его оборудования. В компании объявили, что бесплатно в течение 15 лет будут поставлять тепло зоне городского развития Plaine Saulnier, а также Olympic Aquatic Centre, где проходят многие олимпийские мероприятия в 2024 году. После окончания Олимпиады объект будет доступен для посещения всеми желающими. Помимо передачи тепла и «восстановления» воды, новый дата-центр имеет на крыше теплицу и улей.

PA10 будет генерировать 10 тыс. МВт∙ч тепла ежегодно, чего достаточно для обогрева более 1 тыс. домохозяйств. Контур внутренней системы охлаждения ЦОД имеет температуру 28 °C круглый год, но перед отдачей тепла наружу тепловые насосы повышают её до 65 °C. Горячая вода через теплообменник отдаётся местному оператору тепловых сетей. Если тепло никуда не передаётся, оно просто выбрасывается в атмосферу, — подчёркивают в компании. PA10 — один из нескольких проектов теплоотдачи, реализуемых Equinix.

Сейчас контракты на поставку тепла заключили три площадки, а первый такой проект был реализован в 2010 году в Хельсинки при сотрудничестве с поставщиком энергии Helen. Ещё один объект расположен в Торонто (Канада), где Equinix поставляет тепло из дата-центра TR5 IBX районной энергетической сети Markham District Energy для обогрева жилых объектов, отелей, больницы и торгового центра. Кроме того, многим местным зданиям поставляется и горячая вода. В компании заявляют, что все её новые ЦОД изначально рассчитаны на экспорт тепла — на пути к «экономике замкнутого цикла».

В целом тепло ЦОД пытаются применять по всему миру, в том числе в бассейнах и других водных объектах — от ближайшей Великобритании до, например, США. В прошлом месяце дело дошло даже до аквапарков — компания Aventuur получила разрешение на реализацию в Новой Зеландии проекта, обеспечивающего круглогодичный доступ к подогретым ближайшим ЦОД волнам.

Сингапурский стартап Sustainable Metal Cloud (SMC), по информации Bloomberg, рассчитывает привлечь почти $1 млрд для создания специализированной облачной платформы для задач ИИ. Речь идёт о системе на основе высокопроизводительных ускорителей NVIDIA.

Фирма SMC основана в 2018 году. Она занимается созданием крупномасштабной инфраструктуры ЦОД: мощности площадки смогут использовать сторонние заказчики для разработки и запуска приложений ИИ.

На сегодняшний день платформа SMC в Сингапуре объединяет приблизительно 1200 ускорителей NVIDIA H100. До конца текущего года их количество планируется довести до 5000. При этом реализована возможность масштабирования до 32 тыс. ускорителей. SMC использует технологию иммерсионного (погружного) охлаждения, которая, как утверждается, позволяет сократить выбросы углекислого газа в атмосферу на 48 % по сравнению с традиционными решениями (при работе с моделями ИИ).

Источник изображения: SMC

Как сообщает Bloomberg, SMC поддерживается сингапурской компанией ST Telemedia Global Data Centers (STT GDC). Говорится, что SMC находится на завершающей стадии осуществления инвестиционного раунда на сумму около $400 млн. Кроме того, компания намерена получить долговое финансирование в размере $550 млн. Таким образом, общая сумма средств, которые рассчитывает привлечь SMC, составляет $950 млн.

Компания SMC создаёт новые облачные регионы в Сингапуре, Индии, Таиланде и Австралии. Оборудование размещается в независимо аккредитованных дата-центрах, что, как утверждается, позволяет формировать высокодоступную и безопасную инфраструктуру.

Компании Kalray и Pliops, по сообщению ресурса Storage Newsletter, подтвердили информацию о слиянии. Объединённая структура, как утверждается, займётся разработкой передовых решений SoC (System-on-Chips) для генеративного ИИ и ускорения обработки данных.

О том, что стартапы Kalray и Pliops ведут переговоры о слиянии, стало известно в июне 2024 года. Kalray проектирует DPU-ускорители на основе чипов с фирменной архитектурой MPPA. В свою очередь, Pliops разрабатывает ускорители Extreme Data Processor (XDP) для различных задач, включая реляционные базы данных, разнородные СУБД NoSQL, платформы 5G и IoT, приложения ИИ и пр.

Источник изображения: Kalray

Объединив технологии Pliops и архитектуру Kalray MPPA, стороны намерены предоставить заказчикам высокопроизводительные SoC для обработки данных в системах ИИ. Слияние будет осуществлено путём обмена ценными бумагами, при этом акционеры Kalray сохранят контрольный пакет. В рамках сделки стороны рассматривают возможность привлечения дополнительных средств из различных источников для ускорения развития. При этом Kalray уже получила финансирование в размере €15 млн в рамках возобновляемого банковского кредита.

«Слияние представляет собой важную стратегическую возможность для обеих компаний. Объединив наши сильные стороны, мы намерены стать мировым лидером в области решений по ускорению обработки информации для платформ хранения данных и систем ИИ», — говорит Эрик Баиссус (Eric Baissus), генеральный директор Kalray.

Отмечается, что технологии Pliops играют ключевую роль в повышении производительности массивов хранения данных на основе накопителей NVMe и приложений баз данных. Pliops привлекла около $200 млн с момента основания в 2017 году; компания насчитывает примерно 120 сотрудников в Израиле, США и Китае. В число её инвесторов входят AMD, Intel Capital, NVIDIA, SoftBank Ventures Asia, Western Digital и др. После завершения слияния существующие акционеры Pliops станут акционерами Kalray.