Некоммерческая организация Open Compute Project Foundation (OCP), специализирующаяся на создании открытых спецификаций оборудования для ЦОД, сообщила о том, что для её инициативы Open Systems for AI собственные разработки предоставят NVIDIA и Meta✴.

Проект Open Systems for AI был анонсирован в январе 2024 года при участии Intel, Microsoft, Google, Meta✴, NVIDIA, AMD, Arm, Ampere, Samsung, Seagate, SuperMicro, Dell и Broadcom. Цель инициативы заключается в разработке открытых стандартов для кластеров ИИ и дата-центров, в которых размещаются такие системы. Предполагается, что Open Systems for AI поможет повысить эффективность и устойчивость ИИ-платформ, а также обеспечит возможность формирования цепочек поставок оборудования от нескольких производителей.

В рамках инициативы NVIDIA предоставит OCP спецификации элементы электромеханической конструкции суперускорителей GB200 NVL72, включая архитектуры стойки и жидкостного охлаждения, механические части вычислительного и коммутационного лотков.

Источник изображения: NVIDIA

Кроме того, NVIDIA расширит поддержку стандартов OCP в своей сетевой инфраструктуре Spectrum-X. Речь идёт об обеспечении совместимости со стандартами OCP Switch Abstraction Interface (SAI) и Software for Open Networking in the Cloud (SONiC). Это позволит клиентам использовать адаптивную маршрутизацию Spectrum-X и управление перегрузками на основе телеметрии для повышения производительности Ethernet-соединений в составе масштабируемой инфраструктуры ИИ. Адаптеры ConnectX-8 SuperNIC с поддержкой OCP 3.0 появятся в 2025 году.

В свою очередь, Meta✴ передаст проекту Open Systems for AI свою архитектуру Catalina AI Rack, которая специально предназначена для создания ИИ-систем высокой плотности с поддержкой GB200. Это, как ожидается, позволит организации OCP «внедрять инновации, необходимые для создания более устойчивой экосистемы ИИ».

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Представленное сегодня семейство SSD Kioxia XD8 с интерфейсом PCIe 5.0 является уже третьим по счёту в ряду решений компании, выпускаемых в быстро набирающем популярность компактном форм-факторе EDSFF E1.S. Главная отличительная черта новинок — соответствие стандартам NVMe 2.0 и спецификациям OCP 2.5.

Позиционируются XD8 в качестве решений для облачных сред и гиперскейлеров и характеризуются, в первую очередь, высокой скоростью чтения. Этот показатель у новых SSD Kioxia достигает 12,5 Гбайт/с, что на 73% выше, чем у моделей предыдущего поколения XD7P. Скорость линейной записи также подросла, правда всего на 20%. Она достигает 5,8 Гбайт/с. Для операций случайного чтения 4K-блоками заявлено до 2,3 млн IOPS, при случайной записи накопители обеспечивают до 250 тыс IOPS. Это на 48% и 25% быстрее, нежели у семейства XD7P в том же форм-факторе.

Источник: Kioxia via HotHardware

Базируются описываемые SSD на памяти BiCS 3D TLC собственной разработки Kioxia. XD8 имеют ёмкость 1,92 Тбайт, 3,84 Тбайт или 7,68 Тбайт. Для них заявлена надёжность на уровне 1 полной перезаписи в день на протяжении пятилетнего гарантийного срока (1 DWPD), а наработка на отказ составляет 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Накопители поддерживают шифрование данных, в том числе стандарт TCG Opal 2.0, а также интерфейс управления NVMe-MI 1.2c. Имеется защита от сбоев по питанию.

Поскольку для высокоскоростных SSD с поддержкой PCIe 5.0 важен вопрос теплоотвода, Kioxia предусмотрела три опции корпусов-радиаторов высотой 9,5 мм, 15 мм и 25 мм. От этого показателя зависит наличие и высота оребрения. В настоящее время компания уже поставляет клиентам ознакомительные образцы новых SSD.

Meta✴ совместно с CarbonBuilt ускорят производство «низкоуглеродного» бетона. По информации Datacenter Dynamics, при выпуске нового продукта углеродные выбросы снижены приблизительно на 70 % в сравнении с базовыми отраслевыми показателями.

Основанная в 2020 году CarbonBuilt специализируется на производстве низкоуглеродных бетонных продуктов. Соглашение позволит ей модернизировать и масштабировать производство альтернативного цемента, получившего название Reversa. Материал призван заменить т.н. портландцемент, при производстве которого углеродные выбросы довольно высоки — при этом это одна из самых распространённых марок в строительстве. В компании утверждают, что Reversa вступает в химическую реакцию с углекислым газом во время выдерживания бетона, при этом навсегда задерживая CO₂ в материале.

Источник изображения: CarbonBuilt

Все значимые решения, связанные с цементом и бетоном, требуют изменения инфраструктуры в той или иной степени. Быстрое изменение требует, чтобы участники отрасли видели привлекательную финансовую отдачу в ответ на свои инвестиции. Сотрудничество с Meta✴ поможет ускорить и масштабировать реализацию подобных проектов. В Meta✴ добавили, что компания ставит в приоритет многовекторный подход к ускорению декарбонизации в сложных секторах индустрии вроде производства строительных материалов бетона. Сотрудничество с CarbonBuilt позволит снизить выбросы и масштабировать бизнес.

В августе 2024 года сообщалось об испытаниях Open Compute Project Foundation (OCP) «низкоуглеродного» бетона производства CarbonCure. Кроме того, Microsoft ведёт эксперименты с использованием в строительстве ЦОД в штате Вашингтон низкоуглеродных бетонных смесей. В 2022 году сообщалось о строительстве ЦОД Meta✴ из «зелёного» бетона, созданного с помощью ИИ. Впрочем, Meta✴ работает и в других направлениях. Так, в сентябре техногигант заключил сделку, связанную с восстановлением лесов в Латинской Америке. Также Meta✴ разрабатывает и собственную технологию захвата углекислого газа для своих дата-центров.

Европейский телеком-оператор Deutsche Telekom (DT) отсудил у Meta✴ более €20 млн ($22 млн) в качестве оплаты за оказанные ранее услуги и раскритиковал поведение американской компании. Впрочем, по данным Datacenter Dynamics, критика DT не осталась без ответа и со стороны Meta✴. В DT подчёркивают, что речь идёт не просто об отдельном недопонимании между компаниями — решается вопрос о том, будет ли в интернете царить право сильного и будут ли IT-гиганты вроде Meta✴ ставить себя выше закона.

Спор между DT и Meta✴ возник из-за прямого пиринга. Meta✴ какое-то время оплачивала подключение, но во время пандемии COVID-19 перестала это делать. В ответ на иск DT окружной суд Кёльна обязал Meta✴ оплатить оказанные услуги. Теперь Meta✴ отправляет трафик через транзитного провайдера.

По мнению DT, именно Meta✴ «провалила переговоры» о прямом соединении. Оператор заявил, что бывший партнёр снова злоупотребляет «подавляющей переговорной позицией», буквально попирая интересы европейской телеком-отрасли и потребителей. DT также обвинила Meta✴ в намерении уклониться от уплаты налогов в ЕС, пренебрежении европейскими принципами защиты данных (компания ссылается на проблемы с WhatsApp и скандал с Cambridge Analytica), попытке пользователей использовать методы оплаты, противоречащие законам о защите прав потребителей и т.п.

Источник изображения: Andrew Neel / Unsplash

Фактически спор компаний касается сетевого нейтралитета. Телеком-операторы считают, что основные поставщики трафика, к которым относятся IT-гиганты, должны прямо или косвенно оплачивать развитие телеком-инфраструктуры. По словам DT, в 2022 году затраты европейских операторов на инфраструктуру составили €55 млрд ($61,27 млрд), а гиперскейлеры потратили всего €1 млрд ($1,11 млрд). Проведённый Еврокомиссией показал, что респонденты не особенно интересуются идеей обязать платить техногигантов за инфраструктуру. В Meta✴ считают, что бесплатные пиринговые взаимодействия являются нормой для отрасли и с тысячами операторов по всему миру отношения у компании безвозмездные.

Meta✴, в свою очередь, обвинила оператора в нарушении «сетевого нейтралитета» и создании угрозы открытому интернету. По словам техногиганта, DT фактически пользуется своим влиянием для создания «пейволла», ограничивающего доступ к интернет-услугам. В компании «удивлены и разочарованы» тем, что переговоры с DT провалились. В Meta✴ подчёркивают, что практика Deutsche Telekom создаёт опасный мировой прецедент. Подчёркивается, что телеком-компании и без того зарабатывают деньги, обеспечивая доступ в интернет.

Также отмечается, что в 2022 году Meta✴ инвестировала более €27 млрд ($30 млрд) в цифровую инфраструктуру по всему миру, что снижает расходы и телеком-операторов, включая DT. В этом году Meta✴, вероятно, потратит на инфраструктуру до $37 млрд, на $2 млрд больше, чем ожидалось. Правда, в основном средства пойдут на строительство и оснащение ЦОД. Что касается расходов в телеком-секторе, то гиперскейлеры в основном вкладываются в протяжённые подводные и наземные магистрали.

Компания SK hynix объявила о разработке высокопроизводительных SSD семейства PEB110, предназначенных для применения в дата-центрах. Утверждается, что эти накопители обеспечивают двукратный рост производительности и более чем 30-% улучшение энергоэффективности по сравнению с изделиями предыдущего поколения.

Новинки, выполненные в форм-факторе E1.S, оснащены интерфейсом PCIe 5.0. Вместимость составляет 2, 4 и 8 Тбайт. Накопители выполнены на основе 238-слойных чипов флеш-памяти 4D NAND. Говорится о поддержке спецификации OCP 2.5. Кроме того, упомянута технология SPDM (Security Protocol and Data Model): она отвечает за безопасную аутентификацию и мониторинг серверов. Прочие технические характеристики пока не раскрываются.

Источник изображения: SK hynix

SSD серии PEB110 ориентированы на работу с ресурсоёмкими ИИ-приложениями. В настоящее время устройства проходят квалификацию у потенциальных заказчиков из числа крупных операторов ЦОД. Массовое производство накопителей планируется организовать во II квартале 2025 года.

«Новый продукт создан на основе лучшей в своём классе памяти 4D NAND, которая может похвастаться самыми высокими в отрасли показателями производительности, качества и стоимости», — говорит Ан Хён (Ahn Hyun), глава подразделения N-S Committee в составе SK hynix.

Компания Innodisk анонсировала модуль памяти CXL (Compute Express Link), разработанный с прицелом на системы ИИ и облачные дата-центры. Массовые поставки изделия планируется организовать в I квартале 2025 года.

Спрос на ИИ-серверы быстро растет. Согласно прогнозам Trendforce, в 2024 году такие системы займут примерно 65 % глобального рынка серверов (в деньгах). По словам Innodisk, сейчас ИИ-системам требуется не менее 1,2 Тбайт оперативной памяти для эффективной работы. Традиционные изделия DDR не всегда способны удовлетворить предъявляемые требования, что приводит к таким проблемам, как недоиспользование ресурсов CPU и увеличение задержек, говорит компания. Модули CXL призваны устранить подобные ограничения.

Источник изображения: Innodisk

Напомним, CXL — это высокоскоростной интерконнект, обеспечивающий взаимодействие хост-процессора с акселераторами, буферами памяти, устройствами ввода/вывода и пр. Решение Innodisk использует интерфейс PCIe 5.0 x8 и имеет ёмкость 64 Гбайт. Модуль обеспечивает пропускную способность до 32 Гбайт/с. Говорится о совместимости с CXL 1.1/2.0. Устройство выполнено в форм-факторе E3.S 2T и оснащено коннектором EDSFF 2C. Диапазон рабочих температур простирается от 0 до +70 °C.

Отмечается, что в случае установки четырёх модулей Innodisk CXL на 64 Гбайт каждый в сервер, который несёт на борту восемь DIMM по 128 Гбайт, общий объём памяти может быть увеличен на четверть, а общая пропускная способность — на 40 %. При этом CXL обеспечивает пулинг памяти, что позволяет оптимизировать совместное использование ресурсов и повысить общую эффективность системы.

Компания ATP Electronics представила индустриальные SSD семейства N651Sie с интерфейсом PCIe 4.0 x4 (NVMe), построенные на основе чипов флеш-памяти TLC NAND. Устройства будут предлагаться в вариантах исполнения M.2, U.2 и E1.S: в первом случае вместимость варьируется от 120 Гбайт до 1,92 Тбайт, в двух других — от 480 Гбайт до 7,68 Тбайт.

Для всех новинок предусмотрены опции с разным показателем DWPD (полных перезаписей в сутки) — 1, 2 и 5. Диапазон рабочих температур простирается от -40 до +85 °C. На аппаратном уровне реализована защита от потери питания (HW PLP). Имеется поддержка TCG Opal 2.0 и функции безопасного удаления информации Secure Erase. Предусмотрено специальное покрытие для защиты от негативных воздействий окружающей среды.

Скорости последовательного чтения и записи у накопителей стандарта M.2 достигают 6450 и 6050 Мбайт/с соответственно, у версий U.2 — 6000 и 5500 Мбайт/с, у E1.S — 6100 и 6000 Мбайт/с. Величина IOPS (операций ввода/вывода в секунду) при произвольном чтении/записи — до 1100 тыс. / 1250 тыс. (М.2), до 820 тыс. / 1200 тыс. (U.2) и до 870 тыс. / 1200 тыс. (E1.S).

Источник изображения: ATP Electronics

Данные на накопителях гарантированно сохраняются без повреждений в течение года при температуре 55 °C. Показатель MTBF (средняя наработка на отказ), по заявлениям ATP Electronics, превышает 3 млн часов. Максимальное энергопотребление при чтении информации в зависимости от варианта исполнения и вместимости варьируется от 9 до 14,5 Вт, при записи — от 11,5 до 17,5 Вт. На устройства предоставляется пятилетняя гарантия.

Использование электричества дата-центрами Meta✴ достигло в 2023 году (14,975 ТВт∙ч), рост потребления год к году составил 34 %. По данным Datacenter Dynamics, из них на арендованные ЦОД пришлось 2,19 ТВт∙ч — на 97 % больше, чем годом ранее.

Из 16 объектов компании (за исключением арендованных), кампус в Прайнвилле (Prineville Орегон) был крупнейшим потребителем энергии, только на него пришлись 1,38 ТВт∙ч. В Алтуне (Altoona, Айова) этот показатель составил 1,24 ТВт∙ч, в Сарпи (Sarpy, Небраска) — 1,15 ТВт∙ч.«»

Интенсивность использования электричества на каждого активного месячного пользователя составила 0,0041 МВт∙ч, на 32 % выше год к году. Энергоёмкость на $1 млн выручки составила 131,42 МВт∙ч, рост достиг 33 %. Об этом компания сообщила в последнем отчёте, посвящённом устойчивому развитию.

Источник изображения: Meta✴

Как сообщает компания, электроснабжение на 100 % осуществляется из экологически чистых источников, по крайней мере, с помощью покупки PPA и REC-сертификатов. Показатель PUE не изменился и остался на уровне 1.08.

Потребление компанией топлива упало: природного газа на 36 % до 4,82 млн терм (единица измерения тепловой энергии, 1 терм ≡ 100 тыс. BTU), дизельного топлива №2 на 25,5 % до 3882 м³, а топливо №4 — на 3,42 % до 2648 м³. Наконец, использование бензина упало на 81,4 % до 84,5 м³.

Источник изображения: Meta✴

Meta✴ также впервые начала использование гидрированного растительного масла (HVO) на объекте в Ирландии, речь идёт о 4,3 м³. Компания объявила, что протестирует замену дизельного топлива в 2024 году, чтобы определить, переводить ли на него генераторы по всему миру.

Источник изображения: Meta✴

Водозабор ЦОД достиг 3,881 млн м³, рост составил 7 %. В некоторых локациях использование воды, наоборот, упало. Впрочем, водозабор из грунтовых вод вырос на 137 % до 88 тыс. м³, забор воды в зонах с высоким или чрезвычайно высоким дефицитом воды увеличился на 20 % до 1,360 млн м³.

Косвенное водопользование (вода, затраченная на товары и услуги, которые потребляет компания), выросло на 35 %, достигнув 55 475 млн м³ — это результат роста энергопотребления. Есть и хорошая новость — было восстановлено 5,889 млн м³ воды, что на 150 % больше год к году.

Источник изображения: Meta✴

Показатель WUE упал до 0,18 с 0,20, но ежемесячный забор воды на каждого активного пользователя увеличился на 7 % до 0,00141 л. Забор воды на $1 млн выручки вырос на 7 % до 45 л. В докладе упоминается, что строящиеся новейшие ИИ ЦОД используют технологию драйкулинга, минимизируя потребление воды.

В целом компания агрессивно инвестирует в строительство ЦОД, капитальные затраты составили $8,5 млрд только за II квартал. Предполагается, что в течение следующего года затраты дополнительно вырастут по мере создания компанией инфраструктуры для генеративного ИИ.

В Meta✴ намерены снабжать свои американские дата-центры геотермальной (петротермальной) энергией. По данным Datacenter Dynamics, компания анонсировала сделку со стартапом Sage Geosystems об использовании технологий последнего для обеспечения ЦОД электричеством.

Sage Geosystems будет использовать разработку Geopressured Geothermal System (GGS) для поставки клиенту «зелёной» энергии. Первая фаза проекта должна заработать в 2027 году. В Meta✴ рассчитывают получить до 150 МВт базовой петротермальной мощности для своих объектов. Пока не сообщается, какие именно ЦОД будут снабжаться энергией из «безуглеродных» источников. Впрочем, в Sage проговорились, что речь идёт о местности к востоку от Скалистых гор.

В Sage Geosystems назвали проект прекрасным примером того, как государственный и частный сектор могут сотрудничать в деле перехода на «чистую» энергию и поблагодарили Министерство энергетики (DOE) за поддержку коммерциализации инновационных решений. Как сообщают в компании, в основном геотермальная энергия используется в штатах Невада, Юта и Калифорния. Что касается Meta✴, то компания заключила контракты на поставку более 12 ГВт электричества из возобновляемых источников по всему миру, став одним из крупнейших корпоративных покупателей возобновляемой энергии в мире.

Источник изображения: Job Savelsberg/unsplash.com

В Sage заявляют, что петротермальные системы — более распространённый и доступный источник энергии, чем гидротермальные скважины. Петротермальные системы прокачивают в замкнутом контуре воду между поверхностью Земли и подземными горячими породами. Можно бурить как собственные скважины, так и перепрофилировать некоторые «сухие» нефтяные скважины. Также Sage работает над технологиями долговременного хранения энергии. В прошлом году небольшой пилотный проект смог обеспечить 200 кВт в течение более 18 часов и 1 МВт — в течение 30 минут.

Техасская Sage Geosystems основана в 2020 году бывшими сотрудниками Shell. В раунде финансирования серии A компания привлекла $17 млн. Средства будут направлены на строительство первого коммерческого GGS-проекта компании мощностью 3 МВт в Техасе, недалеко от Сан-Антонио. Геотермальная электростанция должна заработать ещё до конца 2024 года. Ранее Sage подписала сделку с американской армией для обеспечения энергией военных объектов в Нью-Мексико и Техасе. Также она изучает возможность использования геотермальной энергетики в интересах базы ВВС США в Хьюстоне (Техас).

Источник изображения: Federica Bisso/unsplash.com

Ранее Google заключила контракт с Fervo Energy и NV Energy на покупку более 100 МВт геотермальной энергии в Неваде. Соглашение о покупке «чистой» энергии (PPA) заключила с Contact Energy в Новой Зеландии компания Microsoft, также она строит геотермальный кампус в Кении вместе с G42.

В Индонезии Star Energy обсуждает с операторами ЦОД строительство объектов недалеко от геотермальных электростанций, PDG также подписала «геотермальный» контракт для своих ЦОД в Индонезии. На Филиппинах Converge заключила соглашение о поставках аналогичной энергии с местной электрокомпанией. В Калифорнии стартап CalEthos намерен построить крупный кампус с энергоснабжением из аналогичных источников. Наконец, итальянский стартап Geoveda Srl намерен построить небольшой ЦОД с геотермальным питанием в Тоскане.