Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, представила SSD корпоративного класса EJ5, подходящие для НРС-нагрузок, приложений ИИ и других ресурсоёмких задач. Изделия будут предлагаться в исполнениях U.2 (толщиной 15 мм) и EDSFF E3.S.

В основу накопителей положены флеш-чипы 3D eTLC. Для подключения служит интерфейс PCIe 5.0 х4. Заявленная скорость передачи данных в режиме чтения достигает 14 000 Мбайт/с, в режиме записи — 7500 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольных чтении и записи блоками по 4 Кбайт составляет до 2,5 млн и 360 тыс. соответственно.

В семейство EJ5 вошли модели вместимостью 3,2, 6,4 и 12,8 Тбайт, которые могут выдерживать до трёх полных перезаписей в сутки (3 DWPD) на протяжении пяти лет. Кроме того, дебютировали варианты ёмкостью 3,84, 7,68 и 15,36 Тбайт с 1 DWPD на протяжении пяти лет. У всех устройств величина MTBF (средняя наработка на отказ) превышает 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

В накопителях реализована фирменная технология TrueLog 360, которая отвечает за сбор и запись важной информации о состоянии SSD: данные сохраняются каждый час на протяжении всего жизненного цикла. Это обеспечивает возможность непрерывного мониторинга и глубокого анализа, что позволяет корпоративным пользователям отслеживать работоспособность устройств, температурные аномалии, производительность и другие параметры в любое время.

Кроме того, упомянута защита от потери питания TruePLP (Power Loss Protection). В оснащение входят высоконадёжные конденсаторы для резервной подачи энергии. В случае сбоя TruePLP предоставляет SSD возможность записать любые данные из памяти DRAM во флеш-память NAND, предотвратив тем самым потерю информации. Говорится также о поддержке TCG Opal.

Компания Supermicro анонсировала высокопроизводительные системы хранения Storage SuperServer типа JBOF All-Flash, оптимизированные для HPC-задач, обучения ИИ-моделей и инференса. Устройства, рассчитанные на монтаж в стойку, выполнены в форм-факторе 2U.

Новинки построены на основе DPU NVIDIA BlueField-3. Эти изделия содержат 16 ядер Cortex-A78, поддерживают интерфейс PCIe 5.0 и обеспечивают скорость в 400 Гбит/с. Системы Supermicro JBOF могут использовать до четырёх ускорителей BlueField-3.

В число представленных устройств вошли модели SSG-229J-5BU24JBF и SSG-229J-5BE36JBF. Первая рассчитана на 24 накопителя SFF U.2 NVMe, вторая — на 36 накопителей E3.S. Отсеки для SSD расположены во фронтальной части; допускается горячая замена. В обоих случаях имеются два коннектора M.2 для SSD формата 2280/22110 с интерфейсом PCIe 5.0 x4. Предусмотрены три слота для карт PCIe 5.0 x16 FHFL.

Источник изображения: Supermicro

Системы оснащены двумя портами 1GbE и дополнительным портом 1GbE на основе контроллера Realtek. Габариты составляют 762 × 449,4 × 88 мм. Питание обеспечивают два блока с сертификатом 80 Plus Titanium мощностью 1600 Вт у SSG-229J-5BU24JBF и 2000 Вт у SSG-229J-5BE36JBF. Установлены шесть вентиляторов охлаждения диаметром 60 мм. Диапазон рабочих температур — от +10 до +35 °C.

Supermicro отмечает, что при использовании SSD вместимостью 30,71 Тбайт можно сформировать хранилище суммарной ёмкостью 1,1 Пбайт. Архитектура контроллеров «активный — активный» гарантирует высокую доступность.

Некоммерческая организация Open Compute Project Foundation (OCP), специализирующаяся на создании открытых спецификаций оборудования для ЦОД, сообщила о том, что для её инициативы Open Systems for AI собственные разработки предоставят NVIDIA и Meta✴.

Проект Open Systems for AI был анонсирован в январе 2024 года при участии Intel, Microsoft, Google, Meta✴, NVIDIA, AMD, Arm, Ampere, Samsung, Seagate, SuperMicro, Dell и Broadcom. Цель инициативы заключается в разработке открытых стандартов для кластеров ИИ и дата-центров, в которых размещаются такие системы. Предполагается, что Open Systems for AI поможет повысить эффективность и устойчивость ИИ-платформ, а также обеспечит возможность формирования цепочек поставок оборудования от нескольких производителей.

В рамках инициативы NVIDIA предоставит OCP спецификации элементы электромеханической конструкции суперускорителей GB200 NVL72, включая архитектуры стойки и жидкостного охлаждения, механические части вычислительного и коммутационного лотков.

Источник изображения: NVIDIA

Кроме того, NVIDIA расширит поддержку стандартов OCP в своей сетевой инфраструктуре Spectrum-X. Речь идёт об обеспечении совместимости со стандартами OCP Switch Abstraction Interface (SAI) и Software for Open Networking in the Cloud (SONiC). Это позволит клиентам использовать адаптивную маршрутизацию Spectrum-X и управление перегрузками на основе телеметрии для повышения производительности Ethernet-соединений в составе масштабируемой инфраструктуры ИИ. Адаптеры ConnectX-8 SuperNIC с поддержкой OCP 3.0 появятся в 2025 году.

В свою очередь, Meta✴ передаст проекту Open Systems for AI свою архитектуру Catalina AI Rack, которая специально предназначена для создания ИИ-систем высокой плотности с поддержкой GB200. Это, как ожидается, позволит организации OCP «внедрять инновации, необходимые для создания более устойчивой экосистемы ИИ».

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Представленное сегодня семейство SSD Kioxia XD8 с интерфейсом PCIe 5.0 является уже третьим по счёту в ряду решений компании, выпускаемых в быстро набирающем популярность компактном форм-факторе EDSFF E1.S. Главная отличительная черта новинок — соответствие стандартам NVMe 2.0 и спецификациям OCP 2.5.

Позиционируются XD8 в качестве решений для облачных сред и гиперскейлеров и характеризуются, в первую очередь, высокой скоростью чтения. Этот показатель у новых SSD Kioxia достигает 12,5 Гбайт/с, что на 73% выше, чем у моделей предыдущего поколения XD7P. Скорость линейной записи также подросла, правда всего на 20%. Она достигает 5,8 Гбайт/с. Для операций случайного чтения 4K-блоками заявлено до 2,3 млн IOPS, при случайной записи накопители обеспечивают до 250 тыс IOPS. Это на 48% и 25% быстрее, нежели у семейства XD7P в том же форм-факторе.

Источник: Kioxia via HotHardware

Базируются описываемые SSD на памяти BiCS 3D TLC собственной разработки Kioxia. XD8 имеют ёмкость 1,92 Тбайт, 3,84 Тбайт или 7,68 Тбайт. Для них заявлена надёжность на уровне 1 полной перезаписи в день на протяжении пятилетнего гарантийного срока (1 DWPD), а наработка на отказ составляет 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Накопители поддерживают шифрование данных, в том числе стандарт TCG Opal 2.0, а также интерфейс управления NVMe-MI 1.2c. Имеется защита от сбоев по питанию.

Поскольку для высокоскоростных SSD с поддержкой PCIe 5.0 важен вопрос теплоотвода, Kioxia предусмотрела три опции корпусов-радиаторов высотой 9,5 мм, 15 мм и 25 мм. От этого показателя зависит наличие и высота оребрения. В настоящее время компания уже поставляет клиентам ознакомительные образцы новых SSD.

Meta✴ совместно с CarbonBuilt ускорят производство «низкоуглеродного» бетона. По информации Datacenter Dynamics, при выпуске нового продукта углеродные выбросы снижены приблизительно на 70 % в сравнении с базовыми отраслевыми показателями.

Основанная в 2020 году CarbonBuilt специализируется на производстве низкоуглеродных бетонных продуктов. Соглашение позволит ей модернизировать и масштабировать производство альтернативного цемента, получившего название Reversa. Материал призван заменить т.н. портландцемент, при производстве которого углеродные выбросы довольно высоки — при этом это одна из самых распространённых марок в строительстве. В компании утверждают, что Reversa вступает в химическую реакцию с углекислым газом во время выдерживания бетона, при этом навсегда задерживая CO₂ в материале.

Источник изображения: CarbonBuilt

Все значимые решения, связанные с цементом и бетоном, требуют изменения инфраструктуры в той или иной степени. Быстрое изменение требует, чтобы участники отрасли видели привлекательную финансовую отдачу в ответ на свои инвестиции. Сотрудничество с Meta✴ поможет ускорить и масштабировать реализацию подобных проектов. В Meta✴ добавили, что компания ставит в приоритет многовекторный подход к ускорению декарбонизации в сложных секторах индустрии вроде производства строительных материалов бетона. Сотрудничество с CarbonBuilt позволит снизить выбросы и масштабировать бизнес.

В августе 2024 года сообщалось об испытаниях Open Compute Project Foundation (OCP) «низкоуглеродного» бетона производства CarbonCure. Кроме того, Microsoft ведёт эксперименты с использованием в строительстве ЦОД в штате Вашингтон низкоуглеродных бетонных смесей. В 2022 году сообщалось о строительстве ЦОД Meta✴ из «зелёного» бетона, созданного с помощью ИИ. Впрочем, Meta✴ работает и в других направлениях. Так, в сентябре техногигант заключил сделку, связанную с восстановлением лесов в Латинской Америке. Также Meta✴ разрабатывает и собственную технологию захвата углекислого газа для своих дата-центров.

Европейский телеком-оператор Deutsche Telekom (DT) отсудил у Meta✴ более €20 млн ($22 млн) в качестве оплаты за оказанные ранее услуги и раскритиковал поведение американской компании. Впрочем, по данным Datacenter Dynamics, критика DT не осталась без ответа и со стороны Meta✴. В DT подчёркивают, что речь идёт не просто об отдельном недопонимании между компаниями — решается вопрос о том, будет ли в интернете царить право сильного и будут ли IT-гиганты вроде Meta✴ ставить себя выше закона.

Спор между DT и Meta✴ возник из-за прямого пиринга. Meta✴ какое-то время оплачивала подключение, но во время пандемии COVID-19 перестала это делать. В ответ на иск DT окружной суд Кёльна обязал Meta✴ оплатить оказанные услуги. Теперь Meta✴ отправляет трафик через транзитного провайдера.

По мнению DT, именно Meta✴ «провалила переговоры» о прямом соединении. Оператор заявил, что бывший партнёр снова злоупотребляет «подавляющей переговорной позицией», буквально попирая интересы европейской телеком-отрасли и потребителей. DT также обвинила Meta✴ в намерении уклониться от уплаты налогов в ЕС, пренебрежении европейскими принципами защиты данных (компания ссылается на проблемы с WhatsApp и скандал с Cambridge Analytica), попытке пользователей использовать методы оплаты, противоречащие законам о защите прав потребителей и т.п.

Источник изображения: Andrew Neel / Unsplash

Фактически спор компаний касается сетевого нейтралитета. Телеком-операторы считают, что основные поставщики трафика, к которым относятся IT-гиганты, должны прямо или косвенно оплачивать развитие телеком-инфраструктуры. По словам DT, в 2022 году затраты европейских операторов на инфраструктуру составили €55 млрд ($61,27 млрд), а гиперскейлеры потратили всего €1 млрд ($1,11 млрд). Проведённый Еврокомиссией показал, что респонденты не особенно интересуются идеей обязать платить техногигантов за инфраструктуру. В Meta✴ считают, что бесплатные пиринговые взаимодействия являются нормой для отрасли и с тысячами операторов по всему миру отношения у компании безвозмездные.

Meta✴, в свою очередь, обвинила оператора в нарушении «сетевого нейтралитета» и создании угрозы открытому интернету. По словам техногиганта, DT фактически пользуется своим влиянием для создания «пейволла», ограничивающего доступ к интернет-услугам. В компании «удивлены и разочарованы» тем, что переговоры с DT провалились. В Meta✴ подчёркивают, что практика Deutsche Telekom создаёт опасный мировой прецедент. Подчёркивается, что телеком-компании и без того зарабатывают деньги, обеспечивая доступ в интернет.

Также отмечается, что в 2022 году Meta✴ инвестировала более €27 млрд ($30 млрд) в цифровую инфраструктуру по всему миру, что снижает расходы и телеком-операторов, включая DT. В этом году Meta✴, вероятно, потратит на инфраструктуру до $37 млрд, на $2 млрд больше, чем ожидалось. Правда, в основном средства пойдут на строительство и оснащение ЦОД. Что касается расходов в телеком-секторе, то гиперскейлеры в основном вкладываются в протяжённые подводные и наземные магистрали.

Компания SK hynix объявила о разработке высокопроизводительных SSD семейства PEB110, предназначенных для применения в дата-центрах. Утверждается, что эти накопители обеспечивают двукратный рост производительности и более чем 30-% улучшение энергоэффективности по сравнению с изделиями предыдущего поколения.

Новинки, выполненные в форм-факторе E1.S, оснащены интерфейсом PCIe 5.0. Вместимость составляет 2, 4 и 8 Тбайт. Накопители выполнены на основе 238-слойных чипов флеш-памяти 4D NAND. Говорится о поддержке спецификации OCP 2.5. Кроме того, упомянута технология SPDM (Security Protocol and Data Model): она отвечает за безопасную аутентификацию и мониторинг серверов. Прочие технические характеристики пока не раскрываются.

Источник изображения: SK hynix

SSD серии PEB110 ориентированы на работу с ресурсоёмкими ИИ-приложениями. В настоящее время устройства проходят квалификацию у потенциальных заказчиков из числа крупных операторов ЦОД. Массовое производство накопителей планируется организовать во II квартале 2025 года.

«Новый продукт создан на основе лучшей в своём классе памяти 4D NAND, которая может похвастаться самыми высокими в отрасли показателями производительности, качества и стоимости», — говорит Ан Хён (Ahn Hyun), глава подразделения N-S Committee в составе SK hynix.

Компания Innodisk анонсировала модуль памяти CXL (Compute Express Link), разработанный с прицелом на системы ИИ и облачные дата-центры. Массовые поставки изделия планируется организовать в I квартале 2025 года.

Спрос на ИИ-серверы быстро растет. Согласно прогнозам Trendforce, в 2024 году такие системы займут примерно 65 % глобального рынка серверов (в деньгах). По словам Innodisk, сейчас ИИ-системам требуется не менее 1,2 Тбайт оперативной памяти для эффективной работы. Традиционные изделия DDR не всегда способны удовлетворить предъявляемые требования, что приводит к таким проблемам, как недоиспользование ресурсов CPU и увеличение задержек, говорит компания. Модули CXL призваны устранить подобные ограничения.

Источник изображения: Innodisk

Напомним, CXL — это высокоскоростной интерконнект, обеспечивающий взаимодействие хост-процессора с акселераторами, буферами памяти, устройствами ввода/вывода и пр. Решение Innodisk использует интерфейс PCIe 5.0 x8 и имеет ёмкость 64 Гбайт. Модуль обеспечивает пропускную способность до 32 Гбайт/с. Говорится о совместимости с CXL 1.1/2.0. Устройство выполнено в форм-факторе E3.S 2T и оснащено коннектором EDSFF 2C. Диапазон рабочих температур простирается от 0 до +70 °C.

Отмечается, что в случае установки четырёх модулей Innodisk CXL на 64 Гбайт каждый в сервер, который несёт на борту восемь DIMM по 128 Гбайт, общий объём памяти может быть увеличен на четверть, а общая пропускная способность — на 40 %. При этом CXL обеспечивает пулинг памяти, что позволяет оптимизировать совместное использование ресурсов и повысить общую эффективность системы.

Компания ATP Electronics представила индустриальные SSD семейства N651Sie с интерфейсом PCIe 4.0 x4 (NVMe), построенные на основе чипов флеш-памяти TLC NAND. Устройства будут предлагаться в вариантах исполнения M.2, U.2 и E1.S: в первом случае вместимость варьируется от 120 Гбайт до 1,92 Тбайт, в двух других — от 480 Гбайт до 7,68 Тбайт.

Для всех новинок предусмотрены опции с разным показателем DWPD (полных перезаписей в сутки) — 1, 2 и 5. Диапазон рабочих температур простирается от -40 до +85 °C. На аппаратном уровне реализована защита от потери питания (HW PLP). Имеется поддержка TCG Opal 2.0 и функции безопасного удаления информации Secure Erase. Предусмотрено специальное покрытие для защиты от негативных воздействий окружающей среды.

Скорости последовательного чтения и записи у накопителей стандарта M.2 достигают 6450 и 6050 Мбайт/с соответственно, у версий U.2 — 6000 и 5500 Мбайт/с, у E1.S — 6100 и 6000 Мбайт/с. Величина IOPS (операций ввода/вывода в секунду) при произвольном чтении/записи — до 1100 тыс. / 1250 тыс. (М.2), до 820 тыс. / 1200 тыс. (U.2) и до 870 тыс. / 1200 тыс. (E1.S).

Источник изображения: ATP Electronics

Данные на накопителях гарантированно сохраняются без повреждений в течение года при температуре 55 °C. Показатель MTBF (средняя наработка на отказ), по заявлениям ATP Electronics, превышает 3 млн часов. Максимальное энергопотребление при чтении информации в зависимости от варианта исполнения и вместимости варьируется от 9 до 14,5 Вт, при записи — от 11,5 до 17,5 Вт. На устройства предоставляется пятилетняя гарантия.