Немецкая компания Cerabyte, специализирующаяся на разработке систем хранения данных на основе керамики, объявила о привлечении инвестиций со стороны компании In-Q-Tel (IQT), косвенно связанной с американскими спецслужбами. Полученные средства пойдут на ускорение создания продуктов, которые будут поставляться государственным заказчикам. Объём вложений со стороны IQT не раскрывается.

Технология Cerabyte предполагает применение стекла или плёнки с тонким керамическим покрытием. Информация записывается при помощи лазера в виде наноразмерных «ямок» по аналогии с QR-кодами: заявленная скорость достигает 2 млн бит на лазерный импульс. Считывание также осуществляется посредством лазера.

Одним из ключевых преимуществ технологии Cerabyte является долговечность: данные на таких накопителях могут храниться практически неограниченное количество времени, заявляет компания. Кроме того, обеспечивается высокая ёмкость: по заявлениям разработчика, технология до 2030 года позволит добиться вместимости до 100 Пбайт на стойку при использовании картриджей CeraMemory.

Источник изображения: Cerabyte

In-Q-Tel — американская некоммерческая венчурная фирма, базирующаяся в Арлингтоне (Вирджиния). Она инвестирует в перспективные компании с тем, чтобы обеспечить ЦРУ и другие структуры США передовыми технологическими разработками. Ожидается, что американский государственный сектор будет оперировать огромными объемами данных, сопоставимыми с теми, которыми управляют ведущие интернет-корпорации, включая Meta✴ и Amazon. Причём основная часть такой информации у госструктур будет находиться в «холодном» хранилище в течение длительных периодов времени. Таким образом, технология Cerabyte обеспечит эффективное решение как с точки зрения долговечности, так и с точки зрения вместимости.

Нужно отметить, что ранее Cerabyte привлекла инвестиции от компании Pure Storage, которая занимается разработкой All-Flash СХД. Кроме того, Cerabyte получила финансовую поддержку в рамках программы-акселератора Европейского совета по инновациям (EIC).

NVIDIA анонсировала NVIDIA AI Data Platform — настраиваемую эталонную архитектуру, которую ведущие поставщики смогут использовать для создания нового класса ИИ-инфраструктуры для требовательных рабочих нагрузок ИИ-инференса: корпоративных платформ хранения со специализированными ИИ-агентами, использующих ускорители, сетевые решения и ПО NVIDIA.

Эти агенты помогут генерировать ответы из имеющихся данных практически в реальном времени, используя ПО NVIDIA AI Enterprise — включая микросервисы NVIDIA NIM для новых моделей NVIDIA Llama Nemotron, а также NVIDIA AI-Q Blueprint. Провайдеры хранилищ смогут оптимизировать свою инфраструктуру для обеспечения работы этих агентов с помощью ускорителей NVIDIA Blackwell, DPU BlueField, сетей Spectrum-X и библиотеки инференса с открытым исходным кодом NVIDIA Dynamo.

Ведущие провайдеры платформ данных и хранилищ, включая DDN, Dell, HPE, Hitachi Vantara, IBM, NetApp, Nutanix, Pure Storage, VAST Data и WEKA, сотрудничают с NVIDIA для создания настраиваемых ИИ-платформ данных, которые могут использовать корпоративные данные для рассуждений и ответов на сложные запросы.

Источник изображения: NVIDIA

NVIDIA Blackwell, DPU BlueField и сетевое оборудование Spectrum-X предоставляют механизм для ускорения доступа ИИ-агентов запроса к данным, хранящимся в корпоративных системах. DPU BlueField обеспечивают производительность до 1,6 раз выше, чем хранилища на базе ЦП, при этом снижая энергопотребление до 50 %, а Spectrum-X ускоряет доступ к хранилищам до 48 % по сравнению с традиционным Ethernet, применяя адаптивную маршрутизацию и контроль перегрузки, говорит NVIDIA.

ИИ-агенты, созданные с помощью AI-Q Blueprint, подключаются к данным во время инференса, чтобы предоставлять более точные, контекстно-зависимые ответы. Они могут быстро получать доступ к большим объёмам информации и обрабатывать различные типы данных, включая структурированные, полуструктурированные и неструктурированные данные из нескольких источников, в том числе текст, PDF, изображения и видео.

Сертифицированные партнёры NVIDIA в области СХД уже сотрудничают с NVIDIA в деле создания новых ИИ-платформ:

• DDN внедряет возможности AI Data Platform в свою платформу ИИ DDN Infinia.
• Dell создаёт вариант AI Data Platform для своего семейства решений Dell PowerScale и Project Lightning.
• HPE внедряет возможности AI Data Platform в HPE Private Cloud для ИИ, HPE Data Fabric, HPE Alletra Storage MP и HPE GreenLake для хранения файлов.
• Hitachi Vantara интегрирует AI Data Platform в экосистему Hitachi IQ, помогая клиентам внедрять инновации с помощью систем хранения и предложений данных, которые обеспечивают ощутимые результаты работы ИИ.
• IBM интегрирует AI Data Platform как часть своих возможностей хранения с учётом содержимого с технологиями IBM Fusion и IBM Storage Scale для ускорения приложений генеративного ИИ с расширенным извлечением данных.
• NetApp совершенствует хранилище для агентского ИИ с помощью решения NetApp AIPod, созданного на базе AI Data Platform.
• Nutanix Cloud Platform с Nutanix Unified Storage будет интегрированы с NVIDIA AI Data Platform, что позволит выполнять инференс и агентские рабочие процессы, развёрнутые на периферии, в ЦОД и публичном облаке.
• Pure Storage предоставит возможности AI Data Platform с Pure Storage FlashBlade.
• VAST Data работает с AI Data Platform для сбора аналитических данных в реальном времени с помощью VAST InsightEngine.

Компания Supermicro представила сервер ARS-121L-NE316R в форм-факторе 1U, на базе которого могут формироваться системы хранения данных петабайтной вместимости. В основу новинки положен суперчип NVIDIA Grace со 144 ядрами Arm Neoverse V2 и 960 Гбайт памяти LPDDR5x.

Устройство оборудовано 16 фронтальными отсеками для NVMe-накопителей E3.S 1T. При использовании SSD ёмкостью 61,44 Тбайт суммарная вместимость может достигать 983 Тбайт. При этом до 40 серверов могут быть установлены в одну стойку, что обеспечит 39,3 Пбайт «сырой» ёмкости.

Новинка располагает двумя внутренними посадочными местами для M.2 NVMe SSD и двумя слотами PCIe 5.0 x16 для карт типоразмера FHHL. Присутствуют сетевой порт управления 1GbE (RJ45), порт USB 3.0 Type-A и разъём mini-DP. Габариты сервера составляют 772,15 × 438,4 × 43,6 мм, масса — 19,8 кг без установленных накопителей.

Источник изображения: Supermicro

Питание обеспечивают два блока мощностью 1600 Вт с сертификатом 80 Plus Titanium. Применена система воздушного охлаждения с восемью съёмными вентиляторами диаметром 40 мм. Диапазон рабочих температур — от +10 до +35 °C.

При необходимости сервер может быть оснащён двумя DPU NVIDIA BlueField-3 или двумя адаптерами ConnectX-8. Система подходит для поддержания рабочих нагрузок с интенсивным обменом данными, таких как ИИ-инференс, аналитика и пр. Отмечается, что при создании новинки Supermicro тесно сотрудничала с NVIDIA и WEKA (разработчик платформ хранения данных).

Корпорация Toshiba Electronics Europe GmbH объявила о создании лаборатории инноваций в области жёстких дисков в Дюссельдорфе (Германия). Специалисты HDD Innovation Lab займутся оценкой конфигураций систем на базе HDD для крупных IT-развёртываний, таких как сети хранения данных (SAN), масштабные сетевые хранилища (NAS), платформы видеонаблюдения и облачные сервисы.

Как отмечает Райнер Каезе (Rainer Kaese), старший менеджер по развитию HDD-направления Toshiba, SSD обеспечивают существенные преимущества перед HDD в плане скоростных показателей. Однако при хранении огромных массивов данных, например, для приложений ИИ, формирование систем большой ёмкости на основе SSD оказывается нецелесообразным с финансовой точки зрения: стоимость изделий на базе флеш-памяти примерно в семь раз выше по сравнению с HDD при сопоставимой вместимости.

Источник изображения: Toshiba

Кроме того, по словам Каезе, корпорация Toshiba продемонстрировали, что 60 жёстких дисков в программно-определяемом хранилище ZFS могут заполнить всю пропускную способность сети 100GbE. Таким образом, для определённых типов задач применение HDD оказывается более выгодным, нежели использование дорогостоящих, но скоростных SSD.

Лаборатория HDD Innovation Lab сфокусируется на оценках конфигураций RAID и масштабируемых СХД для корпоративных клиентов, дата-центров и облачных провайдеров. Ключевой особенностью площадки является возможность осуществлять тестирование для различных архитектур. Лаборатория объединяет все основные компоненты СХД на базе жёстких дисков, такие как различные серверы, массивы JBOD, шасси, контроллеры, кабели и сопутствующее ПО. В частности, задействованы одноузловые серверы, поддерживающие до 78 HDD суммарной вместимостью до 2 Пбайт при установке современных накопителей большой ёмкости. Площадка оснащена точным оборудованием для анализа энергопотребления.

Лаборатория займётся выполнением оценочных работ для клиентов и партнёров в Европе и на Ближнем Востоке. Результаты тестирования в виде технических документов и отчётов будут доступны на сайте Toshiba Storage.

Компания Pure Storage анонсировала систему FlashBlade//EXA: это, как утверждается, самая производительная на сегодняшний день платформа хранения данных, разработанная специально для наиболее требовательных нагрузок ИИ и HPC.

Отмечается, что стандартные СХД оптимизированы для традиционных сред HPC с предсказуемыми операциями. Такие системы разрабатываются с прицелом на масштабирование «чистой производительности». Однако современные нагрузки ИИ являются гораздо более сложными и многомодальными: они предусматривают обработку данных разного типа — текстов, изображений и видео — одновременно на десятках тысяч ускорителей. Из-за этого возникает необходимость в оптимизации обработки метаданных наряду с масштабированием производительности.

FlashBlade//EXA, по заявлениям Pure Storage, устраняет узкие места традиционных СХД в плане работы с метаданными. Архитектура новой платформы даёт возможность масштабировать ресурсы для обработки обычных данных и метаданных независимо друг от друга. Эффективная обработка метаданных имеет решающее значение для поддержания высокой производительности, надёжности и эффективности в крупномасштабных средах ИИ.

Источник изображений: Pure Storage

Сегмент метаданных Metadata Core в составе FlashBlade//EXA может объединять от 1 до 10 5U-шасси с десятью blade-узлами в каждом. В каждом узле размещается от одного до четырёх фирменных 37.5-Тбайт модуля DFM. Ещё 2U приходится на пару XFM (External Fabric Modules), которые дают 16 подключений 400GbE. Metadata Core работает с фирменной ОС Purity//FB, общается напрямую с GPU-кластером (NFSv4.1 over TCP) и управляет потоками данных между узлами хранения и кластером (NFSv3 over RDMA).

Узлы хранения Data Node обладают неограниченной масштабируемостью. Причём эти узлы могут быть самыми обычными x86-серверами любых вендоров. Каждый такой узел должен содержать 32-ядерный CPU, 192 Гбайт RAM, от 12 до 16 NVMe SSD (PCIe 4.0/5.0) вместимостью до 61,44 Тбайт, а также пару 400GbE NIC. Архитектура платформы предусматривает использование сетевых адаптеров NVIDIA ConnectX, коммутаторов Spectrum, компонентов LinkX и пр.

Система FlashBlade//EXA обеспечивает производительность свыше 10 Тбайт/с на операциях чтения в одном пространстве имён. В результате, организации могут значительно ускорить процессы обучения ИИ-моделей и инференса, максимально используя потенциал GPU-ускорителей. Это также способствует снижению временных и финансовых затрат на решение ресурсоёмких задач. По-видимому, именно это решение компания и предлагает гиперскейлерам. У самой Pure Storage есть тестовая конфигурация из 300 узлов, которая показывает производительность на уровне 30 Тбайт/с.

Британский стартап PEAK:AIO анонсировал обновлённую платформу хранения данных AI Data Server, предназначенную для поддержания ресурсоёмких нагрузок ИИ. Сервер в форм-факторе 2U на основе SSD производства Solidigm обеспечивает 1,5 Пбайт «сырой» вместимости. PEAK:AIO утверждает, что благодаря новому программному стеку NVMe устраняются «узкие места Linux», что обеспечивает высокую производительность для приложений ИИ с интенсивным использованием данных.

AI Data Server — это программно-определяемое хранилище на стороннем оборудовании. В частности, применяется сервер Dell PowerEdge R7625, оборудованный сетевыми адаптерами NVIDIA ConnectX-7. Заявленная пропускная способность достигает 120 Гбайт/с. Система комплектуется накопителями Solidigm D5-P5336 вместимостью 61,44 Тбайт. Эти изделия выполнены на 192-слойных чипах флеш-памяти QLC 3D NAND и оснащены интерфейсом PCIe 4.0 x4 (NVMe 2.0). Скорость последовательного чтения/записи достигает 7000/3000 Мбайт/с, показатель IOPS при произвольном чтении — 1 005 000. Сервер комплектуется 24 накопителями, что в сумме обеспечивает около 1,5 Пбайт ёмкости.

Источник изображения: PEAK:AIO

Платформа AI Data Server может использоваться для решения различных задач в специфичных областях, таких как здравоохранение, исследования и периферийные приложения ИИ. Подобные нагрузки требуют наличия высокопроизводительного хранилища, но зачастую доступ к инфраструктуре ЦОД у организаций из указанных отраслей ограничен. Система AI Data Server позволяет устранить данный пробел: она может масштабироваться от единичных узлов до кластеров, рассчитанных на огромные озера данных ИИ.

Компания Vdura анонсировала узел хранения данных V5000 All-Flash Appliance (F Node) типоразмера 1U, предназначенный для использования в составе платформы V5000. Изделие ориентировано на решение ресурсоёмких задач, связанных с ИИ, включая развёртывание генеративных моделей.

Платформа V5000, анонсированная около трёх месяцев назад, объединяет управляющие узлы Director Node формата 1U и гибридные узлы хранения на основе SSD и HDD. Применяется фирменная программная платформа Vdura Data Platform (VDP) v11 с параллельной файловой системой PFS.

Новые узлы F Node допускают установку 12 накопителей NVMe QLC вместимостью до 128 Тбайт каждый. Таким образом, суммарная «сырая» ёмкость узла достигает 1,536 Пбайт. В основу F Node положен процессор AMD EPYC 9005 Turin, функционирующий в тандеме с 384 Гбайт RAM. Задействован 400G-адаптер NVIDIA ConnectX-7 SmartNIC, обеспечивающий низкую задержку при передаче данных. Упомянуты три слота PCIe и один слот OCP 5.0.

Минимальная конфигурация системы V5000 на базе All-Flash включает по три узла Director Node и F Node, которые могут масштабироваться независимо друг от друга для достижения необходимой производительности и/или вместимости. Одна стойка 42U может содержать три узла Director Node и до 39 узлов F Node, что обеспечит 59,9 Пбайт «сырой» ёмкости.

Источник изображения: Vdura

В целом, как утверждается, возможно наращивание ресурсов до тысяч узлов F Node. Компания Vdura предлагает унифицированную высокопроизводительную инфраструктуру, которая способна поддерживать каждый этап жизненного цикла ИИ — от обучения модели до долгосрочного хранения данных.

Компания VAST Data, занимающаяся разработкой решений для управления данными, объявила о том, что её платформа получила поддержку блочного доступа в дополнение к файловым и объектным протоколам. Вместе с тем добавился и собственный брокер Kafka для потоковой обработки данных в режиме реального времени для рабочих нагрузок ИИ, машинного обучения и аналитики.

Утверждается, что VAST Data Platform, объединяющая хранилища, базы данных и виртуализированные вычислительные сервисы в бесшовную унифицированную систему, на сегодняшний день является единственным решением экзафлопсного класса, способным линейно масштабировать производительность параллельного доступа к данным любого типа — файлам, объектам, блокам, таблицам и потокам. При этом поддерживаются рабочие нагрузки всех видов.

Платформа VAST Data уже была оптимизирована для хранения неструктурированных данных, которые могут использоваться для обучения ИИ-моделей. Благодаря поддержке блочного хранилища система способна эффективно работать с классическими приложениями на основе структурированных данных, такими как реляционные базы данных, SQL/NoSQL, ERP и CRM, а также с виртуализированными (VMware, Hyper-V, KVM) и контейнеризированными рабочими нагрузками. Иными словами, клиенты могут консолидировать все свои службы хранения на единой платформе.

Источник изображения: VAST Data

Для всех типов хранилища — блочного, файлового, объектного, табличного и потокового — реализована поддержка моментальных снимков, репликации, многопользовательской среды, QoS, шифрования и служб контроля доступа на основе ролей. Утверждается, что в облаке AWS необходимо задействовать 21 отдельную службу, чтобы добиться такой же функциональности, которую предоставляет VAST Data Platform.

VAST Data отмечает, что в современных корпоративных средах виртуальные машины и контейнеры зачастую сосуществуют, что создаёт проблемы при управлении разрозненными системами хранения. VAST Data Platform объединяет указанные нагрузки в рамках единой унифицированной архитектуры хранения, что снижает эксплуатационные издержки, упрощает выделение ресурсов и обеспечивает оптимальную производительность.

Корпорация IBM анонсировала систему хранения FlashSystem C200 класса All-Flash, которая, как утверждается, предлагает оптимальный баланс цены, производительности и вместимости. Новинка может рассматриваться в качестве альтернативы платформам на основе HDD и гибридным решениям.

Устройство выполнено в форм-факторе 2U с двумя контроллерами. Задействованы в общей сложности 32 ядра Intel Xeon (модель процессоров не уточняется). Говорится о наличии 32 Гбайт «кеш-памяти». Установлены два блока питания неназванной мощности.

СХД базируется на накопителях FlashCore Modules (FCM) четвёртого поколения: задействованы проприетарные изделия IBM на чипах QLC NAND. Утверждается, что такие изделия обеспечивают в 5,5 раза больше циклов записи, чем стандартные QLC-накопители. В общей сложности в состав FlashSystem C200 включены 24 модуля FCM ёмкостью 46 Тбайт каждый. Это обеспечивает «сырую» вместимость в 1,1 Пбайт, тогда как эффективная ёмкость с учётом компрессии достигает 2,3 Пбайт. Заявленная задержка составляет 1–2 мс, показатель IOPS — до 200 тыс. Пропускная способность — до 23 Гбайт/с. Система оптимизирована для последовательных нагрузок.

Источник изображения: IBM

Система располагает восемью портами 10GbE. Опционально могут быть добавлены порты Ethernet в конфигурации 8 × 25/10GbE NVMe-TCP и Fibre Channel в конфигурации 16 × 32G FC/NVMe-FC. Кроме того, предусмотрен выделенный сетевой порт управления на основе разъёма RJ45.

FlashSystem C200 может применяться в составе многоуровневого хранилища. По заявлениям IBM, новая СХД обеспечивает 10-кратный прирост производительности по сравнению с решениями на базе HDD. При этом достигается снижение энергопотребления, а также повышение экономической эффективности благодаря сокращению капитальных затрат и расходов на техническое обслуживание. Новинка поступит в продажу 21 марта по цене $381 тыс.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.