Компания Nimbus Data создала мобильное хранилище BatArray, представляющее собой комбинацию All-Flash СХД FlashRack Turbo с электромобилем Tesla Cybertruck. По словам компании, BatArray позволит продемонстрировать энергоэффективность решений Nimbus Data и преимущества аккумуляторных технологий Tesla — это новый способ решать задачи по обработке или хранению данных в эпоху ИИ.

BatArray использует шесть 2U-систем FlashRack Turbo (глубина 21″), каждая из которых способна хранить 1,5 Пбайт, что суммарно даёт 9 Пбайт чистой ёмкости. Эффективная же ёмкость после компрессии и дедупликации может достигать 25 Пбайт. Кластер СХД запитан от розетки 240В/40А в кузове Cybertruck. Заряда таяговых АКБ хватит на 24 часа работы хранилища данных.

Патентованная архитектура Parallel Memory Architecture позволяет BatArray принимать данные со скоростью до 360 Гбайт/с. Это втрое быстрее, чем могли обеспечить фуры AWS Snowmobile. Все данные автоматически шифруются с использованием AES-256 с поддержкой KIMP. Скорость выгрузки данных и вовсе достигает 600 Гбайт/с. В наилучшем случае целиком заполнить BatArray можно за 7 часов, при этом оставшегося заряда АКБ хватит на проезд более 300 км без подзарядки. А используя 400G-трансиверы с FR4-волокном можно связать BatArray с нужным объектом на расстоянии до 2 км.

Источник изображения: Nimbus Data

Двухконтроллерная СХД FlashRack Turbo поддерживает установку 24 NVMe SSD (PCIe 4.0) ёмкостью до 64 Тбайт, а также 512-Тбайт SSP (Solid State Pack). Пиковая производительность составляет до 100 Гбайт/с (блоки 1 Мбайт) и 10 млн IOPS (4K-блоки). СХД поддерживает NVMe-oF (TCP/RoCE), iSCSI, iSER, FCP, SRP, NFS, SMB, AFP, S3, WebDAV, FTP. Для связи с миром доступны порты 10/25/50/100/200/400GbE, InfiniBand EDR/HDR/NDR и FC32/64. Энергопотребление не превышает 1100 Вт.

Компания Western Digital анонсировала платформу хранения данных OpenFlex Data24 4000 класса NVMe-oF JBOF с возможностью установки 24 NVMe SSD стандарта U.2. Например, могут применяться накопители Ultrastar DC SN655 вместимостью 15,36 Тбайт, что в сумме даст около 368 Тбайт ёмкости.

Система выполнена в форм-факторе 2U с размерами 85,5 × 491,1 × 628,65 мм. Задействованы хост-адаптеры RapidFlex на основе фирменных ASIC A2000 с возможностью использования в общей сложности до 12 портов 100GbE. Говорится о поддержке TCP и RoCEv2.

Производительность RoCEv2 достигает 27 млн операций ввода/вывода в секунду (IOPS) при произвольном чтении данных блоками по 4 Кбайт и 3 млн операций при произвольной записи. Скорость последовательного чтения и записи — до 135 и 92 Гбайт/с соответственно. В случае TCP показатель IOPS составляет до 21 млн при произвольном чтении и до 3 млн при произвольной записи. Скорость последовательного чтения и записи — до 113 и 86 Гбайт/с.

Источник изображения: Western Digital

Устройство OpenFlex Data24 4000 несёт на борту чип BMC с ядром Arm; имеется выделенный порт 1GbE для удалённого мониторинга и управления. Диапазон рабочих температур — от +10 до +35 °C. Питание обеспечивают два блока мощностью 800 Вт с сертификатом Titanium. Производитель предоставляет пятилетнюю гарантию.

Компания Pure Storage, разрабатывающая All-Flash СХД, инвестировала неназванную сумму в стартап Cerabyte, занимающийся созданием систем архивного хранения с использованием керамики. Основатель Pure Storage также получит место в совете директоров Cerabyte. В случае успеха новая технология сможет потеснить ленточные накопители, отгрузки которых в последние годы только растут. Сама Pure Storage тем временем намерена окончательно расправиться с HDD.

Разработка Cerabyte предусматривает использование покрытого тонким слоем керамики стекла или плёнки. Информация записывается на керамический слой в виде «ямок», быстро наносимых на поверхность лазером. Фактически речь идёт о вариации QR-кодов, считывать которые тоже можно с помощью лазера. Накопители можно хранить в роботизированной библиотеке на манер тех, что используются для ленточных накопителей. Но если последние необходимо менять приблизительно каждые десять лет, данные на керамике хранятся практически вечно, говорят создатели. Кроме того, плотность записи выше, чем у LTO.

Источник изображения: Cerabyte via Blocks&Files

Объём стратегических инвестиций не раскрывается, но известно, что в совет директоров Cerabyte войдёт основатель и директор по стратегии (Chief Visionary Officer) Pure Storage Джон Колгроув (John Colgrove). По его словам, партнёрство позволит предложить клиентам экобезопасные и надёжные решения для хранения данных, способные произвести революцию в индустрии. В Cerabyte рассчитывают, что партнёрство обеспечит её технологии коммерческое внедрение. В 2023 году компания начала работу в США и уже открыла офисы в Калифорнии и Колорадо.

Источник изображения: Cerabyte

По мнению экспертов Furthur Market Research, мировой запрос на хранилища зеттабайтного уровня плохо удовлетворяется из-за дороговизны и высокого энергопотребления текущих решений. СХД на основе технологий Cerabyte обеспечат экономически и экологически целесообразные альтернативы LTO для корпоративных клиентов. Фактически новое решение в случае успеха может серьёзно подорвать рынок ленточных накопителей и сопутствующих технологий. Демонстрация полностью готовых продуктов (чтение/запись 1+ Гбайт/с, задержка первого обращения не более 15 с, 10–30 Пбайт на стойку) ожидается приблизительно в 2026 году. Пока что у Cerabyte есть только рабочий прототип.

Аргоннская национальная лаборатория (ANL) Министерства энергетики США (DOE) обнародовала запрос на создание нового кластера хранения данных для своего парка суперкомпьютеров. Как сообщает ресурс Datacenter Dynamics, реализация проекта может обойтись в $15–$20 млн.

Речь идёт о создании СХД, которая обеспечит ёмкость и производительность, необходимые для поддержания работы действующих НРС-комплексов, а также будущих суперкомпьютеров. Отмечается, что на площадке Argonne Leadership Computing Facility (ALCF) развёрнуты несколько высокопроизводительных параллельных файловых систем для обработки данных, генерируемых исследователями и инженерами. Это, в частности две системы Lustre вместимостью 100 Пбайт с пропускной способностью 650 Гбайт/с. Обе они используют интерконнект Infiniband HDR.

Источник изображения: DOE

Новая СХД будет обладать ёмкостью на уровне 400 Пбайт. В число требований входят IOPS-производительность до 240 млн, пиковая пропускная способность в 6 Тбайт/с, совместимость с POSIX и возможность одновременного монтирования до 30 тыс. узлов. Поставщик должен обеспечивать поддержку в течение пяти лет.

Предполагается, что платформа будет использоваться суперкомпьютером Aurora, который в нынешнем рейтинге TOP500 занимает второе место с быстродействием 1,012 Эфлопс. Кроме того, доступ к СХД получит НРС-комплекс Polaris: его пиковая производительность составляет около 44 Пфлопс.

Проектируемая СХД должна обеспечивать «надёжность и масштабируемость, необходимые для следующего поколения HPC и ИИ». Поставку платформы исполнителю работ необходимо осуществить ко II или к IV кварталу 2025 года, если дополнительные полгода позволят внедрить новые технологии.

Дерек Дикер (Derek Dicker), генеральный директор Nyriad, рассказал о ходе продаж активов компании в рамках сворачивания бизнеса. Как сообщает ресурс Blocks & Files, правление Nyriad заключило три сделки при содействии неназванной третьей стороны.

Напомним, Nyriad была основана в 2014 году в Новой Зеландии, а первоначальной задачей было создание быстрого хранилища для обработки данных от радиоинтерферометра SKA (Square Kilometre Array), строительство которого затянулось. Nyriad разработала архитектуру СХД базе x86-процессоров и GPU NVIDIA, а также создала сопутствующее ПО Nsulate. Решение предлагалось сторонним клиентам в составе серверов хранения с ускорителями NVIDIA T4 и NVDIMM-модулями.

Источник изображения: Nyriad

Однако с развитием бизнеса возникли проблемы. Компания была вынуждена сократить штат приблизительно в два раза, а в руководстве начались перестановки. В июне 2023 года Nyriad объявила о необходимости привлечения дополнительного финансирования, а в январе 2024-го была вынуждена выставить себя на продажу. Тогда отмечалось, что компания ищет покупателя на все или часть своих активов.

И вот теперь Дикер сообщил о заключении трёх соглашений. Одна из сделок предусматривает продажу патентов Nyriad, вторая — основной части «оставшихся системных ресурсов». Кроме того, достигнута договорённость с третьей стороной о поддержке клиентов Nyriad, которые запросили обслуживание систем по условиям своих контрактов. «В настоящее время мы находимся в процессе выплаты средств кредиторам. Вскоре управление компанией будет передано третьей стороне, которая завершит процесс закрытия бизнеса», — отметил Дикер.

Компания Pure Storage объявила об обновлении своей платформы хранения данных, включая улучшение управления парком массивов, использование ИИ для выявления аномалий и новые соглашения SLA.

Решение Pure Fusion, которое автоматизирует оркестрацию и размещение рабочих нагрузок, теперь встроено в среду Purity. Решение объединяет массивы и оптимизирует пулы хранения «на лету» для структурированных и неструктурированных данных, как локально, так и в облаке, используя машинное обучение для оптимизации работы. Pure Fusion повится на всех платформах Pure Storage.

Источник изображений: Pure Storage via Blocks&Files

Также компания представила первый в индустрии (по её словам) интеллектуальный помощник для СХД — GenAI Copilot for storage, который «представляет собой радикально новый способ управления и защиты данных с использованием естественного языка». Он прошёл обучение на данных десятков тысяч клиентов Pure Storage и может оказать действенную помощь в работе команд по обслуживанию СХД при исследовании проблем с производительностью и управлением, а также для упреждения инцидентов безопасности. Эта функция использует несколько LLM в фоновом режиме, а также данные телеметрии от хранилищ пользователя.

Также Pure анонсировала три соглашения об уровне обслуживания (SLA) Evergreen//One Storage as-a-Service (STAaS), включая гарантию AI StaaS, восстановление после кибератаки и обеспечение устойчивости, а также возможность перераспределения обязательств по использованию хранилищ. Кроме того, используется новая система оценки безопасности и улучшенное обнаружение аномалий доступа к данным с помощью ИИ.

Соглашение об уровне обслуживания Evergreen//One AI Storage as-a-Service гарантирует, что производительности хранилища, обслуживающего ускорители, будет достаточно для поддержки рабочих нагрузок обучения, инференса и HPC. Более того, теперь можно не просто оплачивать только необходимые уровни производительности и пропускной способности, но и динамически менять их в зависимости от сиюминутных потребностей. А Site Rebalance SLA позволит раз в год перераспределять уже приобретённые ресурсы между несколькими площадками, если, например, одной из них более не требуется изначальный уровень обслуживания, а другой уже не хватает ресурсов.

Также компания расширила возможности Cyber Recovery and Resilience SLA — теперь заказчикам доступна услугу аварийного восстановление. Pure разработает индивидуальный план восстановления, а при наступлении «страхового случая» в заданные сроки доставит новое оборудование, развернёт его и поможет перенести данные.

А чтобы свести к минимуму различные инциденты, Pure Storage внедрила новую оценку рисков безопасности на уровне всего парка хранилищ. Компания даст практические рекомендации по максимизации киберустойчивости, основываясь на анализе более чем 10 тыс. эксплуатируемых массивов Pure, и будет обновлять их минимум ежеквартально, а также поможет клиентам соблюсти правила различных регуляторов. А AI Copilot позволит оценить защищённость и безопасность развёрнутых хранилищ.

Источник изображений: Pure Storage via StorageReview

Дополнительно Pure теперь предоставляет защищённые рабочие пространства для приложений с тщательным контролем доступа. Основная цель — простая и безопасная автоматизированная интеграция данных с кластерами ИИ без потери производительности, управляемости и защищённости. Новые функции обнаружения аномалий используют машинное обучение на исторических данных о работе хранилищ заказчика для обнаружения атак программ-вымогателей, вредоносной активности и DoS путём непрерывного мониторинга аномалий производительности. В случае атаки можно будет быстро найти последний незатронутый снимок данных и быстро восстановить работу.

Наконец, Pure Storage объявила о прохождении сертификации для работы с NVIDIA DGX BasePOD и NVIDIA OVX, а к концу года компания намерена провести сертификацию своих СХД и для работы с NVIDIA DGX SuperPOD. Компания утверждает, что у её массивов лучшая в отрасли энергоэффективность и что её СХД потребляют на 85 % меньше энергии, чем альтернативные All-Flash платформы. И именно это может помочь клиентам преодолеть ограничения по мощности в ЦОД, обслуживающих крупные ИИ-кластеры.

Разработчик ИИ-суперчипов Cerebras Systems анонсировал сотрудничество с Dell. Вместе компании займутся созданием передовых вычислительных инфраструктур для генеративного ИИ. В рамках сотрудничества будут создаваться масштабируемые решения для ИИ-суперкомпьютеров Cerebras с платформами Dell на базе процессоров AMD EPYC Genoa.

Источник изображения: Cerebras

По словам участников проекта, новые технологические решения дадут возможность обучать модели, на порядки более крупные, чем те, что есть на данный момент. В частности, будут задействованы системы Dell PowerEdge R6615 на базе AMD EPYC 9354P, которые предоставят потоковый доступ к 82 Тбайт памяти — для обучения моделей практически любого размера.

Совместные платформы Cerebras и Dell будут включать ИИ-системы и суперкомпьютеры. Также будет предложена тренировка ИИ-моделей и иные сервисы поддержки машинного обучения. Как утверждают в самой Cerebras, сотрудничество с Dell станет поворотной точкой, открывающие каналы глобальной дистрибуции. Компании предоставят ИИ-оборудование, ПО и экспертизу, что позволит заказчикам упростить и ускорить внедрении современных ИИ-технологий, попутно снизив TCO.

В марте Cerebras представила новейшие суперчипы Cerebras WSE-3, а в мае появилась новость, что совместно с Core42 из ОАЭ компания создаст суперкомпьютер Condor Galaxy 3 (CG-3) со 172,8 млн ИИ-ядер.

«Аквариус» и «Группа Астра» подписали оглашение о сотрудничестве по развитию и продвижению российских программно-аппаратных комплексов (ПАК) системы резервного копирования AQ_ServRuBackup (ПАК СРК AQ_ServRuBackup). В основу ПАК положены аппаратная платформа Aquarius, ОС Astra Linux и ПО для резервного копирования и восстановления данных RuBackup. Говорится о поддержке различных сред виртуализации, в том числе VMmanager.

Для ПАК СРК «Аквариус» предусмотрены несколько модификаций с разными ёмкостью и производительностью. Это варианты «Начальный», «Оптимальный» и «Скоростной» на основе серверов «Аквариус» T50 D212FW (2U), «Аквариус» T50 D436FW (4U) и «Аквариус» T50 D224FW (2U) соответственно.

В первых двух случаях применяются HDD типа NL SAS (7200 RPM), а максимальная вместимость достигает 320 Тбайт и 1,2 Пбайт соответственно. Старшая «скоростная» модель комплектуется накопителями SATA SSD суммарной вместимостью до 1,2 Пбайт. Все системы оснащены двумя портами 10/25GbE SFP28, а опционально могут быть добавлены по четыре разъёма 1GbE RJ-45 и 10GbE RJ-45, два порта 10GbE SFP+ и два порта 100GbE QSFP28 (только у старшей версии).

Источник изображения: «Аквариус»

Благодаря решению RuBackup комплексы, как утверждается, обеспечивают надёжную защиту данных от различных рисков, включая сбои оборудования, человеческие ошибки, кибератаки, повреждения и стихийные бедствия. Среди ключевых особенностей систем названы масштабируемость для предприятий и организаций федерального уровня, полная автоматизация процесса резервного копирования, управление его жизненным циклом, эффективное хранение данных с защитой от удаления, изменения и подмены, а также встроенные средства контроля информационной безопасности.

«ПАК СРК AQ_ServRuBackup — это сбалансированное архитектурное решение, оптимизирующее затраты на проектирование и интеграцию. Совместное решение способно закрыть потребности как организаций со сложной инфраструктурой корпоративного уровня, так и небольших компаний», — говорит глава «Рубэкап» (входит в «Группу Астра»).

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о приобретении компании по управлению данными Tabular. Точная сумма сделки не раскрывается, но глава Databricks Али Годси (Ali Ghodsi) сообщил в интервью CNBC, что стоимость покупки превышает $1 млрд. Соучредители Tabular присоединятся к Databricks, где будут работать над объединением клиентских баз и сообществ Tabular и Databricks.

Компания Tabular была основана ими в 2021 году. Она предлагает продукты для управления данными, созданные на основе Apache Iceberg — проекта, которым создатели Tabular занимались в Netflix и позже передали в дар фонду Apache Software Foundation. Iceberg — открытый формат для таблиц сверхбольших данных. Databricks предлагает объектно-ориентированное озеро данных Lakehouse на базе собственного открытого формата Delta Lake.

Источник изображения: Tabular

С момента создания Delta Lake в проекте приняли участие более 500 разработчиков. Более 10 тысю компаний по всему миру используют Delta Lake для обработки в среднем более 4 Эбайт данных каждый день. Это быстрорастущий бизнес, но Iceberg-решения не менее популярны и конкурируют с решениями Databricks, отметил ресурс Blocks & Files. При этом о полной совместимости между Iceberg и Delta Lake речи не было.

Но в 2023 году компания также представила UniForm-таблицы, позволяющие работать с Delta Lake, Iceberg и Hudi. А после поглощения Databricks будет тесно сотрудничать с сообществами Delta Lake и Iceberg для разработки совместимых форматов озёр данных. В краткосрочной перспективе это будет реализовано в рамках Delta Lake UniForm, а в долгосрочной перспективе будет создан единый, открытый и общий стандарт.

Компания Qumulo сообщила о вступлении в консорциум Ultra Ethernet Consortium (UEC), который был сформирован в июле 2023 года. Кроме того, Qumulo объявила о сотрудничестве с Intel и Arista Networks для продвижения передовых IT-инфраструктур, использующих современные сетевые технологии, а также средства хранения и управления данными.

Группа Ultra Ethernet занимается разработкой открытой высокопроизводительной сетевой архитектуры с полным коммуникационным стеком, отвечающей задачам современных рабочих нагрузок ИИ и НРС. Основателями UEC стали AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta✴ и Microsoft. Впоследствии к группе присоединились многие другие компании, включая Nokia, Lenovo, Baidu, Dell, Huawei, IBM, Supermicro, Tencent и пр. В состав Ultra Ethernet Consortium также вошла Cornelis Networks, поставщик HPC-интерконнекта Omni-Path. А вот NVIDIA в UEC не входит.

Источник изображения: Qumulo

Qumulo, как отмечается, стала первым разработчиком хранилищ, присоединившимся к консорциуму Ultra Ethernet. Технический директор отмечает, что новые решения, разрабатывающиеся в рамках консорциума, в перспективе будут определять способы передачи данных по сетям, улучшая взаимодействие вычислительных систем и хранилищ информации. При этом станет возможным упрощение архитектуры при одновременном повышении производительности и надёжности.

На сегодняшний день Qumulo развернула более 1 Эбайт хранилищ среди сотен клиентов, используя системы на базе Arista Extensible Operating System (EOS). Вице-президент по развитию бизнеса и стратегическим альянсам Arista Networks говорит о том, что участие Qumulo в Ultra Ethernet Consortium будет способствовать ускорению внедрения новых технологий. Ожидается, что результаты работы группы помогут в развёртывании высокопроизводительных и масштабируемых сетей для современных приложений, связанных в том числе с ИИ.