Storage Networking Industry Association (SNIA) — некоммерческая организация, специализирующаяся на технологиях обработки и оптимизации данных — анонсировала проект Storage.AI, основанный на открытых стандартах для эффективных сервисов обработки данных, связанных с рабочими ИИ-нагрузками. Проект будет сфокусирован на стандартных для отрасли, непатентованных и нейтральных подходах к решению задач, связанных с обработкой данных для ИИ, с целью оптимизации производительности, энергоэффективности и экономичности соответствующих рабочих процессов.

К инициативе уже присоединились AMD, Cisco, DDN, Dell, IBM, Intel, KIOXIA, Microchip, Micron, NetApp, Pure Storage, Samsung, Seagate, Solidigm и WEKA. Отдельно отмечается отсутствие NVIDIA — крупнейшего поставщика ИИ-ускорителей.

Источник изображений: SNIA

Как указано в пресс-релизе, рабочие ИИ-нагрузки чрезвычайно сложны и ограничены такими факторами, как задержки, доступное пространство, энергопотребление и охлаждение, объём памяти и стоимость. Решение этих проблем в рамках открытой отраслевой инициативы рассматривается как наиболее быстрый путь к оптимизации и широкому внедрению ИИ.

По словам Дж. Метца (J Metz), председателя SNIA, беспрецедентные требования со стороны ИИ требуют целостного взгляда на весь конвейер данных — от храненилищ и памяти до сетевых технологий и вычислений. Он подчеркнул, что Storage.AI предоставляет отраслевому сообществу независимую от вендоров платформу, предназначенную для координации широкого спектра сервисов обработки данных и создания эффективных, открытых решений, необходимых для ускоренного внедрения ИИ-технологий.

Инициатива координирует ряд технических спецификаций, которые до сих пор существовали обособленно и не были адаптированы под нужды ИИ-нагрузок.

Первоначальный набор спецификаций включает:

• интерфейс SDXI (Smart Data Accelerator Interface) для перемещения данных в памяти на аппаратном уровне;
• протоколы прямого доступа к ускорителям;
• стандарты I/O, инициируемого ускорителем;
• реализации файлов и объектов через RDMA;
• фреймворки Compute-near-storage;
• модели программирования NVM (энергонезависимой памяти).

Предполагается, что в рамках проекта Storage.AI будет создана открытая экосистема эффективных сервисов обработки данных, способных справляться с наиболее сложными задачами, связанными с ИИ-нагрузками, и устранять текущие пробелы в обработке и доступе к данным. В обеспечении широкой поддержки экосистемы также примут участие партнёры SNIA, включая UEC, NVM Express, OCP, OFA, DMTF и SPEC.

DNA Data Storage Alliance, сообщество при ассоциации SNIA (Storage Networking Industry Association), подготовило обзор технологии хранения данных на основе синтетических ДНК. В числе прочего, рассматриваются технологии кодирования/декодирования информации, метрики готовности к коммерческому использованию и основные вызовы, сообщает Blocks & Files.

Данные в ДНК кодируются с помощью четырёх нуклеотидов: аденина (A), гуанина (G), цитозина (C) и тимина (T). Они формируют спираль биополимерной молекулы. Данные в этом случае могут храниться в очень небольшом объёме и веками. Хранение данных в ДНК уже неоднократно опробовано экспериментально, но невысокая скорость записи и чтения, а также размеры оборудования для этого, его большая сложность и высокая стоимость пока не позволяют даже мечтать о коммерчески успешном продукте.

Источник изображения: SNIA

В обзорном документе выделены пять ключевых вызовов:

• Низкая скорость записи/чтения из-за химической природы реакций;
• Высокая совокупная стоимость владения (TCO);
• Надёжность носителя и сохранность данных;
• Био- и информационная безопасность;
• Стандартизации.

Авторы доклада подчёркивают, что скорость передачи данных в традиционных накопителях заметно выше и значительно превышает возможности биотехнологических методов чтения и записи ДНК. Увеличение скорости — одна из фундаментальных задач. Поскольку речь идёт о медленных химических реакциях, достигнуть роста скорости можно было бы масштабированием параллельных операций записи/чтения. Кроме того, нужно уменьшать совокупную стоимость владения.

Документ заключает, что технология хранения данных в ДНК находится на ранней стадии развития и пока далека от коммерциализации, но базовые процессы записи/чтения, а также хранения информации уже доказали работоспособность и возможность масштабирования платформ. Более того, непрекращающиеся инвестиции в технологии работы с ДНК помогут дальнейшим инновациям.

Источник изображения: SNIA

Ожидается, что ДНК-хранилища дополнят, а не заменят существующие технологии архивирования, позволяя создавать относительно недорогие долгосрочные хранилища зеттабайтного уровня. Предполагается, что сценарии прикладного использования технологии появятся в ближайшие три-пять лет. По оценкам Blocks & Files, ключевыми игроками станут Biomemory, Catalog и Atlas Data Storage.

Есть и другие перспективные альтернативы. Так, HoloMem предложила недорогую и эффективную замену LTO и другим системам — 200-Тбайт картриджи HoloDrive, которые прослужат не менее 50 лет.