Создан альянс по стандартизации новых форматов данных для ИИ: в нём участвуют AMD, Arm, Intel и NVIDIA

 

Организация Open Compute Project Foundation (OCP) объявила о формировании альянса Microscaling Formats (MX) Alliance, который займётся стандартизацией новых форматов данных для ИИ. Проект поддержали AMD, Arm, Intel, Meta, Microsoft, NVIDIA и Qualcomm.

Традиционными форматами чисел с плавающей запятой являются FP32 (одинарная точность) и FP16 (половинная точность). Однако при решении задач ИИ целесообразно применять вычисления с более низкой точностью для повышения производительности и снижения затрат энергии. Ранее был внедрён формат FP8, а также различные вендорские решения вроде BF16 или TF32. Для инференса же всё чаще применяется INT8.

 Источник изображения: pixabay.com

Источник изображения: pixabay.com

Теперь участники альянса MX предлагают стандартизовать 6- и 4-бит типы данных для обучения ИИ-моделей и инференса. Предполагается, что форматы MX будут востребованы в различных сценариях, таких как большие языковые модели (LLM), компьютерное зрение и рекомендательные системы. Причём использование вычислений с такой точностью не потребует каких-либо изменений в традиционных алгоритмах обучения.

Изначально спецификация MX (OCP MX v1.0) предусматривает четыре формата данных: MXFP8, MXFP6, MXFP4 и MXINT8. Они, как утверждается, совместимы с существующими платформами ИИ, а также обеспечивают гибкость реализации как на аппаратном, так и на программном уровне. Появление новых форматов данных поможет ускорить реализацию ряда ИИ-проектов благодаря снижению требований к объёму памяти и пропускной способности интерфейсов.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Источник:

Постоянный URL: https://servernews.kz/1094834

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus