Организация Open Compute Project Foundation (OCP) объявила о формировании альянса Microscaling Formats (MX) Alliance, который займётся стандартизацией новых форматов данных для ИИ. Проект поддержали AMD, Arm, Intel, Meta✴, Microsoft, NVIDIA и Qualcomm.
Традиционными форматами чисел с плавающей запятой являются FP32 (одинарная точность) и FP16 (половинная точность). Однако при решении задач ИИ целесообразно применять вычисления с более низкой точностью для повышения производительности и снижения затрат энергии. Ранее был внедрён формат FP8, а также различные вендорские решения вроде BF16 или TF32. Для инференса же всё чаще применяется INT8.
Источник изображения: pixabay.com
Теперь участники альянса MX предлагают стандартизовать 6- и 4-бит типы данных для обучения ИИ-моделей и инференса. Предполагается, что форматы MX будут востребованы в различных сценариях, таких как большие языковые модели (LLM), компьютерное зрение и рекомендательные системы. Причём использование вычислений с такой точностью не потребует каких-либо изменений в традиционных алгоритмах обучения.
Изначально спецификация MX (OCP MX v1.0) предусматривает четыре формата данных: MXFP8, MXFP6, MXFP4 и MXINT8. Они, как утверждается, совместимы с существующими платформами ИИ, а также обеспечивают гибкость реализации как на аппаратном, так и на программном уровне. Появление новых форматов данных поможет ускорить реализацию ряда ИИ-проектов благодаря снижению требований к объёму памяти и пропускной способности интерфейсов.
Источник:
