Стартап Groq, специализирующийся на разработке ИИ-ускорителей, сообщил об адаптации языковой модели Meta✴ LLaMA для своих аппаратных решений. Изначально эта модель ориентирована на работу в системах, оснащённых ускорителями NVIDIA.
Meta✴ анонсировала LLaMA в конце февраля 2023 года. Модель предназначена для создания чат-ботов вроде ChatGPT. Количество параметров в случае LLaMA может варьироваться от 7 до 65 млрд против 175 млрд у OpenAI GPT-3, которая является основой ChatGPT. При этом, как утверждается, по производительности LLaMA выигрывает у GPT-3.
Источник изображения: Groq
По заявлениям Groq, команде компании из менее чем десяти человек понадобилось около недели для переноса LLaMA на собственную аппаратную платформу. Модель была запущена на сервере GroqNode, который оборудован восемью одноядерными процессорами GroqChip.
«Мы быстро перенесли LLaMA на GroqChip, несмотря на то, что эта модель изначально не предназначена для нашего оборудования. Для подготовки кода для компилятора Groq требуется минимальная работа. Связано это с тем, что компилятор Groq обнаруживает параллелизм программы и оптимальные макеты данных автоматически — вручную написанный код не требуется», — отмечает Groq.
Таким образом, теперь исследователи, а также специалисты по обработке и анализу данных смогут использовать передовую языковую ИИ-модель LLaMA на оборудовании Groq. Ожидается, что это повысит скорость разработки продуктов и их вывода на коммерческий рынок.
Источник:
