Разработчик ИИ-ускорителей Groq взял на вооружение языковую модель Meta✴ LLaMA

 

Стартап Groq, специализирующийся на разработке ИИ-ускорителей, сообщил об адаптации языковой модели Meta LLaMA для своих аппаратных решений. Изначально эта модель ориентирована на работу в системах, оснащённых ускорителями NVIDIA.

Meta анонсировала LLaMA в конце февраля 2023 года. Модель предназначена для создания чат-ботов вроде ChatGPT. Количество параметров в случае LLaMA может варьироваться от 7 до 65 млрд против 175 млрд у OpenAI GPT-3, которая является основой ChatGPT. При этом, как утверждается, по производительности LLaMA выигрывает у GPT-3.

 Источник изображения: Groq

Источник изображения: Groq

По заявлениям Groq, команде компании из менее чем десяти человек понадобилось около недели для переноса LLaMA на собственную аппаратную платформу. Модель была запущена на сервере GroqNode, который оборудован восемью одноядерными процессорами GroqChip.

«Мы быстро перенесли LLaMA на GroqChip, несмотря на то, что эта модель изначально не предназначена для нашего оборудования. Для подготовки кода для компилятора Groq требуется минимальная работа. Связано это с тем, что компилятор Groq обнаруживает параллелизм программы и оптимальные макеты данных автоматически — вручную написанный код не требуется», — отмечает Groq.

Таким образом, теперь исследователи, а также специалисты по обработке и анализу данных смогут использовать передовую языковую ИИ-модель LLaMA на оборудовании Groq. Ожидается, что это повысит скорость разработки продуктов и их вывода на коммерческий рынок.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Источник:

Постоянный URL: https://servernews.kz/1083274

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus