Компания Hailo сообщила о коммерческой доступности изделия Hailo-10H — ИИ-ускорителя второго поколения, ориентированного на работу с генеративными приложениями на периферии. Новинка доступна в виде интегрируемого чипа COB (Chip On Board), а также в виде модулей формата M.2 Key M 2242/2280. По словам компании. при энергопотреблении всего 2,5 Вт новинка способна выдавать более 10 токенов в секунду на моделях с 2 млрд параметров, при этом на отдачу первого токена уходит менее одной секунды. Также чип позволяет детектировать объекты в режиме реального времени в видеопотоке 4K.

По заявлениям разработчика, Hailo-10H позволяет использовать большие языковые модели (LLM), визуально-языковые модели (VLM) и другие модели генеративного ИИ локально — без необходимости подключения к облаку. Это выводит ИИ-возможности периферийных устройств на новый уровень. Кроме того, обеспечивается ряд других преимуществ по сравнению с обработкой информации в облаке. В частности, достигается высокий уровень конфиденциальности, поскольку персональные данные не пересылаются на сторонние серверы, а остаются на устройстве. Отпадает также необходимость оплаты облачных вычислительных ресурсов.

Источник изображений: Hailo

Ускоритель Hailo-10H может использоваться в системах с CPU на архитектурах x86 и Arm. Энергопотребление находится на уровне 2,5 Вт. Говорится о совместимости с Linux, Windows и Android, а также с фреймворками TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX. Изделия в виде модулей М.2 используют интерфейс PCIe 3.0 x4. Объём встроенной памяти LPDDR4/4X составляет 4 или 8 Гбайт. Предусмотрены индустриальный и автомобильный варианты исполнения: в первом случае диапазон рабочих температур простирается от -40 до +85 °C, во втором — от -40 до +105 °C.

Производительность Hailo-10H достигает 40 TOPS в режиме INT4 и 20 TOPS в режиме INT8. Ускоритель полностью совместим с программным стеком Hailo. Среди ключевых сфер применения новинки названы автомобилестроение, телекоммуникации, розничная торговля, информационная безопасность, персональные компьютеры и пр.

Компания AAEON пополнила ассортимент одноплатных компьютеров моделью UP Squared Pro 710H на аппаратной платформе Intel Alder Lake-N. Новинка, предназначенная для ИИ-приложений, поддерживает работу с Windows 10 IoT Enterprise, Ubuntu 22.04 LTS и Yocto 4.0.

Устройство имеет размеры 101,6 × 101,6 мм. В зависимости от модификации установлен чип Intel Processor N97 (4 ядра, 4 потока; до 3,6 ГГц; 12 Вт) или Core i3-N305 (8 ядер, 8 потоков; до 3,8 ГГц; 15 Вт). Имеется встроенный контроллер Intel UHD Graphics. Объём памяти LPDDR5 достигает 16 Гбайт, вместимость встроенного модуля eMMC — 128 Гбайт.

Одноплатный компьютер несёт на борту ИИ-ускоритель Hailo-8, который обеспечивает производительность до 26 TOPS. Доступны коннекторы M.2 2280 M-Key (PCIe 3.0 x2) для SSD, M.2 2230 E-Key (PCIe 3.0, USB 2.0) для комбинированного адаптера Wi-Fi/Bluetooth и M.2 3052 B-Key (USB 3.2 Gen2; опционально) для сотового модема. Есть два сетевых порта 2.5GbE на основе контроллера Intel I226-IT, модуль TPM 2.0 и слот для карты nano-SIM.

Источник изображения: AAEON

Изделие оснащено интерфейсами HDMI 2.0b и DisplayPort 1.2 для вывода изображения, двумя портами USB 3.2 Gen2 Type-A, гнёздами RJ-45 для сетевых кабелей, 40-контактной колодкой GPIO, а также коннектором MIPI-CSI. Через разъёмы на плате можно задействовать два последовательных порта и порт USB 2.0 Type-A. Питание в диапазоне 12–36 В подаётся через DC-разъём.

Эксплуатировать устройство можно при температурах от 0 до +60 °C. Одноплатный компьютер будет доступен в виде edge-системы с корпусом, допускающим монтаж на стену, DIN-рейку и крепление VESA. В таком виде габариты составляют 134 × 105 × 60 мм.

Компания Raspberry Pi представила под собственным брендом первые SSD и наборы SSD Kit для одноплатного компьютера Raspberry Pi 5. Дебютировали накопители в форм-факторе M.2 2230 вместимостью 256 и 512 Гбайт.

На сайте Raspberry Pi говорится, что SSD используют интерфейс PCIe 3.0 (NVMe 1.4). Однако в описании самого мини-компьютера Raspberry Pi 5 упомянута только поддержка PCIe 2.0 x1 (для подключения периферии). Ресурс Tom's Hardware отмечает, что совместимость с PCIe 3.0 можно задать в настройках raspi-config, что позволит повысить скорость передачи данных.

Для установки накопителей на Raspberry Pi 5 требуется модуль Raspberry Pi M.2 HAT+ (Hardware Attached on Top) с коннектором M.2: эта вспомогательная плата изначально включена в комплекты SSD Kit. В набор также входят соединительный шлейф и необходимый крепёж.

В характеристиках SSD указан показатель IOPS (операций ввода-вывода в секунду) при работе с блоками данных по 4 Кбайт. У младшей версии он достигает 40 тыс. при произвольном чтении и 70 тыс. при произвольной записи, у старшей — 50 тыс. и 90 тыс. соответственно. Диапазон рабочих температур — от 0 до +70 °C.

Источник изображений: Raspberry Pi

Стоимость накопителя на 256 Гбайт составляет $30, на 512 Гбайт — $45. Комплекты с модулем Raspberry Pi M.2 HAT+ обойдутся в $40 и $55. Приём заказов уже начался. Производиться новинки будут минимум до января 2032 года.

Также компания представила обновлённый вариант ИИ-модуля для инференса — Raspberry Pi AI HAT+. От представленного ранее AI Kit новинка отличается тем, что теперь чип ускорителя интегрирован непосредственно на плату, а не подключается через M.2-коннектор. На выбор по-прежнему доступны чипы Hailo-8 (26 TOPS) и Hailo-8L (13 TOPS). Стоят модули с ними $110 и $70 соответственно. Диапазон рабочих температур — от 0 до +50 °C. Выпускаться модули будут минимум до января 2030 года.

Команда Raspberry Pi анонсировала комплект Raspberry Pi AI Kit, который позволяет наделить ИИ-возможностями одноплатный компьютер Raspberry Pi 5, дебютировавший в сентябре 2023 года. Модуль расширения уже доступен для заказа по ориентировочной цене $70.

В основу Raspberry Pi AI Kit положен ИИ-чип Hailo-8L, созданный Hailo Technologies. Это изделие ориентировано на приложения, которым не требуется слишком высокое ИИ-быстродействие. Заявленное быстродействие достигает 13 TOPS, а стандартное энергопотребление составляет 1,5 Вт.

Источник изображений: Raspberry Pi

В случае Raspberry Pi AI Kit чип Hailo-8L установлен на модуль типоразмера M.2 2242, который подключается к соответствующему коннектору на плате расширения M.2 HAT+. Эта плата, в свою очередь, обменивается данными с Raspberry Pi 5 посредством интерфейса PCIe 2.0. Габариты M.2 HAT+ составляют 65 × 56,5 × 5,6 мм. Заявленный диапазон рабочих температур простирается от 0 до +50 °C. Новинка может быть смонтирована поверх одноплатного компьютера.

Отмечается, что при использовании обновлённой версии Raspberry Pi OS распознавание чипа Hailo-8L происходит автоматически, после чего ускоритель становится доступен для обработки ИИ-нагрузок. Говорится о полной интеграции с программным стеком Raspberry Pi Camera, что позволяет реализовывать различные приложения на основе машинного зрения.

Компания Hailo Technologies, специализирующаяся на разработке ИИ-чипов, сообщила о проведении инвестиционного раунда Series C, в ходе которого на развитие получено $120 млн. Таким образом, на сегодняшний день стартап привлёк в общей сложности более $340 млн.

Фирма Hailo была основана в Израиле в 2017 году. Представительства расположены в США, Европе, Японии, Южной Корее, Китае и на Тайване. Компания поставляет свои ИИ-решения более чем 300 клиентам по всему миру.

Источник изображения: Hailo

Стартап проектирует ИИ-ускорители, которые позволяют перенести определённые нагрузки из облака или ЦОД на периферию: это сокращает задержки и снижает зависимость от пропускной способности интернет-соединения. Недавно дебютировало ИИ-решение Hailo-10 в виде модуля M.2 2242/2280, которое обеспечивает производительность до 40 TOPS. При этом энергопотребление на типовых задачах составляет менее 3,5 Вт.

В раунде C приняли участие существующие и новые инвесторы. Это, в частности, семья Зисапель (Zisapel), Гиль Агмон (Gil Agmon), Альфред Акиров (Alfred Akirov), DCLBA, Vasuki, OurCrowd, Talcar, Comasco, Automotive Equipment (AEV) и Poalim Equity. Полученные средства будут направлены на укрепление рыночного положения и развитие продуктового семейства. «Закрытие нового раунда финансирования позволит нам создать основу для долгосрочного роста. Вместе с выпуском ИИ-ускорителя Hailo-10 это поможет во внедрении классического и генеративного ИИ на периферии», — говорит глава Hailo.

Компания Hailo анонсировала специализированный модуль Hailo-10, предназначенный для обслуживания генеративного ИИ. Этот ускоритель с высокой энергетической эффективностью может быть установлен, например, в рабочую станцию или edge-систему.

Изделие выполнено в форм-факторе M.2 Key M 2242/2280 с интерфейсом PCIe 3.0 х4. В оснащение входят чип Hailo-10H и 8 Гбайт памяти LPDDR4. Говорится о совместимости с компьютерами, оснащёнными CPU на архитектурах x86 и Aarch64 (Arm64). Заявлена поддержка Windows 11, а также ИИ-фреймворков TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX.

Источник изображения: Hailo

Как отмечает Hailo, новинка обеспечивает ИИ-производительность до 40 TOPS. Типовое энергопотребление составляет менее 3,5 Вт. Утверждается, что ИИ-модуль поддерживает нагрузки, связанные с инференсом, в режиме реального времени. Например, при работе с большой языковой моделью Llama2-7B достигается скорость до 10 токенов в секунду (TPS). При использовании Stable Diffusion 2.1 возможна генерация одного изображения на основе текста менее чем за 5 с.

Применение Hailo-10 позволяет перенести определённые ИИ-нагрузки из облака или дата-центра на периферию. Это снижает задержки и даёт возможность решать задачи в офлайновом режиме. Изначально новинка будет позиционироваться для применения в сферах ПК и автомобильных информационно-развлекательных комплексов для обеспечения работы чат-ботов, средств автопилотирования, персональных помощников и систем с голосовым управлением.

Поставки образцов Hailo-10 будут организованы во II квартале 2024 года. В ассортименте компании также присутствует ускоритель Hailo-8 в формате M.2: он обеспечивает производительность до 26 TOPS и при этом имеет энергоэффективность 3 TOPS/Вт.

Hailo, производитель микросхем для систем искусственного интеллекта (ИИ), выпустила новые высокопроизводительные модули в форм-факторах M.2 и mini PCIe для расширения возможностей периферийных систем.

Источник изображений: Hailo

Модули на базе процессора Hailo-8 можно подключать к различным периферийным устройствам, что позволяет использовать возможности ИИ в умных домах, розничной торговле и промышленности.

Модули Hailo легко интегрируются в стандартные платформы, такие как TensorFlow и ONNX, что позволяет значительно упростить использование новинок в комплексных решениях. Заказчики могут оперативно перенести свои решения с нейронными сетями на модули Hailo-8.

Спрос на высокопроизводительные периферийные устройства постоянно растет, поэтому безвентиляторные модули Hailo-8 будут востребованы, например, в видеоаналитике, либо для подключения большого количества внешних датчиков для сбора и обработки информации в режиме реального времени. Процессор Hailo-8 способен обеспечить 26 TOPS, при этом имеет энергоэффективность 3 TOPS/Вт.

Модуль Hailo-8 M.2 уже интегрирован в следующее поколение Foxconn BOXiedge (24-ядерный мини сервер, который потребляет всего 30 Вт, при этом обладает неплохими показателями производительности). Наличие готового продукта позволит ускорить внедрение новых модулей в периферийные вычисления и значительно упростить этот процесс для конечного заказчика.