Компания Qualcomm анонсировала сразу четыре SoC для различного IoT-оборудования — дронов, устройств для облачных игр, мобильных гаджетов и пр. Изделия, представленные в ходе отраслевой выставки Hannover Messe 2023, получили обозначения QCS8550, QCM8550, QCS4490 и QCM4490.

Первые два из дебютировавших чипов — это мощные модели, единственное различие между которыми заключается в том, что вариант «М» имеет встроенный сотовый модем. Они изготавливаются по 4-нм технологии. Конфигурация включает одно ядро Kryo GoldPlus (3,2 ГГц), четыре ядра Gold (2,8 ГГц) и три ядра Silver (2,0 ГГц). Возможно использование оперативной памяти LPDDR5/5x-4200.

Источник изображения: Qualcomm

В состав SoC входят блок Adreno 740 GPU, приёмник GPS/GLONASS/BeiDou/Galileo/QZSS/NavIC, адаптеры Wi-Fi 7 (802.11be) и Bluetooth 5.3, модуль сенсоров Qualcomm Sensing Hub 3.0, NPU-блок Qualcomm Hexagon Tensor Processor (HTP) и пр. Поддерживается фотосъёмка с разрешением до 200 МПикс. Чип QCM8550 наделён модемом 5G. Возможно декодирование видеоматериалов 4K240/8K60. Новинки подходят для таких сфер применения, как автономные мобильные роботы, промышленные дроны, ИИ-устройства и др.

В свою очередь, QCS4490 и QCM4490 оптимизированы для мобильных Android-гаджетов. Они получили два ядра Gold A78 (2,4 ГГц) и шесть ядер Silver A55 (2,0 ГГц), ускоритель Adreno GPU 613, контроллер памяти LPDDR4X/LPDDR5, адаптеры Wi-Fi 6E и Bluetooth 5.2 и поддержку GPS/BeiDou/GLONASS/Galileo/NavIC. В состав QCM4490 включён модем 5G.

Компании DFI и Qualcomm в ходе конференции Embedded World 2023 анонсировали первый в мире одноплатный компьютер, оборудованный процессором Qualcomm QRB5165. Новинка предназначена для систем промышленной автоматизации, робототехники, периферийных ИИ-вычислений и пр.

Чип Qualcomm QRB5165 содержит восемь вычислительных ядер Kryo 585 с тактовой частотой до 2,84 ГГц, графический ускоритель Adreno 650, ISP-блок Qualcomm Spectra 480, а также цифровой сигнальный процессор Hexagon 698. Говорится о поддержке OpenGL ES 3.2, Vulkan 1.1, DX12 и OpenCL 2.0.

Источник изображения: DFI

Одноплатный компьютер выполнен в формате 3,5″ с габаритами 146 × 102 мм. Объём оперативной памяти LPDDR4 может составлять 6/8 Гбайт (в дальнейшем планируется реализация поддержки LPDDR5). Для хранения данных служит флеш-модуль UFS 3.0 вместимостью 128 Гбайт.

Платформа Qualcomm QRB5165 обеспечивает поддержку Wi-Fi 6 (802.11ax) и Bluetooth 5.1. Плата наделена коннекторами M.2 B key 3052/2242 (PCIe x2, USB 3.1) и M.2 E key 2230 (PCIe x1), а также слотом Nano SIM. Таким образом, может быть добавлен модуль для работы в сотовых сетях.

Доступны по два порта USB 3.1 Gen1 Type-A и USB 2.0, разъём USB 3.1 Type-C, последовательный порт RS232/422/485 (DB9), сетевой разъём RJ-45 (1GbE), интерфейс HDMI 1.4, коннектор Micro-USB, стандартное аудиогнездо на 3,5 мм. Питание подаётся через разъём DC (12 В). Упомянута CAN-шина. Диапазон рабочих температур — от 0 до +60 ºC. Говорится о совместимости с ОС Ubuntu 18.04 (ядро 4.19).

Ускорители работы с нейросетями делятся, грубо говоря, на две категории: для обучения и для исполнения (инференса). Именно для последнего случая важна не столько «чистая» производительность, сколько сочетание производительности с экономичностью, так как работают такие устройства зачастую в стеснённых с точки зрения питания условиях. Компания Qualcomm предлагает новые ускорители Cloud AI 100, сочетающие оба параметра.

Сам нейропроцессор Cloud AI 100 был впервые анонсирован ещё весной прошлого года, и Qualcomm объявила, что этот чип разработан с нуля и обеспечивает вдесятеро более высокий уровень производительности в пересчёте на ватт, в сравнении с существовавшими на тот момент решениями. Начало поставок было запланировано на вторую половину 2019 года, но как мы видим, по-настоящему ускорители на базе данного чипа на рынке появились только сейчас, причём речь идёт о достаточно ограниченных, «пробных» объёмах поставок.

В отличие от графических процессоров и ПЛИС-акселераторов, которые часто применяются при обучении нейросетей и, будучи универсальными, потребляют при этом серьёзные объёмы энергии, инференс-чипы обычно представляют собой специализированные ASIC. Таковы, например, Google TPU Edge, к этому же классу относится и Cloud AI 100. Узкая специализация позволяет сконцентрироваться на достижении максимальной производительности в определённых задачах, и Cloud AI 100 более чем в 50 раз превосходит блок инференс-процессора, входящий в состав популярной SoC Qualcomm Snapdragon 855.

На приводимых Qualcomm слайдах архитектура Cloud AI 100 выглядит достаточно простой: чип представляет собой набор специализированных интеллектуальных блоков (IP, до 16 юнитов в зависимости от модели), дополненный контроллерами LPDDR (4 канала, до 32 Гбайт, 134 Гбайт/с), PCI Express (до 8 линий 4.0), а также управляющим модулем. Имеется некоторый объём быстрой набортной SRAM (до 144 Мбайт). С точки зрения поддерживаемых форматов вычислений всё достаточно универсально: реализованы INT8, INT16, FP16 и FP32. Правда, bfloat16 не «доложили».

Об эффективности новинки говорят приведённые самой Qualcomm данные: если за базовый уровень принять систему на базе процессоров Intel Cascade Lake с потреблением 440 Ватт, то Qualcomm Cloud AI 100 в тесте ResNet-50 быстрее на два порядка при потреблении всего 20 Ватт. Это, разумеется, не предел: на рынок новый инференс-ускоритель может поставляться в трёх различных вариантах, два из которых компактные, форм-факторов M.2 и M.2e с теплопакетами 25 и 15 Ватт соответственно. Даже в этих вариантах производительность составляет 200 и около 500 Топс (триллионов операций в секунду), а существует и 75-Ватт PCIe-плата формата HHHL производительностью 400 Топс; во всех случаях речь идёт о режиме INT8.

Данные для NVIDIA Tesla T4 и P4 приведены для сравнения

Основными конкурентами Cloud AI 100 можно назвать Intel/Habana Gaia и NVIDIA Tesla T4. Оба этих процессора также предназначены для инференс-систем, они гибче архитектурно — особенно T4, который, в сущности, базируется на архитектуре Turing —, однако за это приходится платить как ценой, так и повышенным энергопотреблением — это 100 и 70 Ватт, соответственно. Пока речь идёт о распознавании изображений с помощью популярной сети ResNet-50, решение Qualcomm выглядит великолепно, оно на голову выше основных соперников. Однако в иных случаях всё может оказаться не столь однозначно.

Новые ускорители Qualcomm будут доступны в разных форм-факторах

Как T4, так и Gaia, а также некоторые другие решения, вроде Groq TSP, за счёт своей гибкости могут оказаться более подходящим выбором за пределами ResNet в частности и INT8 вообще. Если верить Qualcomm, то компания в настоящее время проводит углублённое тестирование Cloud AI 100 и на других сценариях в MLPerf, но в открытом доступе результатов пока нет. Разработчики сосредоточены на удовлетворении конкретных потребностей заказчиков. Также заявлено о том, что высокая производительность на крупных наборах данных может быть достигнута путём масштабирования — за счёт использования в системе нескольких ускорителей Cloud AI 100.

В настоящее время для заказа доступен комплект разработчика на базе Cloud Edge AI 100. Основная его цель заключается в создании и отработке периферийных ИИ-устройств. Система достаточно мощная, она включает в себя процессор Snapdragon 865, 5G-модем Snapdragon X55 и ИИ-сопроцессор Cloud AI 100. Выполнено устройство в металлическом защищённом корпусе с четырьмя внешними антеннами. Начало крупномасштабных коммерческих поставок намечено на первую половину следующего года.