Компания Cirrascale Cloud Services сообщила о том, что в её облаке AI Innovation Cloud стали доступны инстансы на основе специализированных ИИ-ускорителей Qualcomm Cloud AI 100. Сервис предназначен для инференса, обработки больших языковых моделей (LLM), генеративных ИИ-систем, приложений машинного зрения и т. п.

Решение Qualcomm Cloud AI 100, выполненное в виде однослотовой 75-Вт карты PCIe с пассивынм охлаждением. Ускоритель поддерживает вычисления FP16/32 и INT8/16. Задействованы 16 ядер Qualcomm AI Cores и 16 Гбайт памяти LPDDR4x-2133 с пропускной способностью 136,5 Гбайт/с. Qualcomm Cloud AI 100 обеспечивает быстродействие до 350 TOPS на операциях INT8 и до 175 Тфлопс при вычислениях FP16.

Cirrascale Cloud Services предлагает инстансы на базе одной, двух, четырёх и восьми карт Qualcomm Cloud AI 100. Количество vCPU варьируется от 12 до 64, объём оперативной памяти — от 48 до 384 Гбайт. Во всех случаях задействован SSD вместимостью 1 Тбайт (NVMe).

Источник изображения: Qualcomm / Lenovo

Разработчики могут использовать комплект Qualcomm Cloud AI SDK, который предлагает различные инструменты в области ИИ — от внедрения предварительно обученных моделей до развёртывания приложений глубокого обучения. Стоимость инстансов варьируется от $329 до $2499 в месяц (при оформлении годовой подписки — от $259 до $2019 в месяц).

Вслед за анонсами чипов с поддержкой 802.11be подтягиваются и производители сетевого оборудования. Так, компания CommScope анонсировала точку доступа Wi-Fi 7, относящуюся к корпоративному классу. Модель Ruckus R770 наделена широкими возможностями и включает в себя ряд фирменных технологий.

Модель R770 разработана Ruckus Networks, ранее бывшей частью Arris International, но выкупленной CommScope в 2019 году за $7,4 млрд. Главной особенностью новой точки доступа, естественно, является поддержка Wi-Fi 7. Этот стандарт беспроводных сетей должен прийти на смену Wi-Fi 6 — в теории он сможет обеспечить минимум вчетверо более высокую пропускную способность беспроводных соединений.

Источник изображений здесь и далее: CommScope/Ruckus Networks

В основе R770 лежит платформа Qualcomm Networking Pro третьего поколения. В данном случае предусматривается работа в трёх радиодиапазонах (2,4 ГГц, 5 ГГц и 6 ГГц), поддержка модуляции 4K QAM, каналов шириной до 320 МГц и восьми потоках. Это позволяет говорить о совокупной пропускной способности каналов на уровне 12,2 Гбит/с. Проводная же часть представлена 10GbE-интерфейсом. В конструкции R770 использованы фирменные адаптивные антенны BeamFlex+.

Одной из интересных технологий является поддержка MLO (multilink operations), позволяющая задействовать одному устройству сразу несколько радиопотоков, что существенно повышает скорость обмена данными. Кроме того, R770 может работать с соединениями Bluetooth LE и Zigbee, что делает её подходящей в качестве точки доступа для IoT-сред. В дальнейшем компания планирует добавить поддержку протоколов Matter и Thread. Питается точка доступа или от внешнего DC-адаптера, потребляя до 32 Вт, или посресдством PoE (802.3bt).

Также в R770 реализованы фирменные технологии, в частности, интеллектуальная система диагностики Ruckus AI, способная ранжировать возникающие проблемы по степени их серьёзности и предлагать способы решения этих проблем. Другой интересной функцией является Dynamic PSK. Как правило, в пределах одной Wi-Fi-сети все устройства подключаются к точке доступа с помощью единого пароля, но R770 позволяет назначить уникальные пароли каждому клиентскому устройству. Это повышает администраторам сети более тонко управлять аспектами безопасности.

Спектр применения Ruckus R770 широк: в качестве возможных сценариев использования производитель предлагает применение новинки в гостиницах, жилых зданиях, образовательных учреждениях, в производственных помещениях и т.д. В настоящее время новинка уже доступна избранным клиентам CommScope, а массовые поставки R770 должны начаться в декабре.

Lenovo планирует инвестировать $1 млрд в течение трёх лет в разработку оборудования и программного обеспечения для ИИ-сектора. Речь идёт не только о решениях для ЦОД, но и для периферии.

Сейчас Lenovo занимается сертификацией большей части своего существующего оборудования для обработки ИИ-нагрузок. По словам Роберта Дейгла (Robert Daigle), старшего менеджера подразделения Lenovo ISG Global AI, компания работала с 45 партнёрами над созданием 150 систем и ИИ-решений «под ключ».

На днях компания анонсировала два новых ИИ-сервера для периферийных вычислений. ThinkEdge SE360 V2 предназначен ускорених таких нагрузок, как компьютерное зрение, голосовой ИИ и генеративный ИИ. ThinkEdge SE360 V2 построен на базе процессоров Intel Xeon D-2700 и ускорителей NVIDIA A2/L4 (с поддержкой NVIDIA AI Enterprise) или Qualcomm Cloud AI 100. Устройство имеет компактные размеры (2U, ½ ширины) и прочный корпус, что позволяет его использовать в условиях неблагоприятной окружающей среды.

ThinkEdge SE360 V2 (Источник изображений: Lenovo)

1U-сервер Lenovo ThinkEdge SE350 V2 разработан для гибридного облака и использования в гиперконвергентной инфраструктуре. У этого сервера увеличенная ёмкость дисковой подсистемы в сочетании с процессором Intel Xeon D-2700 и 100G-подключением. Сервер главным образом предназначен для консолидации рабочих нагрузок, резервного копирования данных при совместной работе и доставке контента.

ThinkEdge SE350 V2

Также Lenovo представила ИИ-сервер ThinkSystem SR675 V3 на базе AMD EPYC Genoa. В шасси высотой 3U можно разместить HGX-плату с четырьмя SXM-ускорителями H100 или четыре или восемь ускорителей двойной ширины NVIDIA или AMD. В зависимости от конфигурации доступны различные варианты дисковой подсистемы, но упор сделан на NVMe SSD. Также для платформы есть опция установки фирменной СЖО Neptune.

ThinkSystem SR675 V3

ThinkSystem SR675 V3 оптимизирован для работы с цифровыми двойникам в сочетании с ИИ с целью улучшения бизнес-процессов и результатов проектирования. Lenovo также работала с NVIDIA над повышением производительности рабочих нагрузок Omniverse Enterprise. Ещё один новый проект Lenovo — Центр передового опыта Lenovo AI Discover, который проводит семинары для клиентов, желающих начать работу с такими технологиями, как генеративный ИИ и компьютерное зрение.

Компания Qualcomm анонсировала сразу четыре SoC для различного IoT-оборудования — дронов, устройств для облачных игр, мобильных гаджетов и пр. Изделия, представленные в ходе отраслевой выставки Hannover Messe 2023, получили обозначения QCS8550, QCM8550, QCS4490 и QCM4490.

Первые два из дебютировавших чипов — это мощные модели, единственное различие между которыми заключается в том, что вариант «М» имеет встроенный сотовый модем. Они изготавливаются по 4-нм технологии. Конфигурация включает одно ядро Kryo GoldPlus (3,2 ГГц), четыре ядра Gold (2,8 ГГц) и три ядра Silver (2,0 ГГц). Возможно использование оперативной памяти LPDDR5/5x-4200.

Источник изображения: Qualcomm

В состав SoC входят блок Adreno 740 GPU, приёмник GPS/GLONASS/BeiDou/Galileo/QZSS/NavIC, адаптеры Wi-Fi 7 (802.11be) и Bluetooth 5.3, модуль сенсоров Qualcomm Sensing Hub 3.0, NPU-блок Qualcomm Hexagon Tensor Processor (HTP) и пр. Поддерживается фотосъёмка с разрешением до 200 МПикс. Чип QCM8550 наделён модемом 5G. Возможно декодирование видеоматериалов 4K240/8K60. Новинки подходят для таких сфер применения, как автономные мобильные роботы, промышленные дроны, ИИ-устройства и др.

В свою очередь, QCS4490 и QCM4490 оптимизированы для мобильных Android-гаджетов. Они получили два ядра Gold A78 (2,4 ГГц) и шесть ядер Silver A55 (2,0 ГГц), ускоритель Adreno GPU 613, контроллер памяти LPDDR4X/LPDDR5, адаптеры Wi-Fi 6E и Bluetooth 5.2 и поддержку GPS/BeiDou/GLONASS/Galileo/NavIC. В состав QCM4490 включён модем 5G.

Компании DFI и Qualcomm в ходе конференции Embedded World 2023 анонсировали первый в мире одноплатный компьютер, оборудованный процессором Qualcomm QRB5165. Новинка предназначена для систем промышленной автоматизации, робототехники, периферийных ИИ-вычислений и пр.

Чип Qualcomm QRB5165 содержит восемь вычислительных ядер Kryo 585 с тактовой частотой до 2,84 ГГц, графический ускоритель Adreno 650, ISP-блок Qualcomm Spectra 480, а также цифровой сигнальный процессор Hexagon 698. Говорится о поддержке OpenGL ES 3.2, Vulkan 1.1, DX12 и OpenCL 2.0.

Источник изображения: DFI

Одноплатный компьютер выполнен в формате 3,5″ с габаритами 146 × 102 мм. Объём оперативной памяти LPDDR4 может составлять 6/8 Гбайт (в дальнейшем планируется реализация поддержки LPDDR5). Для хранения данных служит флеш-модуль UFS 3.0 вместимостью 128 Гбайт.

Платформа Qualcomm QRB5165 обеспечивает поддержку Wi-Fi 6 (802.11ax) и Bluetooth 5.1. Плата наделена коннекторами M.2 B key 3052/2242 (PCIe x2, USB 3.1) и M.2 E key 2230 (PCIe x1), а также слотом Nano SIM. Таким образом, может быть добавлен модуль для работы в сотовых сетях.

Доступны по два порта USB 3.1 Gen1 Type-A и USB 2.0, разъём USB 3.1 Type-C, последовательный порт RS232/422/485 (DB9), сетевой разъём RJ-45 (1GbE), интерфейс HDMI 1.4, коннектор Micro-USB, стандартное аудиогнездо на 3,5 мм. Питание подаётся через разъём DC (12 В). Упомянута CAN-шина. Диапазон рабочих температур — от 0 до +60 ºC. Говорится о совместимости с ОС Ubuntu 18.04 (ядро 4.19).

Bloomberg, ссылаясь на собственные источники, сообщает, что компания Qualcomm намерена вернуться в сегмент серверных CPU с новыми чипами, основанными на наработках купленного в прошлом году стартапа Nuvia. Nuvia была сформирована выходцами из Apple — компания обещала создать Arm-процессоры Phoenix, которые были бы быстрее и энергоэффективнее AMD EPYC и Intel Xeon. После поглощения речь о серверных решениях уже не велась.

Теперь же Qualcomm, судя по всему, пытается диверсифицировать свой бизнес. Это не первая попытка компании освоить серверный рынок — в 2018 году она отказалась от развития чипов серии Centriq 2400, предпочтя сосредоточиться на решениях для мобильных устройств. Не исключено, что к изменению курса компанию подтолкнул успех Ampere Computing, Arm-процессоры которой появились не только у ряда облачных провайдеров второго эшелона, но и в Google Cloud Platform, Microsoft Azure, а также в серверах Gigabyte, HPE и т.д.

Изображение: Nuvia/Qualcomm

Из «большой тройки» облаков Ampere Altra были проигнорированы (во всяком случае официально) только AWS. Зато в AWS доступно уже третье поколение Arm-процессоров Graviton собственной разработки. Кроме того, у AWS есть собственные же DPU, SSD, ИИ-ускорители для обучения (Trainium) и инференса (Inferentia), т.е. практически полный аппаратный стек. Тем не менее, компания продолжает закупать продукты AMD, Intel и NVIDIA. А теперь, по данным Bloomberg, в AWS якобы обратили внимание и на новые серверные чипы Qualcomm.

Сейчас альтернатив Arm-чипам Ampere в серверном сегменте не так много. Alibaba Cloud пошла по пути Amazon, занявшись разработкой собственных процессоров Yitian. Наследие Broadcom, пройдя через руки Cavium и Marvell, оказалось заброшенным. AMD в своё время также отказалась от развития Arm-чипов, и это решение Джим Келлер впоследствии назвал глупым. Китайские HiSilicon и Phytium пострадали от санкций. А Fujitsu A64FX и NVIDIA Grace ориентированы в первую очередь на HPC-нагрузки. Европейские же чипы SiPearl пока не готовы.

Qualcomm Technologies анонсировала стек Qualcomm AI Stack, объединяющий «лучшие в своём классе программные предложения для ИИ» компании в единый пакет. Цель компании — унифицировать и упростить набор программных инструментов для OEM-производителей и разработчиков, чтобы они могли создавать, оптимизировать и развёртывать ИИ-решения на базе продуктов Qualcomm, которые охватывают всё больше сегментов, от встраиваемых решений до целых ЦОД.

Qualcomm AI Stack поддерживает популярные ИИ-платформы и среды, в том числе TensorFlow, PyTorch, ONNX. Новый стек состоит из базовых библиотек и сервисов для разработчиков, системного ПО, инструментов и компиляторов. По словам компании, теперь любую ИИ-функциональность, разработанную для одного устройства, можно легко развёрнуть на других — с помощью нового стека можно единожды создать и оптимизировать ИИ-модель, а затем быстро перенести её на другую платформу и настроить, что помогает существенно экономить время и ресурсы.

Источник изображения: Qualcomm Technologies

В стек входят Neural Processing SDK, AI Model Efficiency Toolkit (AIMET) Pro, AIMET Model Zoo, Model Analyzers, Neural Architecture Search и т.д. Кроме того, Qualcomm недавно перенесла SDK Qualcomm Neural Processing SDK на Microsoft Windows, а решение Qualcomm AI Engine Direct теперь доступно для всех продуктов Qualcomm, включая ИИ-ускоритель Qualcomm Cloud AI 100. От последнего, к слову, Meta✴ в своё время отказалась как раз из-за проблем с ПО.

Источник изображения: Qualcomm Technologies

Как отметила компания, Qualcomm Neural Processing SDK для Android и недавно анонсированная Windows-версия остаются ключевыми продуктами для OEM-производителей и разработчиков и будут получать регулярные обновления и поддержку. В Qualcomm AI Software Stack также входят три SDK для автономных транспортных средств (Snapdragon Ride SDK), Intelligent Multimedia и SDK для робототехники, Интернета вещей и виртуальной реальности (Snapdragon Spaces SDK). Общая основа этих SDK помогает разработчикам поддерживать весь портфель аппаратных решений Qualcomm в различных сегментах.

Qualcomm, крупнейший в мире поставщик процессоров для мобильных устройств, заявил в 2019 году о намерении использовать свои наработки в области повышения энергоэффективности микросхем для выхода на быстрорастущий рынок чипов искусственного интеллекта, используемых в центрах обработки данных. Согласно данным The Information, чипмейкер пытался заинтересовать Meta✴ (Facebook✴) в использовании своего первого серверного ИИ-ускорителя Qualcomm Cloud AI 100.

Осенью 2020 года Meta✴ сравнила его с рядом альтернатив, включая ускорители, которые она уже использует, и специализированный ИИ-чип собственной разработки. По словам источников The Information, чип Qualcomm показал лучшую производительность в пересчёте на Ватт, что позволило бы значительно снизить операционные расходы Meta✴, чьи дата-центры обслуживают миллиарды пользователей. На масштабах в десятки тысяч серверов даже небольшое увеличение энергоэффективности приводит к экономии значительных средств.

Источник: Qualcomm

Однако энергоэффективность — это далеко не единственный фактор. Как утверждают источники The Information, весной прошлого года Meta✴ решила отказаться от использования чипа Qualcomm. По их словам, Meta✴ задалась вопросом, достаточно ли проработано программное обеспечение Qualcomm для того, чтобы можно было добиться максимальной производительности и будущих задачах компании. После оценки этого аспекта, Meta✴ отказалась от массового внедрения Cloud AI 100.

Наиболее полный спектр программно-аппаратных решений для ИИ-нагрузок сейчас предлагает NVIDIA, однако крупные гиперскейлеры обращаются к собственными разработкам. Так, у Google есть уже четвёртое поколение TPU. Amazon в конце прошлого года вместе с анонсом третьего поколения собственных CPU Graviton3 представила и ускорители Trainium для обучения ИИ-моделей, которые дополняют уже имеющиеся чипы Inferentia. У Alibaba тоже есть связка из собственных процессора Yitian 710 и ИИ-ускорителя Hanguang 800.

Компании HPE и Qualcomm объединили усилия с целью создания новых аппаратных платформ для операторов 5G-сетей: готовящиеся устройства ориентированы на сети, которым необходимы низкие задержки и большая ёмкость. Стороны выведут на рынок высокопроизводительные продукты для сетей радиодоступа с открытой архитектурой (Open RAN).

HPE и Qualcomm намерены создать первое в отрасли полностью оптимизированное виртуализованное решение vDU (virtualized Distributed Unit), включающее baseband- и RF-функции для 5G. Готовящийся продукт HPE и Qualcomm предоставит операторам дополнительную гибкость при развёртывании сетей 5G и сервисов на их основе.

Источник изображения: Qualcomm

В основу платформы лягут ускоритель Qualcomm 5G DU X100 и сервер HPE ProLiant DL110 Gen10 Plus в версии Telco Server. Карта 5G DU X100 с интерфейсом PCIe поддерживает 5G-связь в полосе ниже 6 ГГц и диапазоне миллиметровых волн (mmWave). Акселератор снимает нагрузку с основного процессора сервера, обрабатывая, в частности, L1-трафик, что повышает эффективность работы системы.

Источник изображения: HPE

Что касается сервера ProLiant DL110 Gen10 Plus Telco Server, то он выполнен в форм-факторе 1U с уменьшенной глубиной. Шасси наделено защитой от неблагоприятных условий (NEBS Level 3). Для удобства спереди имеется доступ к БП (1+1, 700 Вт, DC или AC) и слотам PCIe/OCP, а на задней панели находятся семь быстросъёмных вентиляторов. Сервер предлагает один процессор Intel Xeon Scalable третьего поколения (Ice Lake-SP), восемь слотов для модулей памяти DDR4-3200 (суммарно до 1 Тбайт) и четыре слота M.2 2280/2210 для NVMe/SATA SSD + VROC.

Ускорители работы с нейросетями делятся, грубо говоря, на две категории: для обучения и для исполнения (инференса). Именно для последнего случая важна не столько «чистая» производительность, сколько сочетание производительности с экономичностью, так как работают такие устройства зачастую в стеснённых с точки зрения питания условиях. Компания Qualcomm предлагает новые ускорители Cloud AI 100, сочетающие оба параметра.

Сам нейропроцессор Cloud AI 100 был впервые анонсирован ещё весной прошлого года, и Qualcomm объявила, что этот чип разработан с нуля и обеспечивает вдесятеро более высокий уровень производительности в пересчёте на ватт, в сравнении с существовавшими на тот момент решениями. Начало поставок было запланировано на вторую половину 2019 года, но как мы видим, по-настоящему ускорители на базе данного чипа на рынке появились только сейчас, причём речь идёт о достаточно ограниченных, «пробных» объёмах поставок.

В отличие от графических процессоров и ПЛИС-акселераторов, которые часто применяются при обучении нейросетей и, будучи универсальными, потребляют при этом серьёзные объёмы энергии, инференс-чипы обычно представляют собой специализированные ASIC. Таковы, например, Google TPU Edge, к этому же классу относится и Cloud AI 100. Узкая специализация позволяет сконцентрироваться на достижении максимальной производительности в определённых задачах, и Cloud AI 100 более чем в 50 раз превосходит блок инференс-процессора, входящий в состав популярной SoC Qualcomm Snapdragon 855.

На приводимых Qualcomm слайдах архитектура Cloud AI 100 выглядит достаточно простой: чип представляет собой набор специализированных интеллектуальных блоков (IP, до 16 юнитов в зависимости от модели), дополненный контроллерами LPDDR (4 канала, до 32 Гбайт, 134 Гбайт/с), PCI Express (до 8 линий 4.0), а также управляющим модулем. Имеется некоторый объём быстрой набортной SRAM (до 144 Мбайт). С точки зрения поддерживаемых форматов вычислений всё достаточно универсально: реализованы INT8, INT16, FP16 и FP32. Правда, bfloat16 не «доложили».

Об эффективности новинки говорят приведённые самой Qualcomm данные: если за базовый уровень принять систему на базе процессоров Intel Cascade Lake с потреблением 440 Ватт, то Qualcomm Cloud AI 100 в тесте ResNet-50 быстрее на два порядка при потреблении всего 20 Ватт. Это, разумеется, не предел: на рынок новый инференс-ускоритель может поставляться в трёх различных вариантах, два из которых компактные, форм-факторов M.2 и M.2e с теплопакетами 25 и 15 Ватт соответственно. Даже в этих вариантах производительность составляет 200 и около 500 Топс (триллионов операций в секунду), а существует и 75-Ватт PCIe-плата формата HHHL производительностью 400 Топс; во всех случаях речь идёт о режиме INT8.

Данные для NVIDIA Tesla T4 и P4 приведены для сравнения

Основными конкурентами Cloud AI 100 можно назвать Intel/Habana Gaia и NVIDIA Tesla T4. Оба этих процессора также предназначены для инференс-систем, они гибче архитектурно — особенно T4, который, в сущности, базируется на архитектуре Turing —, однако за это приходится платить как ценой, так и повышенным энергопотреблением — это 100 и 70 Ватт, соответственно. Пока речь идёт о распознавании изображений с помощью популярной сети ResNet-50, решение Qualcomm выглядит великолепно, оно на голову выше основных соперников. Однако в иных случаях всё может оказаться не столь однозначно.

Новые ускорители Qualcomm будут доступны в разных форм-факторах

Как T4, так и Gaia, а также некоторые другие решения, вроде Groq TSP, за счёт своей гибкости могут оказаться более подходящим выбором за пределами ResNet в частности и INT8 вообще. Если верить Qualcomm, то компания в настоящее время проводит углублённое тестирование Cloud AI 100 и на других сценариях в MLPerf, но в открытом доступе результатов пока нет. Разработчики сосредоточены на удовлетворении конкретных потребностей заказчиков. Также заявлено о том, что высокая производительность на крупных наборах данных может быть достигнута путём масштабирования — за счёт использования в системе нескольких ускорителей Cloud AI 100.

В настоящее время для заказа доступен комплект разработчика на базе Cloud Edge AI 100. Основная его цель заключается в создании и отработке периферийных ИИ-устройств. Система достаточно мощная, она включает в себя процессор Snapdragon 865, 5G-модем Snapdragon X55 и ИИ-сопроцессор Cloud AI 100. Выполнено устройство в металлическом защищённом корпусе с четырьмя внешними антеннами. Начало крупномасштабных коммерческих поставок намечено на первую половину следующего года.