Французский провайдер инфраструктуры облачных вычислений Scaleway SAS объявил о доступности так называемых оптимизированных по стоимости (Cost-Optimized) инстансов на базе архитектуры Arm (COP-ARM), предназначенных для обработки нагрузок ИИ и HPC.

Инстансы COP-ARM используют процессоры Ampere Altra. Компания утверждает, что процессоры Altra могут стать более доступным вариантом для клиентов, желающих запускать обучение и инференс больших языковых моделей (LLM). По словам компании, они специально созданы для обработки рабочих нагрузок ИИ в реальном времени, таких как чат-боты, анализ данных и анализ видеоконтента.

Директор по продуктам Ampere Джефф Виттич (Jeff Wittich) заявил, что CPU идеально подходят для инференса. «В целом модели ИИ станут меньше и более ориентированными на конкретные задачи», — прогнозирует Виттич. Именно здесь может потребоваться энергоэффективность инстансов Scaleway. Он заявил, что запуск модели OpenAI Whisper на 128-ядерном процессоре Altra Max потребляет в 3,6 раза меньше энергии, чем при использовании ускорителя NVIDIA A10.

Источник изображения: Scaleway

Scaleway также объявила о сотрудничестве с NVIDIA с целью предоставить европейским стартапам доступ к ускорителям NVIDIA, программному обеспечению NVIDIA AI Enterprise и сервисам для ускорения разработки больших языковых моделей (LLM) и приложений генеративного ИИ. В рамках бесплатной программы NVIDIA Inception, предоставляющей техническое руководство, обучение и скидки, стартапы полагаются на возможности суверенных облачных вычислений инфраструктуры Scaleway.

В частности, новый суперкомпьютер Scaleway Nabuchodonosor на базе NVIDIA DGX SuperPOD со 127 узлами DGX H100 поможет стартапам во Франции и по всей Европе масштабировать рабочие нагрузки ИИ. Региональные участники Inception также получат доступ к ПО NVIDIA AI Enterprise на Scaleway Marketplace, включая платформу NVIDIA NeMo и предварительно обученные LLM, NVIDIA RAPIDS, а также NVIDIA Triton и NVIDIA TensorRT-LLM.

IT-гиганты Amazon, Google и Microsoft намерены инвестировать $8,46 млрд в строительство в Таиланде дополнительной инфраструктуры ЦОД. Как сообщает Datacenter Dynamics, представители местных властей уже сообщили, что каждый из большой тройки гиперскейлеров потратит приблизительно по $2,85 млрд.

При этом в отдельном заявлении представитель местного правительства сообщил, что Amazon Web Services (AWS) намерена построить в течение 15 лет кампус, на который в общей сложности потратит порядка $5 млрд. Более детальная информация о местах строительства, спецификациях и сроках реализации проектов пока не разглашаются. Власти уверены в том, что инвестиции техногигантов повысят уровень конкурентоспособности страны.

Google ещё в августе 2022 года анонсировала создание облачного региона в Таиланде, а Amazon выступила с аналогичным анонсом в октябре того же года и уже в декабре запустила локальную зону в Бангкоке. Microsoft и Oracle не говорили о планах по созданию собственных облачных регионов, но в этом году тайские власти предложили Microsoft построить в стране новый дата-центр.

Источник изображения: Andreas Brücker/unsplash.com

Перспективы развития ЦОД в регионе действительно есть. Как сообщает Daily Host News, совокупный среднегодовой темп роста рынка ЦОД между 2019 и 2028 гг. составит около 25 %. В стране, имеющей более 48 млн пользователей интернета, имеется и большой спрос на цифровую инфраструктуру. Интерес к рынку проявляют как американские, так и китайские провайдеры облачных сервисов.

У Tencent имеется две зоны доступности в Бангкоке, а Alibaba «открыла для себя» тайскую столицу в мае 2022 года. В ответ на стремление Таиланда стать хабом для ЦОД, в рынок уже вложили средства многочисленные инвесторы, от IT-корпораций до частных инвестиционных компаний, пенсионных и инфраструктурных фондов и иных структур, располагающих средствами для вложения на перспективу. Ранее власти стали предлагать налоговые льготы операторам новых ЦОД.

Глава Cerebras Эндрю Фельдман (Andrew Feldman) подверг критике NVIDIA за попытки компании уложиться в нормы, установленные новыми экспортными ограничениями США в отношении Китая, чтобы продолжить поставки ИИ-ускорителей в Поднебесную. Как передаёт The Register, такое поведение Фельдман назвал «неамериканским» и сравнил техногиганта с торговцем ИИ-оружием.

По словам Фельдмана, NVIDIA буквально единолично «вооружила» Китай, поставив огромное количество ускорителей. Хотя компания действовала в рамках закона, это не снимает с неё моральной ответственности. Сама Cerebras тоже разрабатывает чипы для систем машинного обучения и других ресурсоёмких задач, но намерена соблюдать «дух, а не букву» введённых в октябре США новых правил, ограничивающих поставки ИИ-оборудования в США.

Правила и без того фактически отрезают Пекин от поставок разработанных в США передовых ускорителей, но уже ходят слухи, что NVIDIA готовит новые продукты для того, чтобы обойти и эти ограничения. Раньше она уже выпустила «ухудшенные» A800 и H800, теперь тоже попавшие под ограничения. Неанонсированные чипы H20, L20 и L2 якобы представляют собой менее производительные версии более быстрых вариантов, поставляющихся для стран, не попавших под санкции. NVIDIA уже предупреждала, что новые ограничения способны сказаться на её финансовых результатах.

Фото: Cerebras

Вместе с тем сама Cerebras в этом году заключила контракт на $900 млн для строительства девяти ИИ-суперкомпьютеров на чипах WSE-2 для компании G42 из ОАЭ, которую неоднократно обвиняли в связях со структурами, занятых, к примеру, шпионажем в пользу властей ОАЭ. В данном случае компания не усматривает моральной дилеммы.

Cerebras с самого начала приняла решение не вести дел с Китаем, а также обещает соблюдать рекомендации американских госорганов, касающиеся поставок полупроводников на Ближний Восток. Фельдман считает, что компании не должны пытаться обойти ограничения. В частности, компания отслеживала, чтобы её чипы «не поставлялись в одно место на Ближнем Востоке, чтобы вскоре исчезнуть и появиться совсем в другом, там, куда они не должны были бы поставляться». Как заявляют в Cerebras, когда вы пытаетесь обойти правила, вы выглядите «не по-американски».

Конечно, обойти санкционные ограничения пытается не только NVIDIA, но и, например, Intel, которая ранее в этом году представила ухудшенную версию ускорителей Habana Gaudi для продажи на китайском рынке — правда, новейшие ограничения, похоже, не дадут поставлять в Китай и их. Некоторые сигналы о желании обойти санкции поступают и от AMD, хотя нет точных данных, когда начнутся продажи адаптированных под санкции решений и начнутся ли они вообще.

Компания Banana Pi представила производительный одноплатный компьютер BPI-M7, подходящий для создания различных устройств для Интернета вещей, сетевого оборудования и пр. Новинка построена на аппаратной платформе Rockchip, а в качестве ОС может применяться Android 12 или Debian 10 Buster (Linux 5.10).

В системе применён процессор Rockchip RK3588 (4 × Cortex-A76 @ 2,4 ГГц, 4 × Cortex-A55 @ 1,8 ГГц, Arm Mali-G610). В состав чипа входит нейропроцессорный движок (NPU) с производительностью до 6 TOPS. Есть возможность декодирования видео 8K@60p H.265/VP9/AVS2. Чип функционирует в тандеме с 8, 16 или 32 Гбайт оперативной памяти LPDDR4x.

Источник изображения: Banana Pi

Изделие может быть укомплектовано флеш-модулем eMMC вместимостью 64 или 128 Гбайт. Кроме того, имеются слот для карты microSD и коннектор M.2 M-Key для SSD с интерфейсом PCIe 3.0 x4 (NVMe). В оснащение входит двухпортовый сетевой контроллер с разъёмами RJ-45. Реализована поддержка беспроводной связи Wi-Fi 6 и Bluetooth 5.2.

Одноплатный компьютер допускает вывод изображения на три дисплея через интерфейсы HDMI 2.1 (8K; 60 Гц), USB Type-C / DP (8K; 30 Гц) и MIPI DSI (4K; 60 Гц). Есть также два порта USB 3.0 Type-A, дополнительный разъём USB Type-C для подачи питания, 40-контактная колодка GPIO, интерфейс MIPI-CSI (×2) и коннектор для вентилятора охлаждения. Габариты составляют 92 × 62 мм.

Компания Adlink Technology анонсировала материнскую плату IMB-M47 в форм-факторе АТХ, предназначенную для построения высокопроизводительных Edge-устройств, систем промышленной автоматизации и машинного зрения, различного коммерческого оборудования и пр.

Новинка выполнена на наборе логики Intel Q670. Возможна установка процессоров поколений Alder Lake-S и Raptor Lake-S в исполнении LGA1700 с показателем TDP до 125 Вт. Доступны четыре слота для модулей оперативной памяти DDR5-4800 суммарной ёмкостью до 128 Гбайт.

Слоты расширения выполнены по следующей схеме 2 × PCIe 5.0 x16, 2 × PCIe 4.0 x4 и 3 × PCIe 3.0 x1. Для подключения накопителей предусмотрены восемь портов SATA-3. Кроме того, есть по одному коннектору  M.2 Key M 25110 (PCIe 4.0 x4), M.2 Key E 2230 (PCIe x1, USB 2.0, CNVi) и M.2 Key B 3042/3052 (PCIe x1, USB 3.2 Gen1, USB 2.0, плюс слот для SIM-карты).

Источник изображения: Adlink

Материнская плата располагает тремя сетевыми контроллерами 2.5GbE (2 × Intel I226V и  Intel I226LM) с разъёмами RJ-45, звуковым кодеком Realtek ALC897, пятью портами USB 3.2 Gen2 Type-A и портом USB 3.2 Gen2x2 Type C, двумя последовательными портами. Возможно одновременное подключение до трёх дисплеев через интерфейсы D-Sub (1920 × 1200; 60 Гц), DP1.4a (4096 × 2160; 60 Гц) и HDMI 2.0b (4096 × 2160; 60 Гц). Через разъёмы на плате могут быть задействованы ещё четыре последовательных порта RS-232, параллельный порт и интерфейс PS/2.

Модель IMB-M47 имеет размеры 305 × 244 мм. Диапазон рабочих температур — от 0 до +60 °C. Заявлена совместимость с Windows 10 IoT Enterprise.

Компания AAEON, принадлежащая ASUS, представила одноплатный компьютер Pico-ADN4 для приложений Industry 4.0: новинка найдёт применение в устройствах промышленной автоматизации, системах контроля и пр. В основу системы положена аппаратная платформа Intel Alder Lake-N.

Устройство выполнено в форм-факторе Pico-ITX с размерами 100 × 72 мм. Могут применяться различные процессоры, в частности, Core i3-N305 (8 ядер, 8 потоков; до 3,8 ГГц; 15 Вт), Atom x7425E (4 ядра, 4 потока; до 3,4 ГГц; TDP 12 Вт), Intel Processor N50 (2 ядра, 2 потока; до 3,4 ГГц; 6 Вт) или Intel Processor N97 (4 ядра, 4 потока; до 3,6 ГГц; 12 Вт).

Источник изображения: AAEON

Есть один слот для модуля оперативной памяти LPDDR5 ёмкостью до 16 Гбайт. Для накопителей доступны порт SATA III и коннектор mSATA/mPCIe. В разъём M.2 2230 E-Key x 1 (PCIe 3.0 x1 + USB 2.0) может быть установлен адаптер Wi-Fi. В оснащение входят сетевые контроллеры Intel I226 2.5GbE и Realtek RTL8111H-CG 1GbE (оба с разъёмом RJ-45). Звуковая подсистема выполнена на кодеке Realtek ALC256 (опционально).

Одноплатный компьютер допускает одновременное подключение до трёх дисплеев через интерфейсы LVDS (1920 × 1200 точек; 60 Гц), eDP 1.4 (7680 × 4320 пикселей) и HDMI 1.4 (3840 × 2160 точек; 30 Гц). Присутствуют два порта USB 3.2 Gen2. Через разъёмы на плате можно задействовать два последовательных порта (RS-232/422/485) и два порта USB 2.0.

Диапазон рабочих температур простирается от 0 до +60 °C. Говорится о совместимости с Windows 10 и Ubuntu 22.04.2/Kernel 5.19. Имеется разъём для вентилятора охлаждения. Питание (12 В) подаётся через 2-контактный коннектор Phoenix.

Компания Gartner представила ноябрьский прогноз по европейскому IT-рынку. Учитываются расходы на системы для дата-центров, всевозможные электронные устройства, ПО корпоративного класса, IT-сервисы, а также телекоммуникационные сервисы. Аналитики считают, что отрасль продолжит расти, несмотря на сложившуюся геополитическую обстановку и макроэкономические вызовы.

По оценкам, в 2022-м суммарные IT-затраты в Европе составили $995,8 млрд, что на 2,2 % меньше по сравнению с 2021 годом. При этом на IT-сервисы пришлось $347,4 млрд, на телекоммуникационные сервисы — $272,9 млрд. Ещё $184,4 млрд принесло ПО, около $146,4 млрд — всевозможные устройства. На решения для ЦОД пришлось $44,8 млрд.

Источник изображения: Microsoft

По итогам 2023-го, как ожидается, европейский IT-рынок покажет рост на 5,5 % — до  $1,05 трлн. Наибольшая прибавка ожидается в софтверном сегменте — плюс 14,6 % с итоговым результатом $211,2 млрд. IT-сервисы покажут прибавку на уровне 10,0 % — до $382,3 млрд. В сегменте телекоммуникационных сервисов прогнозируется рост в 4,6 %, до $285,3 млрд. Продажи систем для дата-центров составят $46,2 млрд, плюс 3,1 % в годовом исчислении. Вместе с тем спрос на электронные устройства сократится на 14,3 %, оказавшись на отметке $125,5 млрд.

В 2024 году объём европейского IT-рынка увеличится на 9,3 %, достигнув $1,15 трлн. В сегменте ПО прогнозируется рост на 14,5 % — до $241,8 млрд. IT-сервисы и телекоммуникационные сервисы принесут соответственно $427,4 млрд и $297,7 млрд — плюс 11,8 % и 4,4 %. Системы для ЦОД обеспечат выручку на уровне $49,9 млрд, что означает прибавку в 8,0 % год к году. Электронные устройства обеспечат $131,3 млрд, плюс 4,6 %.

Компания Liqid в партнёрстве с Dell Technologies анонсировала эталонную архитектуру UltraStack L40S для формирования систем с высокой плотностью компоновки GPU и иных ускорителей — до 16 шт. на один сервер. Такие платформы могут использоваться для ИИ-приложений, работы с большими языковыми моделями (LLM), задач НРС и пр.

Новинка доступна в конфигурациях UltraStack x8 и UltraStack x16. В качестве хост-сервера в составе решения выступает Dell PowerEdge R760xa на базе Intel Xeon Sapphire Rapids: применены два процессора Xeon Gold 6430 (32 ядра; 64 потока; 1,9 ГГц). Объём оперативной памяти в первом случае составляет 1 Тбайт, во втором — 2 Тбайт.

К серверу подключаются модули Liqid PCIe Chassis. Версия UltraStack x8 использует два таких модуля: задействованы восемь ускорителей NVIDIA L40S с 48 Гбайт памяти GDDR6 и SSD-хранилище вместимостью 30 Тбайт (NVMe). Вариант UltraStack x16 комплектуется тремя модулями Liqid PCIe Chassis: объединены 16 карт NVIDIA L40S, а ёмкость хранилища составляет 60 Тбайт.

Источник изображения: Liqid

Платформа UltraStack L40S предполагает применение восьми двухпортовых сетевых адаптеров NVIDIA ConnectX-7 (16 × 200 Гбит/с), DPU BlueField-3, двух хост-адаптеров Liqid Gen 4.0 x16 HBA, а также коммутатора PCIe 4.0 на 24/48 портов. Среднее энергопотребление UltraStack x8 заявлено на уровне 4,5 кВт, UltraStack x16 — 7,5 кВт.

Система базируется на ПО Liqid Matrix. Компания Liqid утверждает, что по сравнению с четырьмя серверами формата 2U, каждый из которых содержит четыре ускорителя NVIDIA L40S, её система UltraStack с 16 такими картами обеспечивает на 35 % более высокую производительность, сокращение энергопотребления на 35 % и снижение общей стоимости владения на 25 %.

ИИ-стартап Sapeon, поддерживаемый южнокорейским телекоммуникационным гигантом SK Group, анонсировал чип X330, предназначенный для инференса и обслуживания больших языковых моделей (LLM). Изделие ляжет в основу специализированных ускорителей для дата-центров.

Sapeon заявляет, что новый нейропроцессор (NPU) обеспечивает примерно вдвое более высокую производительность и в 1,3 раза лучшую энергоэффективность, чем продукты конкурентов, выпущенные в этом году. По сравнению с предыдущим решением самой компании — Sapeon X220 — достигается увеличение быстродействия в четыре раза и повышение энергоэффективности в два раза.

Изображения: Sapeon

Новинка будет изготавливаться на TSMC по 7-нм технологии. Массовое производство запланировано на I полугодие 2024 года. На базе чипа будут предлагаться два ускорителя — X330 Compact Card и X330 Prime Card. Оба имеют однослотовое исполнение и оснащаются системой пассивного охлаждения. Для подключения применяется интерфейс PCIe 5.0 х16. Карты могут осуществлять вычисления INT8, FP8 и FP16.

Модель X330 Compact Card уменьшенной длины несёт на борту 16 Гбайт памяти GDDR6 с пропускной способностью до 256 Гбайт/с. Заявленная производительность на операциях FP8 и FP16 достигает соответственно 367 и 184 Тфлопс. Энергопотребление варьируется в диапазоне от 75 до 120 Вт. Полноразмерная модификация X330 Prime Card получила 32 Гбайт памяти GDDR6 с пропускной способностью до 512 Гбайт/с. Заявленное быстродействие FP8 и FP16 составляет до 734 и 368 Тфлопс. Энергопотребление — 250 Вт.

Группа SK в последнее время активно вкладывается в развитие ИИ, инвестируя напрямую или через дочерние структуры как в софт, так и в железо. С ней, в частности, связан ещё один южнокорейский разработчик ИИ-чипов Rebellions, также поддерживаемый правительством страны, которое намерено к 2030 году довести долю отечественных ИИ-чипов в местных дата-центрах до 80 %. Делается это для того, чтобы снизить зависимость от иностранных решений и избежать дефицита. Сама же Sapeon готовит ещё минимум два поколения своих чипов.

Компания Cirrascale Cloud Services сообщила о том, что в её облаке AI Innovation Cloud стали доступны инстансы на основе специализированных ИИ-ускорителей Qualcomm Cloud AI 100. Сервис предназначен для инференса, обработки больших языковых моделей (LLM), генеративных ИИ-систем, приложений машинного зрения и т. п.

Решение Qualcomm Cloud AI 100, выполненное в виде однослотовой 75-Вт карты PCIe с пассивынм охлаждением. Ускоритель поддерживает вычисления FP16/32 и INT8/16. Задействованы 16 ядер Qualcomm AI Cores и 16 Гбайт памяти LPDDR4x-2133 с пропускной способностью 136,5 Гбайт/с. Qualcomm Cloud AI 100 обеспечивает быстродействие до 350 TOPS на операциях INT8 и до 175 Тфлопс при вычислениях FP16.

Cirrascale Cloud Services предлагает инстансы на базе одной, двух, четырёх и восьми карт Qualcomm Cloud AI 100. Количество vCPU варьируется от 12 до 64, объём оперативной памяти — от 48 до 384 Гбайт. Во всех случаях задействован SSD вместимостью 1 Тбайт (NVMe).

Источник изображения: Qualcomm / Lenovo

Разработчики могут использовать комплект Qualcomm Cloud AI SDK, который предлагает различные инструменты в области ИИ — от внедрения предварительно обученных моделей до развёртывания приложений глубокого обучения. Стоимость инстансов варьируется от $329 до $2499 в месяц (при оформлении годовой подписки — от $259 до $2019 в месяц).