Amazon Web Services (AWS) и NVIDIA объявили о расширении сотрудничества, в рамках которого ускорители GB200 и B100 вскоре появятся в облаке AWS. Кроме того, компании объявили об интеграции Amazon SageMaker с NVIDIA NIM для предоставления клиентам более быстрого и дешёвого инференса, о появлении в AWS HealthOmics новых базовых моделей NVIDIA BioNeMo, а также о поддержке AWS обновлённой платформы NVIDIA AI Enterprise.

Сотрудничество двух компаний позволило объединить в единую инфраструктуру их новейшие технологии, в том числе многоузловые системы на базе чипов NVIDIA Blackwell, ПО для ИИ, AWS Nitro, сервис управления ключами AWS Key Management Service (AWS KMS), сетевые адаптеры Elastic Fabric (EFA) и кластеры EC2 UltraCluster. Предложенная инфраструктура и инструменты позволят клиентам создавать и запускать LLM с несколькими триллионами параметров быстрее, в больших масштабах и с меньшими затратами, чем позволяли EC2-инстансы с ускорителями NVIDIA прошлого поколения.

AWS предложит кластеры EC2 UltraClusters из суперускорителей GB200 NVL72, которые позволят объединить тысячи чипов GB200. GB200 будут доступны и в составе инстансов NVIDIA DGX Cloud. AWS также предложит EC2 UltraClusters с ускорителями B100. Amazon отмечает, что сочетание AWS Nitro и NVIDIA GB200 ещё больше повысит защиту ИИ-моделей: GB200 обеспечивает шифрование NVLink, EFA шифрует данные при передаче между узлами кластера, а KMS позволяет централизованно управлять ключами шифрования.

Источник изображения: NVIDIA

Аппаратный гипервизор AWS Nitro, как и прежде, разгружает CPU узлов, беря на себя обработку IO-операций, а также защищает код и данные во время работы с ними. Эта возможность, доступная только в сервисах AWS, была проверена и подтверждена NCC Group. Инстансы с GB200 поддерживают анклавы AWS Nitro Enclaves, что позволяет напрямую взаимодействовать с ускорителем и данными в изолированной и защищённой среде, доступа к которой нет даже у сотрудников Amazon.

Источник изображения: NVIDIA

Чипы Blackwell будут использоваться в обновлённом облачном суперкомпьютере AWS Project Ceiba, который будет использоваться NVIDIA для исследований и разработок в области LLM, генерация изображений/видео/3D, моделирования, цифровой биологии, робототехники, беспилотных авто, предсказания климата и т.д. Эта первая в своём роде машина на базе GB200 NVL72 будет состоять из 20 736 суперчипов GB200, причём каждый из них получит 800-Гбит/с EFA-подключение. Пиковая FP8-производительность системы составит 414 Эфлопс.

Oracle и NVIDIA объявили о расширении сотрудничества для предоставления суверенного ИИ клиентам по всему миру — программно-аппаратные решения обеих компаний позволят правительствам и предприятиями формировать ИИ-фабрики, говорится в пресс-релизе. Облачные сервисы Oracle используют ряд платформ NVIDIA, включая аппаратную инфраструктуру и программную платформу NVIDIA AI Enterprise, в том числе недавно анонсированные микросервисы вывода NVIDIA NIM.

Такие ИИ-фабрики позволят развернуть облачные сервисы, работающие локально и размещённые в безопасных кампусах на территории страны или организации. Сочетание полнофункциональной ИИ-платформы NVIDIA с корпоративным ИИ-инструментами Oracle, которые можно развернуть в выделенном регионе OCI, позволит получить современное ИИ-решение с повышенным уровенем контроля, защиты и безопасности. По словам Oracle, компания является единственным гиперскейлером, способным предоставлять ИИ-решения и полноценные облачные услуги локально и в любом месте.

Oracle также задействует чипы NVIDIA Blackwell (GB200 и B200) в OCI Supercluster и OCI Compute. OCI Supercluster станет значительно быстрее благодаря новым bare metal-инстансам, RDMA-сети со сверхмалой задержкой и высокопроизводительному хранилищу. В OCI появятся и сервисы NVIDIA NIM и CUDA-X, а также NVIDIA NeMo Retriever.

Источник изображения: NVIDIA

Наконец, в DGX Cloud on OCI станут доступны инстансы на базе суперускорителей GB200 NVL72 для работы с LLM с триллионами параметров. Полный кластер DGX Cloud будет включать более 20 тыс. ускорителей GB200, интерконнект NVLink 5 и сеть NVIDIA InfiniBand XDR.

Облачная платформа Alibaba Cloud, по сообщению ресурса The Register, существенно снизила стоимость услуг для клиентов в Китае, которые заключают многолетние соглашения на обслуживание. Цены на определённые сервисы на базе Alibaba Cloud Elastic Compute Service (ECS) снижены на 36 %.

В рамках некоторых соглашений тарифы на объектное хранилище упали на 55 % — при условии увеличения сроков резервирования ресурсов Alibaba Cloud с одного года до двух–пяти лет. Стоимость облачных баз данных снижена до 40 %. При этом удвоен объём бесплатного трафика: он теперь составляет 20 Гбайт против прежних 10 Гбайт.

Источник изображения: Alibaba

Новая политика, как ожидается, поможет платформе Alibaba Cloud увеличить количество клиентов в КНР и дополнительно стимулировать местные предприятия к переходу на облачные услуги. Кроме того, снижение цен может способствовать развитию приложений на основе ИИ. Причём это уже второе снижение тарифов за год. Ранее облачное подразделение Alibaba столкнулось со снижением темпов роста.

В конце прошлого года Alibaba отказалась от планов по выделению облачного бизнеса в самостоятельную публичную компанию. Связано это с ужесточение санкций со стороны США. Говорится, что политика американских властей может негативно повлиять на возможности группы предлагать облачные продукты и услуги, а также выполнять обязательства по существующим контрактам. В такой ситуации Alibaba вынуждена более активно развивать облачный бизнес на китайском рынке. Гиперскейлер также стремился избавиться от низкорентабельных клиентов.

Alibaba — не единственная компания, которая пытается сделать долгосрочные контракты более привлекательными для заказчиков. AWS и Microsoft Azure уже сделали резервирование мощностей самым доступным способом потребления своих услуг. Эта тактика позволяет более предсказуемо оценивать расходы на развитие и поддержание облачных инфраструктур.

Уже в следующем месяце в Египте должен заработать новый облачный регион компании Huawei. Datacenter Dynamics сообщает, что у компании есть и другие планы — она намерена построить облачный вычислительный ИИ-центр в Гонконге. Это первый проект такого рода за пределами материкового Китая.

Регион в Египте станет очередным дополнением к 85 зонам Huawei Cloud, разбросанным по 30 странам и территориям планеты. В Китае Huawei является вторым по величине облачным провайдером, но наращивает и глобальное присутствие. Только в прошлом году она ввела в эксплуатацию облачные регионы в Турции и Саудовской Аравии. Кроме того, компания активно осваивает рынки облачных сервисов Латинской Америки. В частности, ведётся строительство регионов в Бразилии и Мексике.

Источник изображения: Omar Elsharawy/unsplash.com

Пока нет данных, в каком ЦОД будет размещён египетский регион. Ещё в 2019 году Huawei сообщала о намерении арендовать ЦОД Telecom Egypt в Каире, но, похоже, с тех пор планы по экспансии в Африке и на Ближнем Востоке изменились. Заодно Huawei поделилась планами создания облачного ИИ-центра в Гонконге. Хотя компания имеет несколько подобных объектов на материковой территории КНР, в Гонконге пока ничего подобного у неё нет. При этом в компании назвали ИИ одним из приоритетов для её облачных проектов.

Сейчас у оператора есть облачные объекты в материковом Китае и Гонконге, Ирландии, Нидерландах, Франции, Таиланде, Сингапуре, Индонезии, Саудовской Аравии, Турции, Южной Африке, Бразилии, Аргентине, Перу, Чили и других странах. В то же время многие государства по-прежнему считают компанию поставщиком услуг с высоким риском из-за вероятных тесных связей с китайскими властями и крайне напряжённых отношений с США.

Китай запустил облачную ИИ-платформу, управляемую окологосударственным холдингом Beijing Energy Holding (BEH). «Пекинская публичная вычислительная платформа» (Beijing AI Public Computing Platform), также известная как проект Shangzhuang, поможет смягчить «острую нехватку вычислительных мощностей» в стране, необходимых для развития технологий ИИ.

Платформа доступна для использования образовательными учреждениями, исследовательскими центрами, а также малыми и средними предприятиями. Её первая фаза с вычислительной мощностью 500 Пфлопс (FP16) была официально запущена в самом конце 2023 года. В I квартале 2024 года планируется завершить вторую фазу строительства, доведя производительность Shangzhuang до 1,5 Эфлопс. А в будущем остаётся возможность построить ещё 2 Эфлопс мощностей.

Фото: BEH

BEH заявил о своём стремлении сделать проект максимально экологически дружественным, выразив намерение в будущем полностью обеспечивать платформу чистой энергией. С этой целью BEH подписал соглашения о стратегическом сотрудничестве с Alibaba Cloud Computing, Sugon Information Industry и стартапом Zhipu AI для совместной работы в области зелёной энергетики, публичного облака и инфраструктуры интеллектуальных вычислений.

AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.

Компания NVIDIA представила на конференции Microsoft Ignite 2023 сервис NVIDIA AI Foundry, который позволит предприятиям ускорить разработку и настройку пользовательских приложений генеративного ИИ с использованием собственных данных, развёртываемых в облаке Microsoft Azure.

NVIDIA AI Foundry объединяет три элемента: набор базовых моделей NVIDIA AI Foundation, платформу и инструменты NVIDIA NeMo, а также суперкомпьютерные сервисы NVIDIA DGX Cloud AI. Вместе они предоставляют предприятиям комплексное решение для создания пользовательских моделей генеративного ИИ. Компании смогут затем развёртывать свои индивидуальные модели с помощью платформы NVIDIA AI Enterprise для создания приложений ИИ, включая интеллектуальный поиск, обобщение и генерацию контента.

«Предприятиям нужны кастомные модели для реализации специализированных навыков, основанных на собственной ДНК их компании — их данных, — сообщил глава NVIDIA Дженсен Хуанг (Jensen Huang), — Сервис NVIDIA AI Foundry сочетает в себе наши технологии моделей генеративного ИИ, опыт обучения LLM и гигантскую фабрику ИИ. Мы создали это в Microsoft Azure, чтобы предприятия по всему миру могли подключить свою собственную модель к ведущим в мире облачным сервисам Microsoft».

Источник изображения: NVIDIA

Сервис NVIDIA AI Foundry можно использовать для настройки моделей для приложений на базе генеративного ИИ в различных отраслях, включая корпоративное ПО, телекоммуникации и медиа. При их развёртывании компании смогут использовать метод генерации с расширенным поиском (RAG), чтобы привязать свои модели к базе корпоративных данных для получения актуальных ответов.

В сервисе NVIDIA Foundry клиенты смогут выбирать из нескольких моделей NVIDIA AI Foundation, включая новое семейство Nemotron-3 8B в составе каталога моделей Azure AI. Разработчики также могут получить доступ к моделям Nemotron-3 8B в каталоге NVIDIA NGC и к популярным моделям Llama 2, Mistral и Stable Diffusion XL. NVIDIA сообщила, что одними из первых новым сервисом для создания моделей воспользовались SAP, Amdocs и Getty Images.

Наконец, в Azure стала доступна и платформа NVIDIA DGX Cloud AI, в рамках которой клиенты смогут арендовать кластеры, состоящие из тысяч ускорителей NVIDIA и воспользоваться ПО NVIDIA AI Enterprise, включая NeMo, для ускорения настройки LLM. Клиенты Azure смогут использовать существующие кредиты Microsoft Azure Consumption Commitment для ускорения разработки ИИ-моделей.

Отметим, что первым сервис DGX Cloud получило облако Oracle, где Microsoft арендует ускорители той же NVIDIA для собственных нужд. По слухам, компания также использует ускорители CoreWeave и Lambda Labs, а также разрабатывает более экономичные ИИ-модели. По-видимому, продавать доступ к аппаратным и иным решениям NVIDIA для Microsoft выгоднее, чем использовать для своих нужд. Впрочем, если всё сложится удачно, то компания перейдёт на ИИ-ускорители Maia 100 собственной разработки.

Китайский IT-гигант Alibaba Group Holding в финансовом отчёте за квартал, завершившийся 30 сентября 2023 года, сообщил о том, что не будет выделять облачный бизнес в самостоятельную компанию с последующим выходом на биржу. Причина — ужесточившиеся санкции со стороны США в отношении КНР.

Весной нынешнего года Alibaba объявила о намерении провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. В дальнейшем Alibaba рассчитывала провести IPO этой компании.

Около двух месяцев назад, в середине сентября 2023-го, генеральный директор Alibaba Даниэль Чжан (Daniel Zhang), также возглавлявший облачное подразделение компании, неожиданно подал в отставку. Тогда сообщалось, что его место займёт Эдди Ву (Eddie Wu) — один из соучредителей Alibaba и один из первых её разработчиков. И вот теперь говорится, что планы по трансформации облачного бизнеса пересмотрены.

Источник изображения: Alibaba

В финансовом отчёте сказано, что после того, как США расширили свои правила экспортного контроля, чтобы еще больше ограничить поставки в Китай современных компьютерных чипов и оборудования для производства полупроводников, сформировались неопределённости в отношении перспектив подразделения Alibaba Cloud Intelligence Group. Санкции могут негативно повлиять на возможности группы предлагать облачные продукты и услуги и выполнять обязательства по существующим контрактам. Кроме того, ограничивается потенциал модернизации оборудования.

«Мы считаем, что полное выделение Cloud Intelligence Group в самостоятельную структуру может не дать желаемого эффекта. Поэтому мы решили не приступать к реализации данного плана, а вместо этого сосредоточимся на разработке модели устойчивого роста для Cloud Intelligence Group в нынешней нестабильной ситуации», — говорится в заявлении Alibaba.

По итогам закрытого квартала выручка Alibaba Group составила ¥224,79 млрд ($30,81 млрд), что на 9 % больше прошлогоднего результата. Чистая прибыль оказалась на уровне ¥27,71 млрд ($3,80 млрд). Облачное подразделение Cloud Intelligence Group показало квартальную выручку в размере ¥27,65 млрд ($3,79 млрд), что соответствует росту примерно на 2 % в годовом исчислении.

VK сообщила результаты работы в III квартале и за 9 месяцев 2023 года. Выручка компании в квартале выросла на 37 % год к году, составив 33 млрд руб. Аналогичный рост выручки был зафиксирован по итогам 9 месяцев, выручка составила 90,3 млрд руб.

В сегменте «Технологии для бизнеса» (VK Tech) выручка за 9 месяцев выросла на 63 % в годовом выражении, составив 4,8 млрд руб. Драйвером роста были коммуникационные сервисы VK WorkSpace, чья выручка выросла за 9 месяцев в 2,5 раза год к году, а за квартал — на 214 %, и облачные сервисы платформы VK Cloud, выручка которых с начала года выросла на 58 %. Выручка от HR-сервисов увеличилась за этот период в 2,5 раза (рост на 217 % за квартал). В сентябре 2023 года VK Tech запустил единую партнёрскую программу для бизнеса, которая позволит масштабировать экспертизу внедрения ИТ-продуктов VK.

Источник изображения: VK

За III квартал средняя месячная аудитория сервиса «Облако Mail.ru» составила 20 млн, а средняя дневная аудитория — 2,2 млн. За отчётный период пользователи загрузили в «Облако Mail.ru» около 7,5 млрд файлов. В августе 2023 года состоялся запуск сервиса «Облако на ПК», который позволил пользователям перенести файлы из других облачных хранилищ. На данный момент доступна интеграция с 11 облачными сервисами.

Вместе с публикацией результатов MLPerf Traning 3.1 компания NVIDIA официально представила новый ИИ-суперкомпьютер EOS, анонсированный ещё весной прошлого года. Правда, с того момента машина подросла — теперь включает сразу 10 752 ускорителя H100, а её FP8-производительность составляет 42,6 Эфлопс. Более того, практически такая же система есть и в распоряжении Microsoft Azure, и её «кусочек» может арендовать каждый, у кого найдётся достаточная сумма денег.

Изображения: NVIDIA

Суммарно EOS обладает порядка 860 Тбайт памяти HBM3 с агрегированной пропускной способностью 36 Пбайт/с. У интерконнекта этот показатель составляет 1,1 Пбайт/с. В данном случае 32 узла DGX H100 объединены посредством NVLink в блок SuperPOD, а за весь остальной обмен данными отвечает 400G-сеть на базе коммутаторов Quantum-2 (InfiniBand NDR). В случае Microsoft Azure конфигурация машины практически идентичная с той лишь разницей, что для неё организован облачный доступ к кластерам. Но и сам EOS базируется на платформе DGX Cloud, хотя и развёрнутой локально.

В рамках MLPerf Training установила шесть абсолютных рекордов в бенчмарках GPT-3 175B, Stable Diffusion (появился только в этом раунде), DLRM-dcnv2, BERT-Large, RetinaNet и 3D U-Net. NVIDIA на этот раз снова не удержалась и добавила щепотку маркетинга на свои графики — когда у тебя время исполнения теста исчисляется десятками секунд, сравнивать свои результаты с кратно меньшими по количеству ускорителей кластерами несколько неспортивно. Любопытно, что и на этот раз сравнивать H100 приходится с Habana Gaudi 2, поскольку Intel не стесняется показывать результаты тестов.

NVIDIA очередной раз подчеркнула, что рекорды достигнуты благодаря оптимизациям аппаратной части (Transformer Engine) и программной, в том числе совместно с MLPerf, а также благодаря интерконнекту. Последний позволяет добиться эффективного масштабирования, близкого к линейному, что в столь крупных кластерах выходит на первый план. Это же справедливо и для бенчмарков из набора MLPerf HPC, где система EOS тоже поставила рекорд.