AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.

Компания NVIDIA представила на конференции Microsoft Ignite 2023 сервис NVIDIA AI Foundry, который позволит предприятиям ускорить разработку и настройку пользовательских приложений генеративного ИИ с использованием собственных данных, развёртываемых в облаке Microsoft Azure.

NVIDIA AI Foundry объединяет три элемента: набор базовых моделей NVIDIA AI Foundation, платформу и инструменты NVIDIA NeMo, а также суперкомпьютерные сервисы NVIDIA DGX Cloud AI. Вместе они предоставляют предприятиям комплексное решение для создания пользовательских моделей генеративного ИИ. Компании смогут затем развёртывать свои индивидуальные модели с помощью платформы NVIDIA AI Enterprise для создания приложений ИИ, включая интеллектуальный поиск, обобщение и генерацию контента.

«Предприятиям нужны кастомные модели для реализации специализированных навыков, основанных на собственной ДНК их компании — их данных, — сообщил глава NVIDIA Дженсен Хуанг (Jensen Huang), — Сервис NVIDIA AI Foundry сочетает в себе наши технологии моделей генеративного ИИ, опыт обучения LLM и гигантскую фабрику ИИ. Мы создали это в Microsoft Azure, чтобы предприятия по всему миру могли подключить свою собственную модель к ведущим в мире облачным сервисам Microsoft».

Источник изображения: NVIDIA

Сервис NVIDIA AI Foundry можно использовать для настройки моделей для приложений на базе генеративного ИИ в различных отраслях, включая корпоративное ПО, телекоммуникации и медиа. При их развёртывании компании смогут использовать метод генерации с расширенным поиском (RAG), чтобы привязать свои модели к базе корпоративных данных для получения актуальных ответов.

В сервисе NVIDIA Foundry клиенты смогут выбирать из нескольких моделей NVIDIA AI Foundation, включая новое семейство Nemotron-3 8B в составе каталога моделей Azure AI. Разработчики также могут получить доступ к моделям Nemotron-3 8B в каталоге NVIDIA NGC и к популярным моделям Llama 2, Mistral и Stable Diffusion XL. NVIDIA сообщила, что одними из первых новым сервисом для создания моделей воспользовались SAP, Amdocs и Getty Images.

Наконец, в Azure стала доступна и платформа NVIDIA DGX Cloud AI, в рамках которой клиенты смогут арендовать кластеры, состоящие из тысяч ускорителей NVIDIA и воспользоваться ПО NVIDIA AI Enterprise, включая NeMo, для ускорения настройки LLM. Клиенты Azure смогут использовать существующие кредиты Microsoft Azure Consumption Commitment для ускорения разработки ИИ-моделей.

Отметим, что первым сервис DGX Cloud получило облако Oracle, где Microsoft арендует ускорители той же NVIDIA для собственных нужд. По слухам, компания также использует ускорители CoreWeave и Lambda Labs, а также разрабатывает более экономичные ИИ-модели. По-видимому, продавать доступ к аппаратным и иным решениям NVIDIA для Microsoft выгоднее, чем использовать для своих нужд. Впрочем, если всё сложится удачно, то компания перейдёт на ИИ-ускорители Maia 100 собственной разработки.

Китайский IT-гигант Alibaba Group Holding в финансовом отчёте за квартал, завершившийся 30 сентября 2023 года, сообщил о том, что не будет выделять облачный бизнес в самостоятельную компанию с последующим выходом на биржу. Причина — ужесточившиеся санкции со стороны США в отношении КНР.

Весной нынешнего года Alibaba объявила о намерении провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. В дальнейшем Alibaba рассчитывала провести IPO этой компании.

Около двух месяцев назад, в середине сентября 2023-го, генеральный директор Alibaba Даниэль Чжан (Daniel Zhang), также возглавлявший облачное подразделение компании, неожиданно подал в отставку. Тогда сообщалось, что его место займёт Эдди Ву (Eddie Wu) — один из соучредителей Alibaba и один из первых её разработчиков. И вот теперь говорится, что планы по трансформации облачного бизнеса пересмотрены.

Источник изображения: Alibaba

В финансовом отчёте сказано, что после того, как США расширили свои правила экспортного контроля, чтобы еще больше ограничить поставки в Китай современных компьютерных чипов и оборудования для производства полупроводников, сформировались неопределённости в отношении перспектив подразделения Alibaba Cloud Intelligence Group. Санкции могут негативно повлиять на возможности группы предлагать облачные продукты и услуги и выполнять обязательства по существующим контрактам. Кроме того, ограничивается потенциал модернизации оборудования.

«Мы считаем, что полное выделение Cloud Intelligence Group в самостоятельную структуру может не дать желаемого эффекта. Поэтому мы решили не приступать к реализации данного плана, а вместо этого сосредоточимся на разработке модели устойчивого роста для Cloud Intelligence Group в нынешней нестабильной ситуации», — говорится в заявлении Alibaba.

По итогам закрытого квартала выручка Alibaba Group составила ¥224,79 млрд ($30,81 млрд), что на 9 % больше прошлогоднего результата. Чистая прибыль оказалась на уровне ¥27,71 млрд ($3,80 млрд). Облачное подразделение Cloud Intelligence Group показало квартальную выручку в размере ¥27,65 млрд ($3,79 млрд), что соответствует росту примерно на 2 % в годовом исчислении.

VK сообщила результаты работы в III квартале и за 9 месяцев 2023 года. Выручка компании в квартале выросла на 37 % год к году, составив 33 млрд руб. Аналогичный рост выручки был зафиксирован по итогам 9 месяцев, выручка составила 90,3 млрд руб.

В сегменте «Технологии для бизнеса» (VK Tech) выручка за 9 месяцев выросла на 63 % в годовом выражении, составив 4,8 млрд руб. Драйвером роста были коммуникационные сервисы VK WorkSpace, чья выручка выросла за 9 месяцев в 2,5 раза год к году, а за квартал — на 214 %, и облачные сервисы платформы VK Cloud, выручка которых с начала года выросла на 58 %. Выручка от HR-сервисов увеличилась за этот период в 2,5 раза (рост на 217 % за квартал). В сентябре 2023 года VK Tech запустил единую партнёрскую программу для бизнеса, которая позволит масштабировать экспертизу внедрения ИТ-продуктов VK.

Источник изображения: VK

За III квартал средняя месячная аудитория сервиса «Облако Mail.ru» составила 20 млн, а средняя дневная аудитория — 2,2 млн. За отчётный период пользователи загрузили в «Облако Mail.ru» около 7,5 млрд файлов. В августе 2023 года состоялся запуск сервиса «Облако на ПК», который позволил пользователям перенести файлы из других облачных хранилищ. На данный момент доступна интеграция с 11 облачными сервисами.

Вместе с публикацией результатов MLPerf Traning 3.1 компания NVIDIA официально представила новый ИИ-суперкомпьютер EOS, анонсированный ещё весной прошлого года. Правда, с того момента машина подросла — теперь включает сразу 10 752 ускорителя H100, а её FP8-производительность составляет 42,6 Эфлопс. Более того, практически такая же система есть и в распоряжении Microsoft Azure, и её «кусочек» может арендовать каждый, у кого найдётся достаточная сумма денег.

Изображения: NVIDIA

Суммарно EOS обладает порядка 860 Тбайт памяти HBM3 с агрегированной пропускной способностью 36 Пбайт/с. У интерконнекта этот показатель составляет 1,1 Пбайт/с. В данном случае 32 узла DGX H100 объединены посредством NVLink в блок SuperPOD, а за весь остальной обмен данными отвечает 400G-сеть на базе коммутаторов Quantum-2 (InfiniBand NDR). В случае Microsoft Azure конфигурация машины практически идентичная с той лишь разницей, что для неё организован облачный доступ к кластерам. Но и сам EOS базируется на платформе DGX Cloud, хотя и развёрнутой локально.

В рамках MLPerf Training установила шесть абсолютных рекордов в бенчмарках GPT-3 175B, Stable Diffusion (появился только в этом раунде), DLRM-dcnv2, BERT-Large, RetinaNet и 3D U-Net. NVIDIA на этот раз снова не удержалась и добавила щепотку маркетинга на свои графики — когда у тебя время исполнения теста исчисляется десятками секунд, сравнивать свои результаты с кратно меньшими по количеству ускорителей кластерами несколько неспортивно. Любопытно, что и на этот раз сравнивать H100 приходится с Habana Gaudi 2, поскольку Intel не стесняется показывать результаты тестов.

NVIDIA очередной раз подчеркнула, что рекорды достигнуты благодаря оптимизациям аппаратной части (Transformer Engine) и программной, в том числе совместно с MLPerf, а также благодаря интерконнекту. Последний позволяет добиться эффективного масштабирования, близкого к линейному, что в столь крупных кластерах выходит на первый план. Это же справедливо и для бенчмарков из набора MLPerf HPC, где система EOS тоже поставила рекорд.

«Яндекс» сообщил неаудированные финансовые результаты за III квартал 2023 года. Выручка компании выросла год к году на 54 % до 204,77 млрд руб., в то время как чистая прибыль сократилась на 83 % с 45,54 млрд руб. в III квартале 2022 года до 7,68 млрд руб. в отчётном.

Выручка «Яндекса» по основному направлению «Поиск и портал» выросла на 48 % до 90,4 млрд руб. Доля «Яндекса» на российском поисковом рынке составила 62,6 %, увеличившись на 0,6 п.п.

Источник изображения: yandex.ru

Облачное подразделение Yandex Cloud стало драйвером роста сегмента «Прочих бизнес-юнитов и инициатив», который также включает направление разработки беспилотных автомобилей (Yandex SDG), Yandex Cloud, «Яндекс 360», «Яндекс Образование» («Яндекс.Практикум» и другие образовательные инициативы), «Устройства и «Алису», «Финтех» (в том числе Yandex Pay и Яндекс ID) и т. д.

Выручка Yandex Cloud выросла на 60 % год к году благодаря расширению предоставляемых услуг и увеличению доли рынка на фоне растущего спроса на сервисы Yandex Cloud. Выручка направления «Устройств» и «Алисы» увеличилась на 94 % год к году до 7,2 млрд руб. благодаря увеличению ассортимента доступных моделей и маркетинговой поддержке. Общая выручка в сегменте «Прочих бизнес-юнитов и инициатив» увеличилась в III квартале на 68 % до 18,81 млрд руб.

Компания NVIDIA, по сообщению ресурса The Information, ведёт переговоры об аренде площадей у одного из операторов ЦОД, но о ком именно идёт речь, не сообщается. Предполагается, что площадка будет использоваться для поддержания работы собственного облачного сервиса DGX Cloud, предназначенного для обучения передовых моделей для генеративного ИИ.

О доступности облака DGX Cloud компания NVIDIA объявила в июле нынешнего года. Тогда сообщалось, что соответствующая вычислительная инфраструктура достанется в первую очередь США и Великобритании. Стоимость доступа к DGX Cloud начинается с $36 999 в месяц. Говорилось, что NVIDIA намерена продвигать DGX Cloud в партнёрстве с ведущими гиперскейлерами. Первым сервис появился в облаке Oracle Cloud Infrastructure (OCI), на очереди Microsoft Azure, Google Cloud Platform и другие. Большая часть выручки в этом случае достаётся именно NVIDIA, а не облакам.

Источник изображения: NVIDIA

Теперь же, судя по всему, NVIDIA решила частично отказаться от услуг облачных провайдеров и развернуть DGX Cloud на арендованных ЦОД-площадях. Впрочем, как отмечается, переговоры всё ещё находятся на начальной стадии, а поэтому говорить о том, что NVIDIA сама превратится в гиперскейлера, преждевременно. При этом компания неоднократно упрекали в том, что в последнее время она более благосклонна к небольшим и специализированным облачным провайдерам, которые не пытаются создавать собственные ИИ-ускорители, могущие составить прямую конкуренцию продуктам NVIDIA.

Платформа Yandex Cloud сообщила о расширении портфолио облачных служб и запуске сервисов SpeechSense, Smart Web Security, Cloud Postbox и Apache Airflow. Также компания сделала общедоступным исходный код DataLens — своей системы для анализа и визуализации данных.

Первое упомянутое в списке решение — SpeechSense — представляет собой сервис речевой аналитики, предназначенный для проведения детального анализа звонков и чатов операторов контакт-центров, в том числе оценки их тона и вовлеченности в диалогах. Инструмент позволяет повысить качество работы сотрудников в голосовых каналах и снизить затраты на аналитику коммуникаций. Сервис интегрирован с нейросетью YandexGPT, доступен для пользователей платформы в режиме Private Preview и предоставляется по запросу.

Источник изображений: пресс-служба «Яндекса»

Вторая новинка — Smart Web Security — обеспечивает защиту веб-приложений от распределённых атак, направленных на отказ в обслуживании (Distributed Denial of Service, DDoS). Технология выявляет угрозы с помощью поведенческого анализа пользователей, встроенных алгоритмов машинного обучения и интегрирована с Yandex SmartCaptcha. Утверждается, что такой комплексный подход позволяет блокировать самые сложные атаки злоумышленников на уровне L7 по классификации OSI (Open Systems Interconnection model). Эти DDoS-атаки максимально имитируют поведение обычных пользователей.

Следующее решение — Cloud Postbox — предназначено для рассылки транзакционных писем. С его помощью компании могут по клику отправлять письма о работе своих сервисов в единой облачной инфраструктуре, не используя сторонние решения. Например, уведомлять клиентов о состоянии заказа, смене пароля или отписке. Сервис может быть актуален организаций, которые размещают в облаке своё программное обеспечение по модели SaaS. Например, CRM-системы или веб-приложения.

Что касается Apache Airflow, то данная служба может представлять интерес для дата-инженеров, аналитиков и ML-специалистов, оперирующих данными в облачном окружении. Сервис интегрирован с объектным хранилищем, управляемыми СУБД, BI-инструментами, системами машинного обучения. Также Apache Airflow работает с сервисом для обработки массивов данных Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. Кроме этого, доставка секретов в Apache Airflow через Lockbox позволяет упростить и сделать процесс управления данными более надёжным и безопасным.

Также платформа Yandex Cloud опубликовала исходный код DataLens. Это система класса Business Intelligence, с которой работают большинство сервисов «Яндекса» и тысячи внешних компаний в облачной инфраструктуре. Теперь использовать Open Source-версию сервиса, доработав её под себя самостоятельно, может любой желающий. Система подходит для решения широкого круга задач по анализу и визуализации данных. С помощью DataLens можно собрать дашборды для мониторинга ключевых бизнес-метрик компании и обеспечить коллективный доступ к аналитике. Исходный код и документация DataLens доступны на GitHub. Код распространяется под лицензией Apache 2.0.

Компания «Киберпротект» совместно с сервисом Yandex Cloud представила шлюз резервного копирования для хранения резервных копий в объектном хранилище Yandex Object Storage.

Разработанное специалистами «Киберпротекта» и «Яндекса» решение позволяет оперативно развернуть в Yandex Cloud всю необходимую инфраструктуру и использовать объектное облачное хранилище S3 как место назначения для резервных копий системы резервного копирования «Кибер Бэкап».

Приложение «Шлюз резервных копий СРК Кибер Бэкап» доступно в магазине Yandex Cloud Apps. В процессе автоматического развёртывания создаются все необходимые облачные ресурсы — виртуальные машины, виртуальные диски, корзина для хранения резервных копий (S3 bucket), сетевой балансировщик нагрузки, сервисные учётные записи и другие, настраивается балансировка запросов к шлюзу резервного копирования. Сразу после установки приложения шлюз резервного копирования готов к работе и резервные копии можно сохранять в объектное хранилище, минуя панель управления шлюзом.

«В решении "Кибер Бэкап" уже давно есть возможность резервного копирования в различные S3-хранилища через шлюз резервного копирования. Теперь мы значительно улучшили интеграцию с Yandex Cloud. Развёртывание инфраструктуры для резервного копирования в S3-хранилище Yandex Cloud стало максимально простым и быстрым, не требует затрат на приобретение лицензий, оборудования, установку и администрирование», — поясняет Андрей Пономаренко, руководитель группы разработки продукта.

В минувшее воскресенье, 10 сентября 2023 года, китайская Alibaba Group сообщила о том, что генеральный директор Даниэль Чжан (Daniel Zhang) покидает компанию. При этом, как отмечает Reuters, господин Чжан принял неожиданное решение уйти с поста главы облачного подразделения Alibaba. В конце прошлого года он взял на себя прямое управление Alibaba Cloud после самого масштабного сбоя облака за последние 10 лет.

Группа Alibaba находится в процессе разделения на шесть самостоятельных единиц, которые выйдут на биржу. На базе облачных активов Aliyun будет сформировано подразделение Cloud Intelligence Group, которое, как предполагалось, возглавит Даниэль Чжан. Но теперь планы изменились.

Источник изображения: Alibaba Group

Говорится, что господин Чжан передаст полномочия генерального директора Alibaba Group Эдди Ву (Eddie Wu), который также возглавит облачный бизнес. Ву является одним из соучредителей компании и одним из первых программистов Alibaba. «Даниэль выразил желание уйти с поста председателя и генерального директора Cloud Intelligence Group. Правление нашей компании выражает глубочайшую признательность господину Чжану за его вклад в Alibaba Group на протяжении последних 16 лет», — говорится в заявлении компании.

При этом Чжан продолжит участвовать в развитии Alibaba, «используя свой опыт в ином ключе». В частности, Alibaba инвестирует $1 млрд в технологический фонд, который создаст Даниэль Чжан. Этот фонд будет поддерживать стратегию Alibaba по инвестированию в будущий рост и развитию технологической экосистемы. Компания также впервые в своей истории присвоила господину Чжану почетное звание.