CDN-провайдер Akamai Technologies объявил о заключении соглашения о стратегическом партнёрстве с компанией Neural Magic, разработчиком специализированного ПО для ускорения рабочих нагрузок, связанных с ИИ. Сотрудничество призвано расширить возможности глубокого обучения на базе распределённой вычислительной инфраструктуры Akamai.

Компания Akamai реализует комплексную стратегию по трансформации в распределённого облачного провайдера. В частности, в начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode: это более распределённая альтернатива сервисам AWS или Azure. А в феврале 2024 года была представлена система Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии.

Источник изображения: pixabay.com

В рамках сотрудничества с Neural Magic провайдер предоставит клиентам высокопроизводительную инференс-платформу. Утверждается, что софт Neural Magic даёт возможность запускать ИИ-модели на обычных серверах на базе CPU без дорогостоящих ускорителей на основе GPU. ПО позволяет ускорить выполнение ИИ-задач с помощью технологий автоматического разрежения моделей (model sparsification).

Софт Neural Magic дополнит возможности Akamai по масштабированию, обеспечению безопасности и доставке приложений на периферии. Это позволит компаниям развёртывать ИИ-сервисы в инфраструктуре Akamai c более низкими задержками и повышенной производительностью без необходимости аренды GPU-ресурсов. Платформа Akamai и Neural Magic особенно хорошо подходит для ИИ-приложений, в которых большие объёмы входных данных генерируются близко к периферии.

Компания CoreWeave, специализирующаяся на облачных услугах для решения ИИ-задач, ведет переговоры о привлечении новых инвестиций. Об этом сообщает Bloomberg, ссылаясь на информацию, полученную от осведомлённых лиц, которые пожелали остаться неизвестными.

Говорится, что CoreWeave рассматривает возможность продажи как новых, так и имеющихся акций, а некоторые держатели ценных бумаг компании могут предложить часть своих активов. Условия программы ещё не согласованы и могут измениться.

Источник изображения: CoreWeave

В апреле 2023-го CoreWeave получила $221 млн в ходе раунда финансирования Series B, а позднее привлекла ещё $200 млн. В августе 2023-го компания объявила о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре прошлого года CoreWeave провела очердной раунд финансирования — на $642 млн. Средства предоставили Fidelity Management & Research Company, Investment Management Corporation of Ontario (IMCO), Jane Street, J. P. Morgan Asset Management, Nat Friedman & Daniel Gross, Goanna Capital, Zoom Ventures и др.

Говорится, что в 2023 году рыночная стоимость CoreWeave оценивалась в $7 млрд. В случае привлечения новых инвестиций капитализация компании, как отмечает Bloomberg, может достичь $16 млрд. Соучредитель и генеральный директор CoreWeave Майкл Интратор (Michael Intrator) отмечает, что это поможет компании перейти «в следующую фазу стремительного роста». В середине марта 2024 года CoreWeave назначила нового финансового директора: им стал Нитин Агравал (Nitin Agrawal), который ранее занимал должность вице-президента по финансам облачной платформы Google Cloud.

На фоне подготовки к дальнейшему росту CoreWeave сообщила о нескольких других изменениях в составе своего высшего руководства. В частности, соучредитель Браннин Макби (Brannin McBee) теперь исполняет обязанности директора по развитию, а соучредитель Брайан Вентуро (Brian Venturo) назначен директором по стратегии. Питер Саланки (Peter Salanki), занимавший пост вице-президента по инжинирингу, переведён на должность технического директора.

Говорится также, что в 2023 году CoreWeave увеличила количество своих дата-центров с 3 до 14, тогда как численность персонала выросла в четыре раза.

Некоммерческая организация CISPE, представляющая интересы поставщиков облачной инфраструктуры в Европе, призвала регулирующие органы расследовать соглашения Broadcom/VMware по лицензированию ПО, которые приведут к банкротству некоторых её членов и нанесут ущерб конечным пользователям. В группе риска оказались, к примеру, поставщики «жизненно важных медицинских услуг».

CISPE выступила против решения Broadcom в одностороннем порядке изменить условия лицензирования ПО для виртуализации, призвав «немедленно приостановить расторжение контрактов и предоставить клиентам возможность отказаться многолетних контрактов, навязанных Broadcom, как только появятся жизнеспособные альтернативы».

Речь идёт о реорганизации, проводимой Broadcom после приобретения VMware, в рамках которой была отменена партнёрская программа VMware в пользу собственной программы Broadcom. В частности, теперь для тех, кто предлагает продукты VMware как услугу, нужно иметь минимум 3500 ядер, чтобы хотя бы претендовать на получение лицензии. Причём лицензии выдаются сразу на несколько лет вперёд. Совсем скоро Broadcom прекратит продавать лицензии небольшим облачным провайдерам, что лишит их возможности предлагать продукты VMware и приведёт к оттоку клиентов или даже закрытию бизнеса.

Источник изображения: Broadcom

По данным The Register, лишь немногие операторы, предлагающие решения VMware, имеют 3500 ядер. Впрочем, небольшим облачным провайдерам, которые не соответствуют этому требованию, Broadcom присваивает статус «вторичных» и предлагает им приобретать лицензии у «основных» провайдеров с 3500+ ядрами в арсенале. В числе минусов этого предложения источник The Register назвал необходимость поддержки первичными партнёрами ПО VMware для вторичных партнёров. При этом уровень поддержки может оказаться гораздо ниже, чем непосредственно у VMware.

Вторичные партнёры могут выйти из бизнеса, а над некоторыми уже нависла угроза банкротства. Но и приглашённые стать первичными партнёрами тоже не проявляют энтузиазма. «Те, кого приглашают, чувствуют давление, вынуждающее принять несправедливые условия лицензирования из-за коротких сроков, установленных для подписания контрактов <…> Новые условия включают минимальные обязательства в размере десятков миллионов евро в течение трёхлетних периодов. Затраты на лицензии возросли, в некоторых случаях — в двенадцать раз (т.е. на 1200 %)», — отметила CISPE.

Генеральный секретарь CISPE заявил, что Broadcom «требует выкуп, используя доминирование VMware в сфере виртуализации» и навязывает несправедливые условия лицензирования с целью несправедливого обогащения за счёт европейских потребителей облачных услуг. Он призвал перевести Broadcom в разряд «привратников» в соответствии с европейским Законом о цифровых рынках (Digital Markets Act — DMA), чтобы обеспечить возможность применения к ней самого жёсткого регулирования.

Google Cloud и NVIDIA объявили о расширении партнёрства, в рамках которого новая ИИ-платформа NVIDIA Grace Blackwell и NVIDIA DGX Cloud на её основе появятся в Google Cloud Platform, а клиентам станут доступны инференс-микросервисы NVIDIA NIM. Также было сказано об общедоступности DGX Cloud на базе NVIDIA H100.

Источник изображения: NVIDIA

Среди ключевых нововведений отмечены следующие:

• Внедрение NVIDIA Grace Blackwell для работы с ИИ-моделями с триллионами параметров. Google станет одним из первых облачных провайдеров, предлагающих инстансы на базе Blackwell.
• Переход DGX Cloud в Google Cloud Platform на суперускорители GB200 NVL72. Текущий вариант DGX Cloud теперь общедоступен и работает на базе инстансов Google Cloud A3 с ускорителями NVIDIA H100.
• Возможность использование JAX с ускорителями NVIDIA H100 посредством MaxText и Accelerated Processing Kit (XPK).
• Появление NVIDIA NIM в Google Kubernetes Engine (GKE)
• Упрощённое развёртывание NVIDIA NeMo с помощью GKE и Google Cloud HPC Toolkit.
• Vertex AI теперь поддерживает инстансы Google Cloud A3 с NVIDIA H100 и инстансы G2 с NVIDIA L4.
• Сервис Dataflow теперь также поддерживает обработку данных на ускорителях NVIDIA.

Amazon Web Services (AWS) и NVIDIA объявили о расширении сотрудничества, в рамках которого ускорители GB200 и B100 вскоре появятся в облаке AWS. Кроме того, компании объявили об интеграции Amazon SageMaker с NVIDIA NIM для предоставления клиентам более быстрого и дешёвого инференса, о появлении в AWS HealthOmics новых базовых моделей NVIDIA BioNeMo, а также о поддержке AWS обновлённой платформы NVIDIA AI Enterprise.

Сотрудничество двух компаний позволило объединить в единую инфраструктуру их новейшие технологии, в том числе многоузловые системы на базе чипов NVIDIA Blackwell, ПО для ИИ, AWS Nitro, сервис управления ключами AWS Key Management Service (AWS KMS), сетевые адаптеры Elastic Fabric (EFA) и кластеры EC2 UltraCluster. Предложенная инфраструктура и инструменты позволят клиентам создавать и запускать LLM с несколькими триллионами параметров быстрее, в больших масштабах и с меньшими затратами, чем позволяли EC2-инстансы с ускорителями NVIDIA прошлого поколения.

AWS предложит кластеры EC2 UltraClusters из суперускорителей GB200 NVL72, которые позволят объединить тысячи чипов GB200. GB200 будут доступны и в составе инстансов NVIDIA DGX Cloud. AWS также предложит EC2 UltraClusters с ускорителями B100. Amazon отмечает, что сочетание AWS Nitro и NVIDIA GB200 ещё больше повысит защиту ИИ-моделей: GB200 обеспечивает шифрование NVLink, EFA шифрует данные при передаче между узлами кластера, а KMS позволяет централизованно управлять ключами шифрования.

Источник изображения: NVIDIA

Аппаратный гипервизор AWS Nitro, как и прежде, разгружает CPU узлов, беря на себя обработку IO-операций, а также защищает код и данные во время работы с ними. Эта возможность, доступная только в сервисах AWS, была проверена и подтверждена NCC Group. Инстансы с GB200 поддерживают анклавы AWS Nitro Enclaves, что позволяет напрямую взаимодействовать с ускорителем и данными в изолированной и защищённой среде, доступа к которой нет даже у сотрудников Amazon.

Источник изображения: NVIDIA

Чипы Blackwell будут использоваться в обновлённом облачном суперкомпьютере AWS Project Ceiba, который будет использоваться NVIDIA для исследований и разработок в области LLM, генерация изображений/видео/3D, моделирования, цифровой биологии, робототехники, беспилотных авто, предсказания климата и т.д. Эта первая в своём роде машина на базе GB200 NVL72 будет состоять из 20 736 суперчипов GB200, причём каждый из них получит 800-Гбит/с EFA-подключение. Пиковая FP8-производительность системы составит 414 Эфлопс.

Компания IQM Quantum Computers объявила о запуске облачной платформы Resonance, призванной ускорить исследования в области квантовых вычислений. Сервис предоставляет разработчикам и учёным доступ к системам IQM для планирования, тестирования и оценки эффективности квантовых алгоритмов.

Посредством Resonance обеспечивается доступ к квантовым компьютерам, расположенным в дата-центрах IQM в Эспоо (Финляндия) и Мюнхене (Германия). При этом пользователи могут работать с различными топологиями квантовых процессоров (QPU).

Источник изображения: IQM

Говорится, что на сегодняшний день через облачную платформу доступны 6-кубитный квантовый компьютер IQM Deneb и 20-кубитная система IQM Garnet. IQM заявляет, что платформа Resonance предоставляет безопасный доступ к квантовым компьютерам с новейшими QPU без необходимости инвестиций в квантовое оборудование. Стоимость услуги начинается с $0,5 в секунду. Также предлагается бесплатный пробный доступ длительностью 1 час.

Среди областей применения облачного сервиса названы машинное обучение, кибербезопасность, моделирование квантовых датчиков, исследования в области передовых химических соединений, разработка новых фармацевтических препаратов и пр. В сервисе используется модель подписки на временные интервалы.

Помимо облачного сервиса, компания IQM предлагает локальные квантовые компьютеры. В частности, на днях Юлихский суперкомпьютерный центр в Германии (JSC) объявил о приобретении у IQM 5-кубитной системы Spark, ввести которую в эксплуатацию планируется в июле нынешнего года. Кроме того, компания IQM заявила о планах создания Radiance — квантового компьютера на 150 кубитов, который будет запущен в I квартале 2025-го. IQM развернула локальные квантовые системы в Суперкомпьютерном центре Лейбница в Германии (LRZ) и в Центре технических исследований VTT в Финляндии.

Oracle и NVIDIA объявили о расширении сотрудничества для предоставления суверенного ИИ клиентам по всему миру — программно-аппаратные решения обеих компаний позволят правительствам и предприятиями формировать ИИ-фабрики, говорится в пресс-релизе. Облачные сервисы Oracle используют ряд платформ NVIDIA, включая аппаратную инфраструктуру и программную платформу NVIDIA AI Enterprise, в том числе недавно анонсированные микросервисы вывода NVIDIA NIM.

Такие ИИ-фабрики позволят развернуть облачные сервисы, работающие локально и размещённые в безопасных кампусах на территории страны или организации. Сочетание полнофункциональной ИИ-платформы NVIDIA с корпоративным ИИ-инструментами Oracle, которые можно развернуть в выделенном регионе OCI, позволит получить современное ИИ-решение с повышенным уровенем контроля, защиты и безопасности. По словам Oracle, компания является единственным гиперскейлером, способным предоставлять ИИ-решения и полноценные облачные услуги локально и в любом месте.

Oracle также задействует чипы NVIDIA Blackwell (GB200 и B200) в OCI Supercluster и OCI Compute. OCI Supercluster станет значительно быстрее благодаря новым bare metal-инстансам, RDMA-сети со сверхмалой задержкой и высокопроизводительному хранилищу. В OCI появятся и сервисы NVIDIA NIM и CUDA-X, а также NVIDIA NeMo Retriever.

Источник изображения: NVIDIA

Наконец, в DGX Cloud on OCI станут доступны инстансы на базе суперускорителей GB200 NVL72 для работы с LLM с триллионами параметров. Полный кластер DGX Cloud будет включать более 20 тыс. ускорителей GB200, интерконнект NVLink 5 и сеть NVIDIA InfiniBand XDR.

Microsoft и NVIDIA объявили о расширении давнего сотрудничество с целью внедрения новейших технологий генеративного ИИ NVIDIA и Omniverse в Microsoft Azure и ИИ-сервисы Azure, Microsoft Fabric и Microsoft 365.

Сатья Наделла (Satya Nadella), председатель и гендиректор Microsoft заявил, что все новые инициативы, от внедрения ускорителей GB200 Grace Blackwell в Azure до новой интеграции между DGX Cloud и Microsoft Fabric, обеспечат клиентам наиболее полные платформы и инструменты на всех уровнях стека Copilot, от «кремния» до ПО, и позволят создать им новые прорывные ИИ-приложения.

Microsoft станет одной из первых, кто развернёт в облаке ускорители GB200 и вкупе с InfiniBand-интерконнектом на базе Quantum-X800, предоставив новейшие базовые модели с триллионом параметров. Заодно компания объявила о доступности инстансов Azure NC H100 v5 на базе H100 NVL. Серия NC среднего уровня, предназначенная для обучения и инференса, предлагает клиентам два класса виртуальных машин с одним или двумя PCIe-ускорителями H100 (94 Гбайт).

Изображение: NVIDIA

Кроме того, компания предложит комплексный набор решений на базе Microsoft Azure, NVIDIA DGX Cloud и NVIDIA Clara поставщикам медицинских сервисов, фармацевтическим и биотехнологическим компаниям, а также разработчикам медицинского оборудования. А индустриальные компании получат в своё распоряжение API NVIDIA Omniverse Cloud. Наконеw, в Azure AI и Azure Marketplace станут доступны микросервисы инференса NVIDIA NIM.

NVIDIA представила свежую версию платформы для работы с ИИ-приложениями NVIDIA AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров для быстрого развёртывания приложений генеративного ИИ. NVIDIA отметила, что уже микросервисы адаптируются ведущими поставщиками ПО и платформ кибербезопасности, а все функции AI Enterprise 5.0 вскоре будут доступны в облачных маркетплейсах AWS, Google Cloud, Microsoft Azure и Oracle Cloud.

Микросервисы позиционируются компанией как эффективный инструмент для создания разработчиками современных корпоративных приложений в глобальном масштабе. Работая прямо в браузере, разработчики могут используют для создания приложений облачные API. NVIDIA AI Enterprise 5.0 теперь включает предназначенные для развёртывания моделей ИИ микросервисы NIM и микросервисы CUDA-X. Сюда входит и NVIDIA cuOpt, ИИ-микросервис для задачи логистики, который позволяет значительно ускорить оптимизации маршрута и расширить возможности динамического принятия решений, снижая затраты, экономя время и позволяя сократить выбросы CO₂.

Источник изображения: NVIDIA

NIM оптимизирует инференс-нагрузки для различных популярных моделей ИИ от NVIDIA и партнёров. Используя ПО NVIDIA для инференса, включая Triton Inference Server, TensorRT и TensorRT-LLM, NIM позволяет сократить развёртывание моделей с недель до минут и вместе с тем обеспечивает безопасность и управляемость в соответствии с отраслевыми стандартами, а также совместимость с инструментами управления корпоративного уровня. В настоящее время компания работает над расширением возможностей AI Enterprise.

С выходом версии NVIDIA AI Enterprise 5.0 платформа получила ряд дополнений. В частности, она теперь включает NVIDIA AI Workbench, набор инструментов для разработчиков, обеспечивающих быструю загрузку, настройку и запуск проектов генеративного ИИ. ПО теперь общедоступно и поддерживается NVIDIA. NVIDIA AI Enterprise 5.0 также теперь поддерживает платформу Red Hat OpenStack. Кроме того, в NVIDIA AI Enterprise 5.0 расширена поддержка широкого спектра новейших ускорителей NVIDIA, сетевого оборудования и ПО для виртуализации.

Компания NVIDIA объявила о запуске платформы облачных микросервисов Quantum Cloud, которая поможет учёным и разработчикам проводить исследования в сфере квантовых вычислений для различных областей, включая химию, биологию и материаловедение.

В основу Quantum Cloud легла NVIDIA CUDA Quantum — открытая платформа, предназначенная для интеграции и программирования CPU, GPU и квантовых процессоров (QPU). Она даёт возможность выполнять сложные симуляции квантовых схем.

На базе микросервисов Quantum Cloud пользователи смогут непосредственно в облаке создавать и тестировать новые квантовые алгоритмы и приложения. Это могут быть, в частности, гибридные квантово-классические системы. Утверждается, что Quantum Cloud обладает развитыми возможностями и поддерживает интеграцию стороннего ПО для ускорения научных исследований.

Источник изображения: NVIDIA

В состав Quantum Cloud входит компонент Generative Quantum Eigensolver, разработанный в сотрудничестве с Университетом Торонто: он использует большие языковые модели (LLM), позволяющие квантовому компьютеру быстрее находить энергию основного состояния молекулы. Интеграция решений израильского стартапа Classiq помогает исследователям создавать большие и сложные квантовые программы, а также проводить глубокий анализ квантовых схем. В свою очередь, инструмент QC Ware Promethium решает сложные задачи квантовой химии, такие как молекулярное моделирование.

«Квантовые системы представляют собой следующий революционный рубеж в сфере вычислений. Quantum Cloud устраняет барьеры на пути изучения этой преобразующей технологии и позволяет любому учёному в мире использовать возможности квантовых вычислений и воплощать свои идеи в реальность», — говорит Тим Коста (Tim Costa), руководитель NVIDIA по направлению HPC и квантовых вычислений.