В прошлом году ретейл-бизнес Amazon столкнулся с острой нехваткой ИИ-ускорителей для внутреннего пользования. Это привело к задержкам при реализации ключевых проектов. На фоне глобального бума ИИ-технологий и дефицита чипов NVIDIA компания вынужденно пересмотрела принципы доступа к ускорителям для собственных нужд, сообщает Business Insider.

В июле 2024 года началась реализация т. н. Project Greenland. Фактически речь идёт о платформе для централизованного распределения ресурсов ускорителей. Платформа позволяет отслеживать их использование, перераспределяет мощности в случае простоя и даёт возможность оперативно реагировать на изменения спроса. Теперь все заявки на доступ к ускорителям подаются только через Greenland, а приоритет получают проекты с высоким уровнем возврата инвестиций (ROI), чётким графиком и заметным влиянием на снижение затрат или рост выручки. У проектов с низкой эффективностью доступ к вычислительным мощностям могут вообще отозвать в пользу более перспективных инициатив.

Amazon выделила восемь принципов распределения ускорителей среди сотрудников компании:

1. «ROI + здравый смысл»: ускорители будут выделяться по уровню возврата инвестиций и обоснованности проектов, а не по очереди. Все ресурсы должны способствовать росту денежного потока;
2. Постоянное совершенствование: подход пересматривается по мере накопления нового опыта;
3. Нужно избегать изолированных решений: все инициативы, связанные с ускорителями, должны централизованно отслеживаться и координироваться;
4. Экономя времени: масштабируемые инструменты — ключ к быстрому принятию решений, что, в свою очередь, высвобождает время для инноваций;
5. Повышение эффективности: оптимизация использования ускорителей содействует сотрудничеству и совместному использованию ресурсов;
6. Ради инноваций иногда можно рисковать: допустимый уровень риска необходим для поддержания разработок и исследований;
7. Прозрачность и конфиденциальность: методология распределения ускорителей должна быть понятна и доступна всем внутри компании, но конфиденциальне данные о конкретных проектах остаются закрытыми;
8. Возможность отзыва ускорителей: в случае необходимости их могут изъять для более ценных проектов.

Источник изображения: Centre for Ageing Better/unsplash.com

Amazon уже активно использует искусственный интеллект в различных проектах. В числе ключевых инициатив:

• Помощник для покупок Rufus;
• Генератор изображений товаров Theia;
• Система компьютерного зрения VAPR для ускоренной сортировки посылок;
• ИИ-модель для оптимизации маршрутов и доставок;
• ИИ-поддержка для обработки возвратов;
• Автоматизация расследований мошеннических действий и проверки документов.

По оценкам Amazon, ИИ-проекты розничного подразделения в 2024 году принесли $2,5 млрд операционной прибыли, попутно сэкономив $670 млн. В 2025 году ретейл-подразделение Amazon намерено вложить $1 млрд в ИИ-проекты розничного сегмента и увеличить расходы на облако AWS до $5,7 млрд (с $4,5 млрд в 2024 году).

Если во II полугодии 2024 года розница Amazon нуждалась в более 1 тыс. дополнительных инстансов P5 с NVIDIA H100, то в 2025 году ситуация, как свидетельствуют внутренние прогнозы, должна стабилизироваться. А к концу года внутренние запросы полностью удовлетворят с помощью чипов собственной разработки Amazon Tranium, «но не раньше». Тем не менее, в Amazon не теряют бдительности, постоянно задаваясь вопросом: «Как получить больше ускорителей?».

Стартап Parasail привлёк $10 млн стартового капитала и выступил с необычным для рынка ИИ предложением. Компания стала своеобразным «агрегатором ускорителей», создав для инференса сеть, позволяющую свести вместе владельцев вычислительных мощностей и их клиентов с максимальной простотой, сообщает The Next Platform.

Раунд финансирования возглавили Basis Set Ventures, Threshold Ventures, Buckley Ventures и Black Opal Ventures. Компанию основали Майк Генри (Mike Henry), ранее основавший производителя ИИ-решений Mythic и работавший одним из топ-менеджеров в Groq, и Тим Харрис (Tim Harris), генеральный директор Swift Navigation.

Прежний опыт Майка Генри на рынке IT позволил заметить, что в последнее время ландшафт облачных сервисов стремительно меняется — если ранее на нём безраздельно доминировали гиперскейлеры вроде AWS, Microsoft Azure и Google Cloud, то с приходом ИИ они, казалось бы, сохраняют ведущие позиции, но на сцену выходят и новые облачные игроки, чья инфраструктура изначально рассчитана на ИИ-задачи, от обучения до инференса.

В конце 2023 года бизнесмены основали компанию Parasail, которая совсем недавно заявила о себе, заодно собрав $10 млн финансирования. Фактически бизнес рассчитан на клиентов, которые заинтересованы в простом доступе к ИИ-технологиям — он будет связывать тех, кто располагает ими, и тех, кто в них нуждается.

Источник изображения: Campaign Creators/unsplash.com

Parasail намеревается использовать рост облачных ИИ-провайдеров вроде CoreWeave (недавно вышедшей на IPO) и Lambda Labs. Для этого создана сеть AI Deployment Network, объединяющая их вычислительные ресурсы в единую инфраструктуру, которая масштабнее, чем Oracle Cloud Infrastructure (OCI). Компания применяет собственный «движок» для оркестрации процессов в этом гипероблаке.

Ключевым преимуществом является низкая стоимость услуг — утверждается, что компании, желающие отказаться от сервисов вроде OpenAI и Anthropic, могут рассчитывать на экономию в 15–30 раз, а в сравнении с клиентами провайдеров open source моделей — в 2–5 раз. На настройку уходит несколько часов, а инференс после этого можно начать за считанные минуты. Сегодня Parasail предлагает в облаке ресурсы NVIDIA H200, H100 и A100, а также видеокарт NVIDIA GeForce RTX 4090. Цены составляют от $0,65 до $3,25 за час использования.

Parasail столкнулась с проблемой несовместимости инфраструктур: разные облачные платформы используют уникальные подходы к вычислениям, хранению данных, сетевому взаимодействию, а также имеют различия в настройке, биллинге и автоматизации. Хотя Kubernetes и контейнеризация могли бы частично решить эти проблемы, их реализация у разных провайдеров сильно отличается, а Kubernetes изначально не предназначается для работы с несколькими кластерами, регионами или провайдерами одновременно.

Чтобы обойти ограничения, Parasail разработала собственную систему, которая объединяет ускорители из разных облаков в единую глобальную сеть. Их решение позволяет централизованно управлять распределёнными узлами, игнорируя различия в инфраструктуре провайдеров. Если один облачный провайдер выйдет из строя, система автоматически заменяет его ресурсы другими, минимизируя простои. Дополняя эту систему автоматизированным динамическим выделением ускорителей, Parasail создаёт масштабируемую и эффективную глобальную инфраструктуру, способную оперативно адаптироваться к нагрузкам и сбоям.

Оркестрация и оптимизация рабочих нагрузок в ИИ-инфраструктуре усложняются из-за огромного разнообразия моделей, архитектур, типов GPU и ASIC, а также множества способов их комбинирования. Parasail решает эту проблему с помощью гибридного подхода, сочетающего математическое моделирование, ИИ-алгоритмы и участие живых специалистов, что позволяет эффективно масштабироваться даже с небольшой командой.

Источник изображения: Campaign Creators/unsplash.com

Закрытое бета-тестирование началось в январе, а позже спрос только вырос до той степени, что Parasail достигла семизначного ежегодного регулярного дохода (ARR). Теперь технология доступна всем, в числе клиентов — производитель чипов SambaNova, ИИ-платформа Oumi, ИИ-стартап Rasa и Elicit, позволяющий автоматизировать научные изыскания.

В будущем стартап намерен быстро расширить штат из 12 работников, рассматриваются и варианты добавления в портфолио новых доступных ускорителей — сейчас там безусловно лидирует NVIDIA, но рынок вполне может измениться.

В то же время отмечается парадоксальная ситуация, когда на рынке наблюдается и дефицит ускорителей, и простой мощностей в некоторых ЦОД одновременно. Предполагается, что дело в плохой оптимизации процессов на рынке ИИ. При этом в компании отмечают, что в данное время спрос на ИИ-приложения «почти бесконечен» и главная проблема — эффективно их использовать. Платформа Parasail для инференса максимально упрощает масштабное внедрение ИИ.

Стартап Nerdio Inc., обеспечивающий компаниям работу с виртуальными рабочими столами в облаке Microsoft Azure, привлёк $500 млн новых инвестиций в раунде серии C. Капитализация разработчика ПО достигла $1 млрд, что в четыре раза больше, чем два года назад, сообщает Silicon Angle. Продукты Nerdio используют 15 тыс. организаций, в 2022 году речь шла о 5 тыс. Среди клиентов — Comcast, PayPal и другие крупные компании.

Платформа доступна в Azure Marketplace. В Nerdio утверждают, что это позволит избежать долгих процедур, сопровождающих корпоративные закупки ПО. Платформа может работать напрямую в облачных средах клиентов, что помогает повысить уровень безопасности. Платформа интегрирована в два VDI-сервиса Azure: AVD (Azure Virtual Desktop) и Windows 365.

Nerdio обещает упростить процесс создания виртуальных рабочих столов. По данным компании, в некоторых случаях первоначальная настройка и развёртывание занимают недели. Платформа компании ускоряет процесс в отдельных случаях на 80 %. Платформа включает инструменты, которые упрощают выявление проблем с производительностью виртуальных рабочих столов, а также отключают аккаунты, демонстрирующие потенциально вредоносное поведение.

Источник изображения: Nerdio

Встроенный инструмент автоматического масштабирования поможет снизить использование инфраструктуры. Эта функция позволяет автоматически назначить оборудование для выполнения задач в том объёме, в котором это действительно необходимо. В компании считают, что её ПО может снизить стоимость вычислений и хранения данных на 80 % при лучшем сценарии.

Компания сохранила прибыльность и, как сообщает её пресс-служба, расширила присутствие в регионах EMEA и APAC. Теперь она намерена использовать полученные средства, чтобы нанять новых разработчиков для расширения функциональности платформы.

Стартап Render Services объявил о привлечении $80 млн инвестиций в рамках раунда финансирования серии C, доведя общий объём финансирования до $157 млн. Раунд возглавила Georgian. Также в нём приняли участие 01A, Avra наряду с существующими инвесторами Addition, Bessemer Venture Partners, General Catalyst и South Park Commons Fund. Также стартап сообщил о том, что количество разработчиков, использующих его платформу, превысило 2 млн.

Как утверждает Render, с помощью его платформы разработчикам гораздо проще запускать приложения, сервисы и веб-сайты в облачной инфраструктуре по сравнению с традиционными платформами, такими как AWS. Платформа Render устраняет необходимость для разработчиков разбираться со сложными конфигурациями и настройками облачных инфраструктур. Она автоматизирует рутинные задачи по управлению инфраструктурой, позволяя разработчикам сосредоточиться исключительно на своих приложениях. Разработчикам достаточно подключить свой репозиторий GitHub или GitLab, и платформа тут же предложит команды для развёртывания приложения.

Источник изображения: Render

Основатель и гендиректор Render Анураг Гоэл (Anurag Goel) сообщил SiliconANGLE, что платформа компании гибче, чем традиционные бессерверные решения, и способна поддерживать гораздо более полный набор рабочих нагрузок, в том числе выполняющихся очень долго. Он отметил, что многие клиенты переходят на платформу Render с других платформ, потому что им нужно использовать LLM API и веб-сокеты, а традиционные FaaS и бессерверные решения не отвечают их потребностям.

В числе преимуществ Render Гоэл назвал более быстрое развёртывание и возможность простого масштабирования. Render автоматизирует необходимую подготовку инфраструктуры, не заставляя разработчиков возиться с настройкой Kubernetes или других сред, говорит глава стартапа. Также у платформы Render ниже стоимость владения по сравнению с конкурентами.

Хольгер Мюллер (Holger Mueller) из Constellation Research отметил, что Render облегчает работу разработчиков, поскольку большинство публичных облаков стали невероятно сложными в управлении и эксплуатации. «Управление инфраструктурой отнимает у разработчиков много времени и ресурсов, поэтому приятно видеть альтернативу, такую как Render, которая справляется с этим», — заявил аналитик.

Европейская комиссия одобрила сделку по приобретению компанией NVIDIA стартапа Run:ai из Тель-Авива (Израиль), который специализируется на разработке ПО для управления рабочими нагрузками ИИ и оркестрации на базе Kubernetes. Регуляторы пришли к выводу, что слияние не создаст проблем с конкуренцией в Европейской экономической зоне.

Стартап Run:ai основан в 2018 году. В марте 2022-го он получил $75 млн в ходе раунда финансирования Series C. Компания создаёт специализированные инструменты, которые позволяют более эффективно использовать вычислительные ресурсы при работе с ИИ-приложениями.

NVIDIA объявила о планах по поглощению Run:ai в апреле нынешнего года. Тогда говорилось, что стоимость сделки может составлять до $1 млрд. Вместе с тем израильская газета Calcalist оценила актив в $700 млн. Изучением возможных последствий слияния занялись регулирующие органы в США и Европе. В частности, американское Министерство юстиции заподозрило, что NVIDIA покупает Run:ai с тем, чтобы в дальнейшем «похоронить» технологии этого стартапа. Дело в том, что платформа Run:ai позволяет уменьшить потребность в вычислительных ресурсах при работе с ИИ, а следовательно, снизить количество необходимых ускорителей. Это может привести к тому, что некоторые клиенты станут покупать меньше продуктов NVIDIA.

Источник изображения: Run:ai

Еврокомиссия дала сделке зелёный свет. В официальном заявлении регулятора сказано, что деятельность NVIDIA и Run:ai не пересекается. Подчёркивается, что NVIDIA занимает доминирующее положение на мировом рынке GPU. Однако у этой компании не будет «ни технических возможностей, ни стимулов для того, чтобы препятствовать совместимости своих GPU с конкурирующим ПО для оркестрации». Кроме того, как отмечается, Run:ai сейчас «не занимает существенной позиции» на рассматриваемом рынке ПО. Клиенты по-прежнему будут иметь доступ к альтернативным продуктам с функциями, аналогичными тем, что предлагает Run:ai.

«Комиссия пришла к выводу, что предлагаемое приобретение не вызовет проблем с конкуренцией ни на одном из рассмотренных рынков в Европейской экономической зоне. Поэтому сделка безоговорочно одобрена», — сказано в заявлении регулятора.

NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

Компания NVIDIA объявила о приобретении стартапа Run:ai из Тель-Авива (Израиль), занимающегося разработкой ПО для управления рабочими нагрузками и оркестрации на базе Kubernetes, которое позволяет более эффективно использовать вычислительные ресурсы при работе с ИИ-приложениями.

Стоимость сделки не раскрывается. По данным TechCrunch, покупка обошлась NVIDIA в $700 млн. Это одно из крупнейших приобретений Nvidia с момента покупки Mellanox за $6,9 млрд в марте 2019 года. Два года назад NVIDIA купила Bright Computing, разработчика решений для управления НРС-кластерами.

NVIDIA отметила, что развёртывание ИИ-приложениЙ становится всё более сложным. Оркестрация генеративного ИИ, рекомендательных и поисковых систем, а также других рабочих нагрузок требует сложного планирования для оптимизации производительности. ПО Run:ai позволяет управлять и оптимизировать вычислительную инфраструктуру как локально, так и в облаке или в гибридных средах.

Источник изображения: NVIDIA

Созданная стартапом открытая платформа поддерживает все популярные варианты Kubernetes и интегрируется со сторонними инструментами и платформами ИИ. Компании из различных отраслей используют платформу Run:ai для управления кластерами ускорителей в масштабе ЦОД.

Как сообщается, на относительно раннем этапе деятельности Run:ai удалось создать большую клиентскую базу из компаний из списка Fortune 500, что позволило привлечь венчурные инвестиции. Перед сделкой Run:ai привлекла капитал в размере $118 млн от ряда инвесторов, включая Insight Partners, Tiger Global, S Capital и TLV Partners.

NVIDIA заявила, что в ближайшем будущем продолжит предлагать продукты Run:ai в рамках той же бизнес-модели, а также продолжит инвестировать в развитие Run:ai в рамках платформы NVIDIA DGX Cloud, предоставляющей корпоративным клиентам доступ к вычислительной инфраструктуре и ПО для обучения моделей генеративного и других форм ИИ.

Решения Run:ai уже интегрированы с NVIDIA DGX, NVIDIA DGX SuperPOD, NVIDIA Base Command, контейнерами NGC, ПО NVIDIA AI Enterprise и другими продуктами. По словам NVIDIA, пользователи серверов и рабочих станций NVIDIA DGX, а также DGX Cloud также получат доступ к возможностям Run:ai, что особенно полезно при развёртывании генеративного ИИ в нескольких ЦОД.

Компания «РСК Технологии» сообщила о включении в реестр отечественного программного обеспечения платформы «РСК БазИС» (RSC BasIS).

«РСК БазИС» представляет собой набор интегрированных друг с другом компонентов с открытыми исходным кодом. Система предназначена для автоматизации задач управления и обслуживания кластерного высокопроизводительного вычислительного комплекса (суперкомпьютера, центра обработки данных), в том числе с помощью интуитивно понятного веб-интерфейса. Ядром продукта является централизованная база данных объектов управления и методов работы с ними, основанная на использовании иерархических топологий.

Отличительными особенностями «РСК БазИС» являются единая расширяемая экосистема микросервисов, функционирующих с использованием технологий контейнеризации, система управления конфигурациями ресурсов на основе настраиваемых шаблонов, а также встроенные инструменты инженерного мониторинга, обеспечивающие сбор, обработку и отображение критически важных параметров состояния объектов управления.

В сочетании с аппаратными платформами «РСК Технологии» программный комплекс «РСК БазИС» позволяет создавать гиперконвергентные решения для высокопроизводительных вычислений и эффективной обработки больших объёмов данных.

Включение в реестр подтверждает российское происхождение системы «РСК БазИС» и позволяет коллективу разработчиков компании «РСК Технологии» рассчитывать на государственные меры поддержки, оказываемой поставщикам отечественного ПО.

На сегодняшний день в реестре российского ПО зарегистрированы более 19,8 тысяч продуктов. С полным перечнем представленных в реестре программных решений можно ознакомиться на сайте Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации.

Nokia Bell Labs представила технологию Natural-Language Networks («Сети на естественном языке»), которая позволит управлять сетями с помощью простой речи или текстовых подсказок. Как утверждает компания, благодаря использованию новой технологии сети будут «понимать» намерения пользователей и обладать достаточным интеллектом, чтобы автономно действовать в соответствии с этими намерениями.

Компания сообщила, что Natural-Language Networks упростит управление сетями, а также позволит гораздо лучше реагировать на потребности конечных пользователей. Используя ИИ, технология позволит поставщикам услуг предоставлять и поддерживать идеальную конфигурацию сети для любого клиента в любой момент, когда ему это потребуется.

Источник изображения: Nokia

Кроме того, Natural-Language Networks постоянно совершенствуется, обучаясь на выполняемых операциях и всё глубже оптимизируя сеть с каждым последующим запросом. По мере накопления знаний Natural-Language Networks начинает предвидеть потребности в услугах и приложениях и самостоятельно адаптируется к ним без какого-либо вмешательства человека.

Чаба Вулкан (Csaba Vulkan), руководитель исследований в области автоматизации сетевых систем в Nokia Bell Labs, отметил, что операторам не нужно будет изучать технические каталоги или сложные описания API при настройке сетей. Для этого будет достаточно команды «Оптимизировать сеть в местоположении X для услуги Y». С помощью голосового управления можно будет оптимизировать беспроводную сеть, например, на заводе для автоматизации роботов или для согласования потока загрузок в социальные сети.

Решение Natural-Language Networks является компонентом новой исследовательской инициативы Nokia Bell Labs под названием UNEXT, которая направлена на изменение стека сетевого ПО и систем. Ожидается, что UNEXT сделает процесс безопасной интеграции компонентов с сетью простой задачей, превратив саму сеть в операционную систему.

Компания NVIDIA сообщила о заключении соглашения по приобретению фирмы Bright Computing, разработчика специализированных программных продуктов для управления кластерами. О сумме сделки ничего не сообщается.

Bright Computing была выделена из состава нидерландской ClusterVision в 2009 году; последняя после банкротства в 2019 году была поглощена Taurus Group. Штаб-квартира Bright Computing базируется в Амстердаме. Основным направлением деятельности компании является разработка инструментов, позволяющих автоматизировать процесс построения и управления Linux-кластерами.

Источник изображения: Bright Computing

В число клиентов Bright Computing входят более 700 корпораций и организаций по всему миру. Среди них упоминаются Boeing, Siemens, NASA, Университет Джонса Хопкинса и др. Отмечается, что NVIDIA и Bright сотрудничают уже более десяти лет. Речь идёт об интеграции ПО с аппаратными платформами и другими продуктами NVIDIA.

Поглощение Bright Computing, как ожидается, позволит NVIDIA предложить новые решения в области НРС, которые будут отличаться относительной простотой развёртывания и управления. Эти решения могут применяться в дата-центрах, в составе различных облачных платформ и edge-систем. В рамках сделки вся команда Bright Computing присоединится к NVIDIA.