Облачный провайдер DigitalOcean представил платформу GenAI, которая позволяет использовать базовые модели от сторонних поставщиков для создания и развёртывания агентов ИИ за считанные минуты без необходимости глубоких знаний в области ИИ или машинного обучения. Как сообщает DigitalOcean, интуитивно понятная работа в GenAI позволяет клиентам вне зависимости от уровня подготовки настраивать агентов с доступом к надёжным конвейерам данных и многоагентным командам.

DigitalOcean GenAI позволяет компаниям создавать чат-боты на основе базовых моделей сторонних поставщиков (Anthropic, Meta✴, Mistral и др.) для анализа документов, семантического поиска, создания изображений и т.д. Платформа создана так, чтобы быть независимой от фреймворков. Платформа упрощает и создание агентов, специфичных для конкретных вариантов использования, привнося контекстные данные в базовые LLM.

Клиенты смогут не только извлекать неструктурированные данные из файлов, но и структурированные данные из баз данных или обращаясь к API, чтобы дополнять подсказки и задействовать Retrieval Augmented Generation (RAG), обеспечивая агентам доступ к точной и актуальной информации. С помощью вызываемых функций можно дописать кастомный код, чтобы расширить возможности своего агента.

Источник изображения: DigitalOcean

Встроенные ограничители (guardrails) позволяют повысить достоверность ответов агента, помогая отфильтровывать неправильные или ненадлежащие результаты. А возможность частных подключений и наличие готового интерфейса для чат-ботов упрощают запуск этих агентов на веб-сайте клиента. В будущем появится возможность обращаться к источникам данным по URL, поддержка конвейеров AgentOps и CI/CD, тонкая настройка моделей и многое другое.

Стартап Render Services объявил о привлечении $80 млн инвестиций в рамках раунда финансирования серии C, доведя общий объём финансирования до $157 млн. Раунд возглавила Georgian. Также в нём приняли участие 01A, Avra наряду с существующими инвесторами Addition, Bessemer Venture Partners, General Catalyst и South Park Commons Fund. Также стартап сообщил о том, что количество разработчиков, использующих его платформу, превысило 2 млн.

Как утверждает Render, с помощью его платформы разработчикам гораздо проще запускать приложения, сервисы и веб-сайты в облачной инфраструктуре по сравнению с традиционными платформами, такими как AWS. Платформа Render устраняет необходимость для разработчиков разбираться со сложными конфигурациями и настройками облачных инфраструктур. Она автоматизирует рутинные задачи по управлению инфраструктурой, позволяя разработчикам сосредоточиться исключительно на своих приложениях. Разработчикам достаточно подключить свой репозиторий GitHub или GitLab, и платформа тут же предложит команды для развёртывания приложения.

Источник изображения: Render

Основатель и гендиректор Render Анураг Гоэл (Anurag Goel) сообщил SiliconANGLE, что платформа компании гибче, чем традиционные бессерверные решения, и способна поддерживать гораздо более полный набор рабочих нагрузок, в том числе выполняющихся очень долго. Он отметил, что многие клиенты переходят на платформу Render с других платформ, потому что им нужно использовать LLM API и веб-сокеты, а традиционные FaaS и бессерверные решения не отвечают их потребностям.

В числе преимуществ Render Гоэл назвал более быстрое развёртывание и возможность простого масштабирования. Render автоматизирует необходимую подготовку инфраструктуры, не заставляя разработчиков возиться с настройкой Kubernetes или других сред, говорит глава стартапа. Также у платформы Render ниже стоимость владения по сравнению с конкурентами.

Хольгер Мюллер (Holger Mueller) из Constellation Research отметил, что Render облегчает работу разработчиков, поскольку большинство публичных облаков стали невероятно сложными в управлении и эксплуатации. «Управление инфраструктурой отнимает у разработчиков много времени и ресурсов, поэтому приятно видеть альтернативу, такую как Render, которая справляется с этим», — заявил аналитик.

Хотя на китайском рынке ИИ-ускорителей по-прежнему доминирует NVIDIA, Huawei намерена отнять у неё значительную его долю. Для этого китайский разработчик намерен помочь китайским ИИ-компаниям внедрять чипы собственного производства для инференса, сообщает The Financial Times. Для обучения ИИ-моделей китайские производители в массе своей применяют чипы NVIDIA. Huawei пока не готова заменить продукты NVIDIA в этом деле из-за ряда технических проблем, в том числе из-за проблем с интерконнектом ускорителей при работе с крупными моделями.

Предполагается, что в будущем именно инференс станет пользоваться большим спросом, если темпы обучения ИИ-моделей замедлятся, а приложения вроде чат-ботов будут распространены повсеместно. Если инференс нужен постоянно, то к обучению ИИ-моделей прибегают лишь время от времени. По словам сотрудников и клиентов Ascend, компания сосредоточена на менее сложном, но, возможно, более прибыльном пути. Но поскольку ускорители NVIDIA и Huawei используют разные программные экосистемы, последняя предлагает бизнесам ПО для обеспечения совместимости.

Продукция Huawei продвигается при поддержке китайского правительства, внутри страны именно эта компания считается наиболее серьёзным конкурентом NVIDIA. И хотя китайские компании всё более ограничены в доступе к аппаратным решениям NVIDIA из-за санкций, они охотно покупают даже урезанные чипы H20, которые всё равно считают более предпочтительным вариантом, чем китайские альтернативы.

Источник изображения: Huawei

Задача Huawei — убедить разработчиков отказаться от платформы CUDA, во многом благодаря которой NVIDIA и смогла добиться успеха на рынке. От проблем с ПО страдает и AMD — по словам экспертов, именно оно не позволяет раскрыть потенциал ускорителей Instinct MI300X. Впрочем, готовящаяся к релизу версия Huawei Ascend 910C должна решить эти проблемы, поскольку новое поколение ускорителей получит ПО, упрощающее работу разработчиков. Тем временем китайские Baidu и Cambricon добились определённых успехов в разработке собственных ИИ-ускорителей, а ByteDance обратилась за помощью к Broadcom.

По оценкам SemiAnalysis, в прошлом году NVIDIA заработала $12 млрд на продажах своей продукции в Китае, поставив 1 млн ускорителей H20, т.е. вдвое больше, чем Ascend 910B. Впрочем, отрыв, по словам экспертов, быстро сокращается, поскольку Huawei наращивает производство. Отмечается, что рост доли Huawei на рынке ИИ-ускорителей отчасти сдерживается лишь недостаточным предложением её продукции. По мнению экспертов, наращивать производство будет трудно, поскольку Китайское вынужден использовать устаревшее оборудование из-за санкций США.

Специализация на инференсе может свидетельствовать и об особом векторе развития китайских ИИ-систем, отличающемся от американского. Китайские компании не участвуют в гонке Meta✴, xAI и OpenAI по созданию мегакластеров на базе решений NVIDIA. Зато большей эффективности в задачах инференса можно добиться даже с более слабыми чипами. Снизив стоимость работы ИИ-моделей, можно будет сохранять конкурентоспособность даже в таких условиях.

В прошлом месяце китайский стартап DeepSeek представил ИИ-модель V3, обеспечивающую низкие затраты на обучение и инференс в сравнении с сопоставимыми по возможностям моделями из США. DeepSeek утверждает, что Huawei успешно адаптировала V3 к Ascend. Ранее сообщалось, что Huawei охотно направляет к клиентам специалистов для помощи с переходом с NVIDIA на Ascend.

На днях глава по стратегии развития ИИ-технологий компании Synopsys Стелиос Диамантидис (Stelios Diamantidis) заявил, что в 2025 году наступит следующая фаза внедрения ИИ. По его словам, ИИ-агенты начнут сотрудничать со своими собратьями с минимальным вмешательством человека, сообщает EE Times.

Если ранее ИИ-боты представляли собой рудиментарные системы с заранее заданными правилами и деревьями решений, то теперь они эволюционировали в сложные агентные системы, способные понимать человеческую речь в произвольной форме, генерировать контент, постоянно учиться и менять своё поведение в результате обучения.

Такие ИИ-агенты могут быть использованы в специальных случаях и применяться только для определённых приложений, но скоро ситуация может измениться, когда один ИИ-агент сможет взаимодействовать с другим. В блоге Диамантидис добавил, что ИИ-агенты обучаются для улучшения интеграции и взаимодействия, включая разработку чипов.

Источник изображения: Daniel Lonn/unsplash.com

В Synopsys сообщили о внутреннем прикладном использовании подобных разработок. По результатам пилотного тестирования внутри компании, генеративный ИИ, как ожидается, сэкономит не менее 250 тыс. часов рабочего времени — сотрудники смогут более продуктивно потратить высвободившееся время на работу с клиентами.

Диамантидис добавил, что высокоспециализированные ИИ-агенты могли бы комбинировать и анализировать бессчётные объёмы информации, касающейся разработки полупроводников. Эти задачи могут быть связаны с созданием архитектуры чипа, оптимизацией энергопотребления и др. Сотрудничество ИИ с ИИ может выявлять скрытые закономерности, обеспечивать точные рекомендации по оптимизации проектирования чипов и повышению их производительности.

Организация Foundation опубликовала отчёт за 2024 год. Всего за отчётный период организация получила $292,2 млн (год назад — $263,6 млн). Почти половина (43 % или $125,1 млн) полученных средств приходится на пожертвования и взносы участников организации. В прошлом году по этой статье было получено $118,2 млн.

25,1 % ($73,6 млн, год назад — $67 млн) было выделено организации в качестве целевой поддержка проектов; 18,6 % ($54,5 млн, год назад — $49,5 млн) приходится на поддержку мероприятий, а также регистрационные взносы на конференциях; 12,3 % ($36,1 млн, год назад — $27,2 млн) получено в качестве оплаты за обучающие курсы и получение сертификатов.

Организация отметила, что доля затрат, связанных с разработкой ядра, в общем объёме расходов снизилась до 2,3 % с 2,9 % в 2023 году. В 2022 доля составляла 3,2 %, в 2021 году — 3,4 %. На разработку ядра Linux в этом году было израсходовано $6,8 млн, что на $1 млн меньше, чем в прошлом году и на $1,4 млн меньше, чем в позапрошлом году.

Источник изображений: Linux Foundation

Общая сумма расходов за 2024 год равняется 299,7 млн (в 2023 году — $269 млн). Расходы на не связанные с ядром проекты увеличились с $171,8 млн в прошлом году до $193,7 млн (64,6 % всех расходов).

Расходы на поддержание инфраструктуры составили $22,69 млн (7,6 %, в прошлом году — $22,58 млн), затраты на программы обучения и сертификации — $23,1 млн (7,7 %, в прошлом году — $18,57 млн), затраты на корпоративные операции — $18,9 млн (6,3 %, в прошлом году — $17,1 млн), расходы на проведение мероприятий — $15,2 млн (5,0 %, в прошлом году — $14,61 млн), затраты на сопровождение сообщества — $13,7 млн (4,5 %, год назад — $13,5 млн). Расходы на международные операции выросли с $2,96 млн до $5,6 млн (1,8 %).

Сообщается, что количество курируемых Linux Foundation проектов приблизилось к 1300, тогда как год назад их насчитывалось около 1100. Наибольшее число проектов Linux Foundation связано с облачными технологиями, контейнерами и виртуализацией (23 %), с сетевыми технологиями (15 %), ИИ (11 %), web-разработкой (11 %), cross-technology (9 %), безопасностью (5 %), Интернетом вещей (4 %) и блокчейном (4 %).

Аналитическая компания SemiAnalysis опубликовала результаты исследования, длившегося пять месяцев и выявившего большие проблемы в ПО AMD для работы с ИИ, из-за чего на данном этапе невозможно в полной мере раскрыть имеющийся у ускорителей AMD Instinct MI300X потенциал. Проще говоря, из-за забагованности ПО AMD не может на равных соперничать с лидером рынка ИИ-чипов NVIDIA. При этом примерно три четверти сотрудников последней заняты именно разработкой софта.

Как сообщает SemiAnalysis, из-за обилия ошибок в ПО обучение ИИ-моделей с помощью ускорителей AMD практически невозможно без значительной отладки и существенных трудозатрат. Более того, масштабирование процесса обучения как в рамках одного узла, так и на несколько узлов показало ещё более существенное отставание решения AMD. И пока AMD занимается обеспечением базового качества и простоты использования ускорителей, NVIDIA всё дальше уходит в отрыв, добавляя новые функции, библиотеки и повышая производительность своих решений, отметили исследователи.

Источник изображений: SemiAnalysis

На бумаге чип AMD Instinct MI300X выглядит впечатляюще с FP16-производительностью 1307 Тфлопс и 192 Гбайт памяти HBM3 в сравнении с 989 Тфлопс и 80 Гбайт памяти у NVIDIA H100. К тому же чипы AMD предлагают более низкую общую стоимость владения (TCO) благодаря более низким ценам и использованию более дешёвого интерконнекта на базе Ethernet. Но проблемы с софтом сводят это преимущество на нет и не находят реализации на практике. При этом исследователи отметили, что в NVIDIA H200 объём памяти составляет 141 Гбайт, что означает сокращение разрыва с чипами AMD по этому параметру.

Кроме того, внутренняя шина xGMI лишь формально обеспечивает пропускную способность 448 Гбайт/с для связки из восьми ускорителей MI300X. Фактически же P2P-общение между парой ускорителей ограничено 64 Гбайт/с, тогда как для объединения H100 используется NVSwitch, что позволяет любому ускорителю общаться с другим ускорителем на скорости 450 Гбайт/с. А включённый по умолчанию механизм NVLink SHARP делает часть коллективных операций непосредственно внутри коммутатора, снижая объём передаваемых данных.

Как отметили в SemiAnalysis, сравнение спецификаций чипов двух компаний похоже на «сравнение камер, когда просто сверяют количество мегапикселей», и AMD просто «играет с числами», не обеспечивая достаточной производительности в реальных задачах. Чтобы получить пригодные для аналитики результаты тестов, специалистам SemiAnalysis пришлось работать напрямую с инженерами AMD над исправлением многочисленных ошибок, в то время как системы на базе NVIDIA работали сразу «из коробки», без необходимости в дополнительной многочасовой отладке и самостоятельной сборке ПО.

В качестве показательного примера SemiAnalysis рассказала о случае, когда Tensorwave, крупнейшему провайдеру облачных вычислений на базе ускорителей AMD, пришлось предоставить целой команде специалистов AMD из разных отделов доступ к оборудованию с её же ускорителями, чтобы те устранили проблемы с софтом. Обучение с использованием FP8 в принципе не было возможно без вмешательства инженеров AMD. Со стороны NVIDIA был выделен только один инженер, за помощью к которому фактически не пришлось обращаться.

У AMD есть лишь один выход — вложить значительные средства в разработку и тестирование ПО, считают в SemiAnalysis. Аналитики также предложили выделить тысячи чипов MI300X для автоматизированного тестирования, как это делает NVIDIA, и упростить подготовку окружения, одновременно внедряя лучшие настройки по умолчанию. Проблемы с ПО — основная причина, почему AMD не хотела показывать результаты бенчмарка MLPerf и не давала такой возможности другим.

В SemiAnalysis отметили, что AMD предстоит немало сделать, чтобы устранить выявленные проблемы. Без серьёзных улучшений своего ПО AMD рискует еще больше отстать от NVIDIA, готовящей к выпуску чипы Blackwell следующего поколения. Для финальных тестов Instinct использовался специально подготовленный инженерами AMD набор ПО, который станет доступен обычным пользователям лишь через один-два квартала. Речь не идёт о Microsoft или Meta✴, которые самостоятельно пишут ПО для Instinct. Один из автором исследования уже провёл встречу с главой AMD Лизой Су (Lisa Su), которая пообещала приложить все усилия для исправления ситуации.

Словацкая компания Tachyum, разрабатывающая процессоры Prodigy с уникальной архитектурой, объявила о выпуске руководства по оптимизации производительности этих чипов. Точнее, для FPGA-эмулятора Prodigy, поскольку самих чипов всё ещё нет. Огромный документ на 1600 страниц содержит подробную информацию о том, как в полной мере воспользоваться потенциалом новинки.

Первая информация о разработке Prodigy появилась в 2019–2020 гг. Эти суперпроцессоры, как утверждается, объединяют возможности CPU, GPU и TPU. Они предназначены для решения различных ресурсоёмких задач, связанных в том числе с ИИ и машинным обучением.

Сроки выпуска Prodigy несколько раз пересматривались: сначала выход чипов был перенесён с 2021-го на 2022 год, затем — на 2023 год, а впоследствии — на 2024-й. В соответствии с текущими планами Tachyum намерена начать отгрузку образов чипов в 2025 году.

Источник изображения: Tachyum

Подготовленное руководство для изделий Prodigy, как заявляет компания, содержит рекомендации по созданию высокопроизводительного ПО для этой платформы. Документ описывает конкретные методы оптимизации, включая управление ограничениями диспетчеризации, улучшение процедур работы памяти и пр. Кроме того, описаны способы обработки операций кеширования и доступа к специальным регистрам для тонкой настройки с целью достижения максимальной производительности.

В руководстве рассматриваются особенности чипов. Архитектура набора инструкций Prodigy (ISA) представляет собой смесь RISC и CISC, но не включает какие-либо сложные и/или длинные и неэффективные инструкции переменной длины. Все инструкции имеют ширину 32 или 64 бит, а некоторые из них содержат функции доступа к памяти для дальнейшего повышения производительности.

Изделия Prodigy объединяют до 192 ядер с тактовой частотой до 5 ГГц и выше. Реализованы 16 каналов памяти DDR5-7200 с возможностью использования до 32 Тбайт ОЗУ в расчёте на процессорный разъём. Поддерживаются 96 линий PCIe 5.0. Планируемая технология производства — 5 нм. В конце 2023 года Tachyum получила заказ на поставку чипов Prodigy для создания суперкомпьютера с ИИ-производительностью до 8 Зфлопс.

По неофициальным данным, Apple работает с Broadcom над разработкой серверного ИИ-ускорителя для обслуживания ИИ-сервисов в своих ОС. По словам трёх анонимных источников The Information, чип создаётся в рамках проекта Baltra и будет запущен в производство в 2026 году. Ранее компании уже работали над 5G-технологиями.

Деталей пока немного. На одной из конференций в этом году представитель Apple заявил, что ИИ-экосистема Apple Intelligence должна работать как на самих устройствах компании, так и в частном облаке Apple Private Cloud Compute на базе чипов M2 Ultra. Они используются для инференса, тогда как для обучения ИИ-моделей Apple использует ускорители Google TPU. Первые слухи о том, что компания разрабатывает серверные ускорители, появились в мае 2024 года.

Источник изображения: Apple

У компании богатый опыт разработки Arm-чипов, а Broadcom, помимо прочего, продаёт лицензии на различные IP-блоки и уже не раз помогала гиперскейлерам в создании кастомных чипов. Не так давно Broadcom анонсировала новую технологию упаковки 3.5D eXtreme Dimension System in Package (3.5D XDSiP), которая как раз ориентирована на создание высокопроизводительных кастомных чипов. Она позволяет объединить два 3D-стека, пару I/O чиплетов и до 12 модулей памяти HBM3 в одной упаковке, занимающей более 6000 мм². Производство первых чипов по этой технологии ожидается в 2026 году.

Созданием собственных ИИ-ускорителей заняты практически все крупные гиперскейлеры. Google первой занялась созданием собственных ускорителей и теперь в её портфолио есть уже шесть поколений TPU, Meta✴ трудится над MTIA, AWS предлагает Trainium2 и Inferentia2, Microsoft анонсировала Maia 100, Alibaba разработала Hanguang 800, а ByteDance и OpenAI пока ещё только создают будущие ускорители, причём при помощи всё той же Broadcom. Впрочем, для многих из них это попытка снизить зависимость от NVIDIA, выручка которой бьёт все рекорды.

Компания NVIDIA сообщила о намерении открыть свой первый центр исследований и разработок во Вьетнаме: основным направлением деятельности площадки станут проекты, связанные с ИИ. Кроме того, NVIDIA примет участие в строительстве дата-центров во Вьетнаме, также ориентированных на задачи ИИ.

В рамках нового проекта NVIDIA сотрудничает с вьетнамскими властями. Как отмечает Reuters, соглашение о формировании центра исследований и разработок подписано в присутствии генерального директора NVIDIA Дженсена Хуанга (Jensen Huang) и премьер-министра Вьетнама Фам Минь Тиня (Pham Minh Chinh). Финансовые условия договора не раскрываются.

Известно, что одним из основных направлений деятельности центра станет разработка специализированного софта. Кроме того, будут проводиться работы в области ИИ-платформ. Исследователи и стартапы смогут использовать инфраструктуру NVIDIA для создания ИИ-приложений для ключевых отраслей, включая здравоохранение, образование, транспорт и финансы.

Источник изображения: NVIDIA

Хуанг во время визита в Ханой год назад заявил, что компания намерена развивать партнёрские отношения с ведущими технологическими предприятиями Вьетнама и оказывать стране поддержку в подготовке специалистов в области ИИ и цифровой инфраструктуры. Кроме того, NVIDIA заключила сделку по приобретению стартапа в сфере здравоохранения VinBrain — подразделения вьетнамского конгломерата Vingroup. А вьетнамская технологическая компания FPT в апреле текущего года сообщила о намерении развернуть ИИ-фабрику стоимостью $200 млн с использованием аппаратного и программного обеспечения NVIDIA.

В целом, NVIDIA инвестирует средства в технологическую экосистему Вьетнама на протяжении восьми лет. Компания сотрудничает с более чем 100 вьетнамскими стартапами в области ИИ.

Компания Amazon (AWS) раскрыла планы удвоить инвестиции в Anthropic, доведя их до $8 млрд. Объявление о новых вложениях было сделано через год после того, как гиперскейлер сообщил о выделении стартапу $4 млрд, сообщает Silicon Angle. На тот момент главный конкурент OpenAI назвал AWS своим ключевым облачным провайдером. С новой сделкой роль AWS в обучении моделей Anthropic только усилится.

Anthropic представила свою наиболее передовую модель Claude 3.5 Sonnet в прошлом месяце — это улучшенная версия большой языковой модели (LLM) той же серии, дебютировавшей несколько месяцев назад. Новая Claude 3.5 Sonnet лучше предшественницы в выполнении некоторых задач, включая написание кода. Она также обошла OpenAI GPT-4o в нескольких бенчмарках.

Anthropic предлагает свои LLM через сервис Amazon Bedrock, обеспечивающий доступ к управляемым ИИ-моделям. Расширенное сотрудничество обеспечит пользователям ранний доступ к функции, позволяющей настраивать модели Claude с использованием кастомных датасетов.

Источник изображения: Pepi Stojanovski/unsplash.com

Также планируется поддержать друг друга в разработках. Anthropic будет использовать ИИ-ускорители Trainium и Inferentia для внутренних задач. В компании подчеркнули, что задействуют ускорители для крупнейших базовых моделей. В то же время специалисты Anthropic поддержат AWS в разработке новых чипов Tranium. Стек ПО Neutron включает компилятор, оптимизирующий ИИ-модели для работы на инстансах Tranium, и некоторые другие инструменты. Компания также работает над низкоуровневыми программными ядрами, распределяющими задачи между вычислительными ядрами ускорителей.

Последний раунд финансирования Anthropic состоится через два месяца после того, как OpenAI привлекла рекордные для стартапа $6,6 млрд. Также она получила кредитную линию на $4 млрд от группы банков. OpenAI, оцениваемая в $157 млрд, будет инвестировать средства в ИИ-исследования и вычислительную инфраструктуру.