NVIDIA объявила о доступности NVIDIA NIM, микросервисов инференса, которые предоставляют готовые модели в виде заранее оптимизированных контейнеров, доступных для развёртывания в облаках, ЦОД или на рабочих станциях. Это, по словам компании, позволяет разработчикам возможность без труда создавать приложения генеративного ИИ за считанные минуты, хотя ранее на это уходили недели.

Сложность приложений генеративного ИИ растёт и часто в них используется несколько моделей с различными возможностями для генерации текста, изображений, видео, речи и т.д. NVIDIA NIM позволяет значительно повысить производительность разработчиков, предоставляя простой стандартизированный способ добавления генеративного ИИ в их приложения. NIM также позволяет компаниям максимизировать свои инвестиции в инфраструктуру. Например, NIM-контейнер с оптимизированным вариантом Meta✴ Llama 3-8B выдаёт втрое больше токенов за единицу времени, чем LLM без оптимизаций.

Источник изображений: NVIDIA

Более 200 технологических партнёров NVIDIA, включая Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI и Synopsys, уже используют NIM, чтобы ускорить развёртывание генеративного ИИ для приложений, специфичных для их индустрии, таких как ИИ-помощники, помощники по созданию кода, цифровые человеческие аватары и многое другое. Кроме того, экосистему NIM поддерживают Canonical, Red Hat, Nutanix, VMware, Kinetica и Redis. Доступна и интеграция с KServe.

NIM интегрирован в платформу NVIDIA AI Enterprise. Начиная со следующего месяца участники программы NVIDIA Developer Program получат бесплатный доступ к NIM для исследований, разработки и тестирования. Контейнеры NIM могут включать ПО NVIDIA CUDA, NVIDIA Triton Inference Server и NVIDIA TensorRT-LLM. А на ai.nvidia.com уже доступно более 40 готовых моделей, включая Databricks DBRX, Google Gemma, Meta✴ Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B и Snowflake Arctic. Компания также представила и NVIDIA BioNeMo NIM для биомедицинской сферы.

Ведущие провайдеры ИИ-решений и MLOps-платформ, включая Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, ServiceNow, Securiti AI и Weights & Biases также внедрили NIM. Hugging Face теперь тоже предлагает NIM-контейнейры и позволяет развернуть модели в различных облаках всего за несколько кликов. Микросервисы NIM также интегрированы в AWS, Google Cloud, Microsoft Azure и Oracle Cloud. Наконец, компетенциями в области NIM обзавелись Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS и Wipro.

Предприятия могут запускать приложения с поддержкой NIM практически в любом месте, в том числе на сертифицированных NVIDIA системах Cisco, Dell, HPE, Lenovo и Supermicro, а также ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron и Wiwynn. Более того, например, Foxconn и Pegatron уже используют NIM для разработки предметно-ориентированных LLM для собственных производственных нужд.

Стартап Scale AI, основанный в 2016 году, объявил о проведении раунда финансирования Series F, в ходе которого привлекла $1 млрд, а оценка компании составила $13,8 млрд. Сложные ИИ-модели обучаются на огромных массивах данных, для сбора и подготовки которых может потребоваться много времени. Scale AI предоставляет облачный сервис Generative AI Data Engine, который ускоряет и упрощает этот процесс.

Клиенты Scale AI указывают, данные какого типа им необходимы для обучения ИИ-моделей, после чего стартап занимается подготовкой соответствующих наборов. Кроме того, платформа Scale AI упрощает задачу разметки данных. Поддерживается работа с текстовой информацией, изображениями и аудиоматериалами, а также более специализированными данными, такими как журналы датчиков (лидаров) беспилотных автомобилей.

Источник изображения: Scale AI

Scale AI также предоставляет ряд дополнительных услуг. В их число входит сервис проверки новый сетей на наличие уязвимостей, галлюцинаций и других проблем. Для организаций государственного сектора компания разработала чат-бота Donovan, который рассчитан на работу с конфиденциальной информацией.

Программу финансирования Series F возглавила Accel. Кроме того, средства предоставили существующие инвесторы — Y Combinator, Nat Friedman, Index Ventures, Founders Fund, Coatue, Thrive Capital, Spark Capital, NVIDIA, Tiger Global Management, Greenoaks и Wellington Management. В число новых инвесторов вошли Cisco Investments, DFJ Growth, Intel Capital, ServiceNow Ventures, AMD Ventures, WCM, Amazon, Elad Gil и Meta✴. Полученные деньги будут направлены на улучшение существующих продуктов и развитие новых проектов.

Компания NVIDIA сообщила о том, что её платформа CUDA-Q будет использоваться в суперкомпьютерных центрах по всему миру. Она поможет ускорить исследования в области квантовых вычислений, что в перспективе позволит решать наиболее сложные научные задачи.

Технология CUDA-Q предназначена для интеграции CPU, GPU и квантовых процессоров (QPU) и разработки приложений для них. Она даёт возможность выполнять сложные симуляции квантовых схем. О намерении использовать CUDA-Q в составе своих НРС-систем объявили организации в Германии, Японии и Польше.

В частности, Юлихский суперкомпьютерный центр в Германии (JSC) намерен использовать квантовое решение производства IQM Quantum Computers в качестве дополнения к Jupiter — первому европейскому суперкомпьютеру экзафлопсного класса. Этот комплекс будет смонтирован в Юлихском исследовательском центре (FZJ). Суперкомпьютер Jupiter получит приблизительно 24 тыс. гибридных суперчипов NVIDIA GH200 Grace Hopper.

Источник изображений: NVIDIA

Ещё одной гибридной системой, объединяющей классические и квантовые технологии, станет комплексе ABCI-Q, который расположится в суперкомпьютерном центре ABCI (AI Bridging Cloud Infrastructure) Национального института передовых промышленных наук и технологий Японии (AIST). В состав суперкомпьютера войдут QPU разработки QuEra, а также более 2000 ускорителей NVIDIA H100. Ввод ABCI-Q в эксплуатацию состоится в начале 2025 года. Применять систему планируется при проведении исследований в области ИИ, энергетики, биологии и пр.

Вместе с тем Познаньский центр суперкомпьютерных и сетевых технологий (PSNC) в Польше приобрёл две квантовые вычислительные системы британской компании ORCA Computing. Они интегрированы в существующую HPC-инфраструктуру PSNC, которая в числе прочего использует изделия NVIDIA Hopper. Узлы на базе QPU помогут в решении задач в области химии, биологии и машинного обучения.

Red Hat представила Red Hat Enterprise Linux AI (RHEL AI), базовую платформу, которая позволит более эффективно разрабатывать, тестировать и запускать генеративные модели искусственного интеллекта (ИИ) для поддержки корпоративных приложений. Фактически это специализированный дистрибутив, включающий базовые модели, инструменты для работы с ними и необходимые драйверы.

Источник изображений: Red Hat

Доступная сейчас в качестве превью для разработчиков, платформа RHEL AI включает в себя семейство больших языковых моделей (LLM) IBM Granite, недавно ставших доступными под лицензией Apache 2.0, инструментом тюнинга и доработки моделей InstructLab посредством методики LAB (Large-Scale Alignment for Chatbots), а также различные библиотеки и фреймворки.

Решение представляется в виде готового для развёртывания образа и является частью MLOps-платформы OpenShift AI. По словам Red Hat, RHEL AI предоставляет поддерживаемую, готовую к корпоративному использованию среду для работы с ИИ-моделями на аппаратных платформах AMD, Intel и NVIDIA. По словам компании, open source подход позволит устранить препятствия на пути реализации стратегии в области ИИ, такие как недостаток навыков обработки данных и финансовых возможностей.

Основная цель RHEL AI и проекта InstructLab — предоставить экспертам в предметной области возможность напрямую вносить свой вклад в большие языковые модели, используя свои знания и навыки. Новая платформа позволит им более эффективно создавать приложения с использованием ИИ, например, чат-боты. Впоследствии при наличии подписки RHEL AI компания предложит поддержку корпоративного уровня на протяжении всего жизненного цикла продукта, начиная с модели Granite 7B и ПО и заканчивая возможным возмещение ущерба в отношении интеллектуальной собственности.

«Опираясь на инфраструктуру GPU, доступную в IBM Cloud, которая используется для обучения моделей Granite и поддержки InstructLab, IBM Cloud получит поддержку RHEL AI и OpenShift AI. Эта интеграция позволит предприятиям легче внедрять генеративный ИИ в свои критически важные приложения», — отметила компания.

При этом прямо сейчас для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти, а также хранилищем ёмкостью от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

Компания Apple занимается разработкой собственных ИИ-полупроводников для дата-центров, передаёт The Wall Street Journal. В перспективе это поможет ей в «гонке вооружений», развернувшейся на рынке ИИ-решений. И у Apple есть ресурсы для создания передовых ИИ-чипов.

В последние десять лет компания уже выбилась в лидеры полупроводниковой индустрии, представляя всё новые чипсеты для мобильных устройств и компьютеров Mac-серии. Как свидетельствуют источники СМИ, серверный проект Project ACDC (Apple Chips in Data Center) задействует компетенции компании в деле создания решений для ЦОД. Недавно сообщалось, что Apple наняла создателя ИИ-кластеров Google. Реализацию проекта Apple начала несколько лет назад, но данных о том, когда будут готовые первые чипы, пока нет.

По имеющимся данным, компания уже тесно сотрудничает с TSMC. Предполагается, что чипы для серверов Apple будут оптимизированы для запуска ИИ-моделей, а не их обучения — на этом рынке по-прежнему будет доминировать NVIDIA. Время поджимает, поскольку Google и Microsoft уже имеют собственные ИИ-ускорители, хотя и разных классов — TPU и Maia 100. Обе компании имеют компетенции в области LLM, а Microsoft весьма дружна с OpenAI, которая тоже не прочь заняться «железом».

Источник изображения: GR Stocks/unsplash.com

Такое положение дел не устраивает инвесторов Apple, поскольку компания не продемонстрировала никаких впечатляющих успехов в соответствующей сфере, в то время как цена акций конкурентов продолжает расти на фоне новостей об их достижениях. В Apple пытаются убедить инвесторов, что это лишь временное явление и скоро грядут анонсы, связанные с ИИ. Опыт Apple в сфере разработки современных полупроводников должен помочь в создании ИИ-чипов. Сегодня компания представила 3-нм процессор M4 с самым мощным, по её словам, NPU в мире.

Хотя компания добилась определённых успехов в разработке чипов для потребительской и профессиональной электроники, определённые задачи даются ей с трудом. Например, она всё ещё бьётся над созданием собственного беспроводного модуля. Хотя в Apple предпочли бы, чтобы большинство ИИ-вычислений осуществлялись силами самих чипов, некоторые задачи будут по-прежнему выполняться в облаке, где и пригодятся новые полупроводники. Это позволит компании лучше контролировать свою стратегию развития в сфере ИИ.

SAS Institute Inc. сообщила о расширении ИИ-платформы SAS Viya, с помощью которой компании могут интегрировать самые мощные большие языковые модели (LLM), такие как GPT-4 и Gemini Pro 1.5, в свои существующие бизнес-процессы. Благодаря этому компании могут использовать LLM для создания индивидуальных моделей и агентов ИИ, точно настроенных на выполнение конкретных бизнес-задач с объяснимыми результатами и повышенной конфиденциальностью и безопасностью, а также гарантией, что они будут соответствовать определённым требованиям.

В частности, SAS Viya пополнилась новым предложением Viya Copilot для разработчиков, специалистов по обработке данных и бизнес-пользователей. Решение Viya Copilot похоже на личного помощника, призванного ускорить выполнение различных бизнес-задач. По словам компании, для этого решение использует комплексный набор инструментов, включающий генерацию кода, очистку данных, исследование данных и анализ пробелов в знаниях.

Источник изображений: SAS Institute

Обновление SAS Viya также улучшило флагманскую маркетинговую платформу компании SAS Customer Intelligence 360. Маркетологи теперь могут использовать генеративный ИИ для создания рекомендуемой аудитории на основе подсказок на естественном языке, подбора темы электронных писем и извлечения данных об аудитории.

Компания также запустила для разработчиков ИИ-приложений новую платформу SAS Data Maker, целью которой является устранение проблемы конфиденциальности и решение проблем с нехваткой данных. SAS Data Maker может генерировать «высококачественные синтетические табличные данные» для обучения ИИ вместо использования конфиденциальных данных. В то же время новая платформа поможет в ситуациях, когда компаниям не хватает данных для обучения моделей.

Вице-президент и главный аналитик Constellation Research, отметил в интервью ресурсу SiliconANGLE, что на данный момент SAS Data Maker может создавать синтетические данные только в табличных форматах, и поэтому вряд ли будет востребована многими компаниями.

Также была представлена SAS Viya Workbench — специализированная платформа для разработки ИИ в SAS Viya, предоставляющая вычислительную среду самообслуживания по требованию для таких задач, как подготовка данных, исследовательский анализ данных и построение аналитических моделей ИИ. Платформа будет запущена во II квартале на AWS Marketplace с поддержкой SAS и Python, а также поддержкой R к концу года. Пользователи получат доступ к двум вариантам среды разработки в SAS Viya Workbench, включая Visual Studio Code и Jupyter Notebooks.

Для тех, кто по каким-то причинам не может разрабатывать собственные ИИ-модели и ищет готовые решения, которые можно просто подключить к своим бизнес-системам и сразу приступить к работе, SAS представила первую из целого каталога «облегчённых» отраслевых моделей ИИ, предназначенных для клиентов в сфере финансовых услуг, здравоохранения, государственных учреждений, производства и т.д.

По словам SAS, пакетные ИИ-модели создаются с использованием запатентованных LLM и предназначены для пользователей нетехнологического сектора с целью оптимизации рабочих процессов и улучшения процесса принятия решений. SAS анонсировала свою первую комплексную модель — помощника с ИИ для оптимизации складских помещений, который может оценивать планировку складов клиентов и предлагать лучшие способы организации, чтобы максимизировать ёмкость или повысить эффективность.

Компания Samsung Electronics, по сообщению ресурса Business Korea, откроет новую научно-исследовательскую и опытно-конструкторскую (R&D) лабораторию в Кремниевой долине. Её специалисты займутся прежде всего созданием ИИ-чипов на открытой архитектуре RISC-V.

По имеющейся информации, Технологический институт Samsung SAIT (Samsung Advanced Institute of Technology) учредил исследовательский центр Advanced Processor Lab (APL). Южнокорейская компания намерена расширить свои возможности в области разработки ИИ-решений, чтобы в перспективе бросить вызов американским корпорациям, в числе которых называется NVIDIA.

Около месяца назад Samsung сформировала лабораторию Semiconductor AGI Computing Lab, сотрудники которой разрабатывают чипы следующего поколения для ИИ-приложений. Офисы данного подразделения располагаются в Южной Корее и США. Основным направлением исследований являются системы «общего искусственного интеллекта» (Artificial General Intelligence, AGI). В заявлении в LinkedIn глава Samsung Semiconductor Ке Хён Гён (Kye Hyun Kyung) отметил, что на первом этапе лаборатория сосредоточит усилия на разработке чипов для больших языковых моделей (LLM), тогда как реализация проектов в области AGI начнётся позднее.

Источник изображения: pixabay.com

Между тем власти США в рамках «Закона о чипах» выделили Samsung $6,4 млрд безвозвратных субсидий на строительство предприятий в Техасе. По условиям соглашения, в городе Тейлоре будут построены два завода по выпуску полупроводниковых изделий с нормами 4 и 2 нм. «Мы считаем, что полупроводниковые технологии нового поколения, созданные с использованием ИИ и компьютерной техники, сыграют ключевую роль в повышении качества жизни. Именно поэтому SAIT тесно сотрудничает с учёными и экспертами в поисках новых долгосрочных драйверов роста для Samsung», — говорит Гёйонг Джин (Gyoyoung Jin), президент SAIT.

Барселонский суперкомпьютерный центр (Centro Nacional de Supercomputación, BSC-CNS) и бразильский институт Эльдорадо (Instituto Eldorado) объявили о заключении соглашения о сотрудничестве в области процессоров с открытой архитектурой RISC-V.

Основная цель проекта — развитие направлений НРС и ИИ. Стороны намерены заняться совместной разработкой специализированного блока ускорения матричного умножения, который в перспективе планируется интегрировать в чипы RISC-V.

В рамках соглашения о сотрудничестве BSC-CNS и институт Эльдорадо подписали меморандум о взаимопонимании. О размере инвестиций в проект пока ничего не сообщается. Но отмечается, что инициатива является частью Приоритетной программы национальных интересов Бразилии (PPI-Softex) и осуществляется при поддержке Министерства науки, технологий и инноваций страны. Речь идёт об установлении технологического партнёрства между Бразилией и Европейским союзом, укреплении обмена знаниями, а также о поддержке передовых исследований и разработок.

Источник изображения: BSC-CNS

BSC-CNS и институт Эльдорадо намерены выполнять работы в сотрудничестве со специалистами Университета Кампинаса (UNICAMP) в штате Сан-Паулу (Бразилия). Ожидается, что в перспективе чипы с архитектурой RISC-V произведут революцию в области НРС. Новое партнёрство призвано ускорить внедрение инноваций в соответствующей области.

Стоит отметить, что недавно центр BSC-CNS заключил многолетнее соглашение о сотрудничестве с NVIDIA. Этот проект нацелен на разработку инновационных решений, объединяющих технологии НРС и ИИ. Стороны, в частности, займутся созданием больших языковых моделей (LLM).

Барселонский суперкомпьютерный центр (Centro Nacional de Supercomputación, BSC-CNS) и NVIDIA объявили о заключении многолетнего соглашения о сотрудничестве, целью которого является совместная разработка инновационных решений, объединяющих технологии НРС и ИИ.

Договор рассчитан на пять лет с возможностью последующего продления. При этом каждые шесть месяцев стороны намерены уточнять и оптимизировать направления сотрудничества. Новое соглашение будет действовать параллельно с ранее подписанным документом, касающимся совместных исследований в области сетевых решений.

Первоначально сотрудничество между BSC и NVIDIA будет сосредоточено на разработке больших языковых моделей (LLM), а также приложений для метеорологии и анализа изменений климата. Кроме того, стороны займутся адаптацией вычислительной модели цифрового двойника сердца, разработанной в рамках проекта Alya, к различным платформам. Ещё одно направление работ — программная оптимизация процессов для GPU и архитектуры NVIDIA Grace с ядрами Arm, специально разработанной для ИИ и крупномасштабных суперкомпьютерных приложений.

Источник изображения: BSC

Предполагается также, что научный потенциал BSC вкупе с технологическими достижениями и опытом NVIDIA позволят максимизировать вычислительные возможности суперкомпьютера MareNostrum 5, который был запущен в Испании в конце 2023 года. Эта система, использующая ускорители NVIDIA H100, обладает производительностью 314 Пфлопс.

Компания «Базальт СПО» сообщила о выпуске «Альт Платформы» — технологического комплекса для сборки программного обеспечения. Утверждается, что это первый в России продукт, позволяющий организациям создать полномасштабную цифровую инфраструктуру из отечественных компонентов: от простых приложений до операционной системы с комплектом прикладных программ.

В основу «Альт Платформы» положен репозиторий «Сизиф» (Sisyphus) — один из крупнейших в мире банков пакетов свободных программ с поддерживаемой целостностью. Репозиторий существует с 2001 года, насчитывает свыше 23 тыс. пакетов, находится на территории и под юрисдикцией РФ. В настоящий момент Sisyphus доступен для архитектур x86, x86-64, Arm, MIPS, «Эльбрус», PowerPC, RISC-V. Ведётся работа по портированию на другие аппаратные платформы.

Источник изображения: macrovector / freepik.com

«Базальт СПО» (до 2015 года «Альт Линукс») с 2001 года развивает собственную инфраструктуру разработки, на которой создано десять поколений операционных систем на базе ядра Linux. Для каждого нового поколения формируется хранилище проверенных компонентов. Приобретая «Альт Платформу», заказчики получают доступ к этому хранилищу и инструменты сборки от «Базальт СПО» для выпуска собственных IT-решений. Продукты, созданные на основе «Альт Платформы», будут совместимы с операционными системами семейства «Альт» и с работающим на них прикладным ПО.

«Альт Платформа» включена в реестр российского программного обеспечения как рекомендованная для закупки отечественными организациями и государственными структурами.