Материалы по тегу: разработка

13.11.2024 [22:21], Руслан Авдеев

Поработайте за нас: AWS предоставит учёным кластеры из 40 тыс. ИИ-ускорителей Trainium

AWS намерена привлечь больше людей к разработке ИИ-приложений и фреймворков, использующих разработанные Amazon ускорители семейства Tranium. В рамках нового инициативы Build on Trainium с финансированием в объёме $110 млн академическим кругам будет предоставлен доступ к кластерам UltraClaster, включающим до 40 тыс. ускорителей, сообщает The Register.

В рамках программы Build on Trainium предполагается обеспечить доступ к кластеру представителям университетов, которые заняты разработкой новых ИИ-алгоритмов, которые позволяет повысить эффективность использования ускорителей и улучшить масштабирование вычислений в больших распределённых системах. На каком поколении чипов, Trainium1 или Trainium2, будут построены кластеры, не уточняется.

 Источник изображений: AWS

Источник изображений: AWS

Как поясняют в самом блоге AWS, исследователи могут придумать новую архитектуру ИИ-моделей или новую технологию оптимизации производительности, но у них может не оказаться доступа к HPC-ресурсам для крупных экспериментов. Не менее важно, что плоды трудов, как ожидается, будут распространяться по модели open source, поэтому от этого выиграет вся экосистема машинного обучения.

Впрочем, со стороны AWS альтруизма мало. Во-первых, $110 млн будут выданы выбранным проектам в виде облачных кредитов, такое происходит не впервые. Во-вторых, компания фактически пытается переложить часть своих задач на других людей. Кастомные чипы AWS, включая ИИ-ускорители для обучения и инференса, изначально разрабатывались для повышения эффективности выполнения внутренних задач компании. Однако низкоуровневые фреймворки и т.п. ПО не предназначены для того, чтобы с ними мог свободно работать широкий круг лиц как, например, происходит с NVIDIA CUDA.

Иными словам, AWS для популяризации Trainium необходимо более простое в освоение ПО, а ещё лучше готовые решения прикладных задач. Неслучайно Intel и AMD склонны предлагать разработчикам готовые оптимизированные под их ускорители фреймворки вроде PyTorch и TensorFlow, а не пытаться заставить их заниматься достаточно низкоуровневым программированием. AWS занимается тем же самым, предлагая продукты вроде SageMaker.

Во многом реализация проекта возможна благодаря новому интерфейсу Neuron Kernel Interface (NKI) для AWS Tranium и Inferentia, обеспечивающему прямой доступ к набору инструкций чипов и позволяющему исследователям строить оптимизированные вычислительные ядра для работы новых моделей, оптимизации производительности и инноваций в целом. Впрочем, учёным — в отличие от обычных разработчиков — часто интересно работать именно с низкоуровневыми системами.

Постоянный URL: http://servernews.kz/1113909
25.10.2024 [19:58], Руслан Авдеев

Бывший топ-менеджер Linux Foundation раскрыл причины изгнания российских программистов из списка разработчиков ядра Linux

История с удалением имён российских разработчиков из файла MAINTAINERS ядра Linux получила продолжение. По информации ресурса Phoronix, ситуацию прокомментировал бывший член совета директоров Linux Foundation Джеймс Боттомли (James Bottomley), активно принимающий участие в разработке и по сей день.

Буквально на днях в Linux-сообществе разразился скандал — из файла MAINTAINERS удалили упоминания об 11 сопровождающих. Сообщалось, что записи могут вернуть, если будут предоставлены некие документы. Событие вызвало резонанс в Linux-сообществе, многие представители которого заявили, что отсутствие чётких критериев подобных репрессивных мер в будущем может грозить злоупотреблениями и ослаблением сообщества.

Позже меры утвердил и создатель ядра Linux Линус Торвальдс (Linus Torvalds), подтвердив слухи о том, что изменения связаны с санкциями США в отношении России и решение не подлежит отмене. Впрочем, от подробных комментариев отказался и он. Зато ситуацию прояснил Боттомли, принеся извинения за саму форму, в которой состоялось негласное «отлучение» от Linux. По его словам, меры были приняты в отношении людей, связанных с российскими компаниями, попавшими в санкционный список OFAC SDN Министерства финансов США — такие люди не могут остаться в файле MAINTAINERS.

 Источник изображения: Bob Brewer / Unsplash

Источник изображения: Bob Brewer / Unsplash

Каким образом можно доказать непричастность к работе в подсанкционных компаниях, не уточняется. В частности, в списке оказался разработчик, который когда-то действительно был трудоустроен в попавшую под санкции компанию «Байкал Электроникс», которой ранее уже было отказано в приёме патчей для ядра. Среди других оказались, в частности, сотрудники SberDevices, NetUP, МГУ, Metrotek, «Открытая мобильная платформа» (ОС «Аврора»).

Боттомли пояснил, что вся инфраструктура разработки Linux и огромное количество сопровождающих расположены в США, поэтому игнорировать законы этой страны не выйдет в любом случае. Разработчик выразил надежду, что из ядра не придётся удалять код уже добавленных патчей, и обещал посодействовать добавлению имён всех внёсших вклад в разработку Linux в файл CREDITS. Скоро юристы Linux Foundation, по его словам, должны опубликовать подробные материалы, посвящённые событиям.

С дополнительными комментариями поспешил выступить известный разработчик Теодор Цо (Theodore Ts'o). Он подчеркнул, что разработчики не устанавливают правила и обязаны соблюдать существующее законодательство. Он также отметил, что между санкциями против Huawei и российских разработчиков есть разница, поскольку в США существуют разные санкционные режимы для отдельных структур и людей. Кроме того, аналогичные правила на самом деле действовали и раньше, например, в отношении авторских прав и копирайта.

Постоянный URL: http://servernews.kz/1113038
22.10.2024 [18:10], Руслан Авдеев

Индия и NVIDIA обсуждают совместную работу над ИИ-ускорителями

Индийское правительство ведёт переговоры с NVIDIA о возможности совместной разработки ИИ-чипов. Министр Ашвини Ваишнав (Ashwini Vaishnaw), отвечающий за электронику и IT в целом, заявил, что обсуждение находится на начальной стадии, не сообщив никаких деталей, передаёт The Register.

В рамках новой стратегии страны приоритетным стало развитие ИИ-инфраструктуры, причём с опорой на собственные решения там, где это возможно. В частности, планируется построить суперкомпьютер с 10 тыс. ускорителей. Также выделены средства на аренду ускорителей для тех, кто не может их купить, а условия поддержки смягчили, дав возможность развиваться небольшим IT-провайдерам. При это страна готова закупать даже урезанные варианты ускорителей NVIDIA, которые из-за санкций не достались Китаю. С соседом у Индии отношения всё ухудшаются и ухудшаются, а некоторые крупные китайские игроки сами уходят из страны, а их место занимают западные и локальные компании.

 Источник изображения: Laurentiu Morariu/unsplash.com

Источник изображения: Laurentiu Morariu/unsplash.com

Индия давно стремится к развитию полупроводникового производства и намерена расширить своё влияние в этой сфере. Местные СМИ сообщают, что переговоры властей и NVIDIA якобы касаются разработки чипов, оптимизированных для некоторых сфер. Например, для обеспечения работы систем безопасности разветвлённой сети индийских железных дорог. У NVIDIA уже есть подобные решения на платформе Orin. Но выпуск даже такой платформы на территории Индии пока не представляется возможным, так что речь, вероятнее всего, идёт именно о сотрудничестве в сфере разработки.

Постоянный URL: http://servernews.kz/1112844
06.10.2024 [22:58], Владимир Мироненко

Cosmos для ИИ: VAST Data сформировала сообщество ИИ-специалистов, к которому уже присоединились NVIDIA, xAI, Supermicro, Cisco и др.

Компания VAST Data, специализирующаяся на разработке инфраструктуры для ИИ, объявила о создании Cosmos — онлайн-сообщества, предназначенного для объединения ИИ-специалистов из разных отраслей. Учитывая стремительный темп изменений на рынке ИИ, оставаться в курсе последних достижений может быть непростой задачей, отметила VAST Data, добавив, что компании спешат внедрить ИИ, чтобы трансформировать свою деятельность. При этом ИИ-специалисты сталкиваются со сложными проблемами, требующими постоянного обучения и адаптации.

VAST Data сообщила, что сообщество Cosmos предоставит специалистам по ИИ возможность общаться, делиться передовым опытом и имеющимися знаниями. Благодаря обсуждениям в реальном времени, практическим занятиям и библиотеке ресурсов Cosmos поможет компаниями добиться успеха в их проектах по развитию ИИ, независимо от их сложности.

В качестве платформы для общения выбран Discord. Для обучения предлагаются практические лаборатории Cosmos Lab, где будет возможность ознакомиться с реальными примерами работы над ИИ под руководством экспертов, которые понимают аспекты развёртывания таких решений. Лаборатории призваны помочь специалистам углубить свои навыки в интерактивной среде. Центральным узлом сообщества станет форум Discourse. Это будет место для объёмного контента, включая подробные статьи, обмен знаниями, календари событий и презентации поставщиков. «Именно здесь Cosmos превращается в нечто большее, чем просто чат — это библиотека знаний, созданная сообществом для сообщества», — отметила VAST Data.

 Источник изображения: VAST Data

Источник изображения: VAST Data

VAST Data также уточнила, что Cosmos предназначено не только для тех, кто уже является экспертом: «Независимо от того, возглавляете ли вы команду ИИ, являетесь ли вы студентом, интересующимся тем, как ИИ повлияет на вашу будущую карьеру, или только начинаете развёртывать свою первую модель, Cosmos предлагает пространство, где вы можете учиться, сотрудничать и расти».

Соучредитель VAST Data Джефф Денворт (Jeff Denworth) сообщил ресурсу The Register, что одной из моделей функционирования нового сообщества является организация Open Compute Project, занимающаяся разработкой оборудования и лучших практик с помощью совместных усилий организаций-членов, выкладывающих свои решения в open source. Ещё один ориентир для Cosmos — Конференция RSA (RSA Conference), на которой обсуждаются технологии современной защиты информационных систем, проблемы безопасности, тенденции развития сетевых угроз и вредоносных программ и т.д.

Денворт также сообщил, что был разработан кодекс поведения участника и начался набор экспертов для руководства контентными треками. На должность менеджера сообщества назначен Джонас Росланд (Jonas Rosland), занимавший должности менеджера сообщества в VMware, CIQ и Dell EMC. К сообществу уже присоединились NVIDIA, xAI, Supermicro, Deloitte, WWT, Cisco, CoreWeave, Core42, NEA, Impetus, Run:AI и Dremio.

 Источник изображения: VAST Data

Источник изображения: VAST Data

Параллельно VAST Data объявила о новом сотрудничестве с NVIDIA, Cisco и Equinix, пишет ресурс Blocks and Files. На прошедшей неделе VAST Data представила решение VAST InsightEngine with NVIDIA для безопасного получения, обработки и извлечения всех корпоративных данных (файлов, объектов, таблиц и потоков) в режиме реального времени. В нём VAST Data интегрировала своё ИИ-хранилище и обработку данных с ускорителями NVIDIA и микросервисами NIM. Теперь ускорители могут напрямую работать с данными в массивах VAST, а микросервисы NIM работают непосредственно внутри программной среды VAST.

В свою очередь, Cisco в рамках сотрудничества с VAST Data планирует предлагать ПО VAST Data Platform на некоторых серверах UCS в качестве готовой интегрированной системы. Серверы Cisco UCS с ПО VAST Data и Cisco Nexus HyperFabric AI будут доступны в I половине 2025 года. А Equinix, которая уже предлагает оборудование Dell, NetApp, PureStorage и Seagate (Lyve Cloud) в 26 объектах IBX, планирует добавить платформу VAST для систем NVIDIA DGX, включая SuperPOD, а также платформу NVIDIA AI Enterprise. Сотрудничество с NVIDIA, Cisco и Equinix позволит VAST Data расширить возможности поставок своего продукта на рынки различных стран.

Постоянный URL: http://servernews.kz/1112064
05.10.2024 [15:36], Владимир Мироненко

Accenture сформировала подразделение NVIDIA Business Group и обучит 30 тысяч сотрудников полному стеку ИИ-технологий NVIDIA

Глобальная консалтинговая компания Accenture и NVIDIA объявили о расширении партнёрства, в рамках которого Accenture создала новую бизнес-группу Accenture NVIDIA Business Group с целью помочь предприятиям быстро внедрить и масштабировать ИИ-решения. Также будет проведено обучение 30 тыс. сотрудников Accenture по всему миру полному набору ИИ-технологий NVIDIA. Это одна из крупнейших сделок на рынке.

Новая структура Accenture сосредоточится на стимулировании корпоративного внедрения так называемых «агентных систем ИИ», используя преимущества ключевых программных платформ NVIDIA. Как сообщает ресурс CRN, директор по ИИ Accenture Лань Гуань (Lan Guan) заявил на встрече с журналистами, что агентные системы включают в себя «армию ИИ-агентов», которые работают вместе с людьми, чтобы «принимать решения и точно выполнять задачи даже в самых сложных рабочих процессах».

Согласно пресс-релизу, агентные системы — это прорыв в области генеративного ИИ. Они могут автономно действовать в соответствии с намерениями пользователя, создавать новые рабочие процессы и предпринимать действия с учётом окружения, что может целиком реорганизовать бизнес-процессы или отдельные функции. По словам Гуаня, в отличие от чат-ботов, таких как ChatGPT, ИИ-агенты не требуют запросов и подсказок от людей и не предназначены для автоматизации уже существующих бизнес-шагов.

 Источник изображения: Accenture

Источник изображения: Accenture

В своей работе Accenture NVIDIA Business Group будет полагаться на собственную платформу AI Refinery, которая использует полный стек NVIDIA AI, включая NVIDIA AI Foundry, AI Enterprise и Omniverse для продвижения таких направлений, как реорганизация процессов, моделирование на основе ИИ и суверенный ИИ. AI Foundry помогает в разработке кастомных ИИ-моделей, предоставляя доступ к базовым моделям, фреймворкам и инструментам. AI Enterprise предлагает микросервисы и инструменты для разработки, оптимизации и развёртывания приложений ИИ. Наконец, Omniverse ориентирована на создание цифровых двойников производственных процессов и т.п.

Accenture также заявила, что открывает сеть инженерных ИИ-центров в Сингапуре, Токио, Малаге и Лондоне, которые помогут ей во внедрении агентных систем ИИ. Эти центры станут частью Центра передового ИИ Accenture (Center for Advanced AI) в дополнение существующим филиалам в Маунтин-Вью и Бангалоре, и будут сосредоточены на подборе и тюнинге базовых моделей с последующим крупномасштабном инференсом. Кроме того, Accenture предложит NVIDIA NIM Agent Blueprints, шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач.

 Источник изображения: Simon Kadula / Unsplash

Источник изображения: Simon Kadula / Unsplash

В частности, Accenture подготовит Blueprint для моделирования производств с использованием парка роботов, который объединяет NVIDIA Omniverse, Isaac и Metropolis. Accenture планирует использовать эти новые возможности в Eclipse Automation, принадлежащей её компании по автоматизации производств. Это позволит вполовину ускорить подготовку проектов и почти на треть сократить время развёртывания.

Следует отметить, что на прошлой неделе Accenture сообщила о том, что в 2024 финансовом году, закончившемся 31 августа, у неё было на $3 млрд новых заказов на генеративный ИИ, $1 млрд из которых пришёлся на IV квартал. Для NVIDIA партнёрство с Accenture является частью реализации плана по расширению влияния на глобальных системных интеграторов (GSI) и другие многонациональные компании, которые имеют значительное влияние на предприятиях. Например, Infosys год назад заявила, что обучит и сертифицирует в рамках партнёрства с NVIDIA 50 тыс. сотрудников, которые изучат особенности аппаратных и программных ИИ-решений NVIDIA.

Постоянный URL: http://servernews.kz/1112025
27.09.2024 [21:50], Руслан Авдеев

Ampere создаст кастомные Arm-процессоры для Uber

Компания Uber намерена использовать кастомные Arm-процессоры Ampere Computing в облаке Oracle Cloud Infrastructure (OCI). В частности, компании займутся оптимизацией чипов для ИИ-задач. До недавнего времени Uber использовала преимущественно собственные ЦОД, но в 2022 году приняла решение перенести большую часть задач в облака.

С ростом количества ЦОД и зон доступности управлять IT-инфраструктурой Uber становилось всё сложнее. На ввод в эксплуатацию новой зоны порой требовались месяцы и сотни специалистов, поскольку управление серверами происходило чуть ли не «вручную», а инструменты автоматизации часто подводили. Рассмотрев различные варианты развития, Uber постепенно пришла к сотрудничеству с Ampere, Goolge и Oracle. А в феврале 2023 года компания подписала крупные семилетние облачные контракты с Google и Oracle.

По данным Uber, водители и курьеры компании выполняют более 30 млн заказов ежедневно. Для этого требуется большая IT-инфраструктура, например, для оптимизации маршрутов, в том числе с применением ИИ-технологий — ежесекундно к ИИ-моделям приходит 15 млн запросов. По оценкам Uber и Ampere, перенос нагрузок в OCI не только снизил инфраструктурные затраты, но и уменьшил энергопотребление на 30 %. Сейчас компании совместно работают над новыми чипами, выявляя, какие изменения в микроархитектуру стоит внести, чтобы будущие процессоры оптимально подходили для задач Uber.

 Источник изображения: Denys Nevozhai/unsplash.com

Источник изображения: Denys Nevozhai/unsplash.com

Собственные Arm-процессоры разрабатывают AWS, Google Cloud и Microsoft Azure — Graviton, Axion и Cobalt 100 соответственно. Однако кастомизацией под конкретного клиента, пусть даже крупного, они не занимаются. Тем не менее, эксперты IDC считают, что облачные клиенты безусловно выиграют от совместной подготовки с разработчиками чипов новых полупроводниковых решений. Клиенты могут обладать специфическими знаниями и интеллектуальной собственностью, но как правило не имеют возможности самостоятельно вывести на рынок готовый продукт.

Сейчас Uber переносит тысячи микросервисов, многочисленные платформы хранения данных и десятки ИИ-моделей в OCI. Компания уже перевела значительную часть бессерверных рабочих нагрузок на платформы на базе Ampere. Впрочем, дело не ограничивается только Ampere — компания также активно использует инстансы на базе чипов AMD.

Постоянный URL: http://servernews.kz/1111653
16.09.2024 [13:11], Руслан Авдеев

Microsoft готовит новый «слой безопасности» в Windows для предотвращения инцидентов, сопоставимых по масштабу со сбоем CrowdStrike

Не желая повторения инцидента, который вывел из строя миллионы компьютеров на Windows из-за бага в ПО CrowdStrike, Microsoft собрала ключевых разработчиков решений кибербезопасности на закрытой встрече Windows Endpoint Security Ecosystem Summit, где предложила им новый подход к защите Windows-систем. По данным PC Mag, речь идёт о новой платформе, позволяющей отказаться от доступа антивирусных программ к ядру операционной системы.

В блоге компании по итогам мероприятия сообщается, что Microsoft намерена развивать принциы, уже применяемые в Windows 11 и позволяющие во многих случаях обеспечивать защиту системы без непосредственного доступа к ядру. Инцидент с антивирусным ПО CrowdStrike, затронувший миллионы компьютеров по всему миру, во многом произошёл потому, что ПО имело доступ к ядру ОС. С одной стороны, без подобной функциональности со многими угрозами справиться трудно, с другой — именно из-за неё пользователи увидели «синий экран смерти» на миллионах ПК. Microsoft обвинила в случившемся власти Евросоюза, в своё время вынудившие компанию обеспечить подобный доступ разработчикам антивирусов.

 Источник изображения: Jefferson Santos/unsplash.com

Источник изображения: Jefferson Santos/unsplash.com

Впрочем, ни о каком закрытии доступа к ядру Windows речи пока не идёт. Клиенты и партнёры попросили компанию «предоставить дополнительные возможности обеспечения безопасности вне режима ядра», что позволило бы разработчикам создавать антивирусное ПО, не обращающееся к ядру, по крайней мере — на регулярной основе. В ходе встречи Microsoft и партнёры обсудили требования к новой платформе и основные вызовы, с которыми придётся столкнуться при её разработке. Компания сообщила, что речь идёт о долговременном проекте, в рамках которого Microsoft вместе с партнёрами намерена добиться повышенной надёжности защитного ПО без ущерба безопасности.

При этом Microsoft признала, что все участники саммита согласились с тем, что вендорам антивирусного ПО и клиентам выгодно, когда у них есть выбор различных вариантов для Windows в контексте обеспечения безопасности. Например, ESET прямо заявила, что доступ к ядру должен остаться одной из опций для эффективной защиты от киберугроз. Кроме того, стороны намерены делиться практиками безопасных обновлений ПО. Именно сбой на одном из этапов выпуска обновлений ПО CrowdStrike и привёл к эпохальному сбою, обошедшемуся некоторым компаниям в сотни миллионов долларов.

Постоянный URL: http://servernews.kz/1111022
15.09.2024 [15:06], Сергей Карасёв

Германия выделила почти по €700 тыс. на развитие Samba и FreeBSD

Немецкий фонд STF (Sovereign Tech Fund), сформированный Федеральным министерством экономики и защиты климата Германии (BMWK), по сообщению ресурса Phoronix, выделил €688 800 на развитие проекта с открытым исходным кодом Samba. Деньги получит организация SerNet, курирующая разработку Samba.

Samba — специализированно ПО, которое позволяет обращаться к сетевым ресурсам на различных операционных системах по протоколу SMB/CIFS. Первый выпуск Samba состоялся в 1992 году. Софт работает на большинстве Unix-подобных систем и входит во многие дистрибутивы Linux. Распространяется Samba по условиям лицензии GPL.

В течение следующих 18 месяцев разработчики займутся реализацией ряда инициатив, направленных на повышение безопасности, масштабируемости и функциональности ПО. Это, в частности, прозрачное аварийное переключение, расширения SMB3 UNIX и поддержка SMB поверх QUIC. Улучшения, разработка которых поддерживается STF, призваны гарантировать, что Samba останется надёжным и безопасным решением для организаций, которые полагаются на суверенную ИТ-инфраструктуру, максимально независимую от проприетарного ПО и при этом обеспечивающую оптимальную совместимость.

 Источник изображения: STF

Источник изображения: STF

В августе FreeBSD Foundation, координирующая развитие ОС FreeBSD, также сообщила о выделении фондом STF €688 400 на развитие проекта. Средства, в частности, пойдут на улучшение инструментария разработки ОС, повышение безопасности и закрытие технических долгов. Работы будут проводить в 2024–2025 гг. Кроме того, STF уже вложился в развитие и поддержку GNOME, PHP, FFmpeg, coreutils, systemd, curl, OpenSSH и массу других открытых проектов.

Постоянный URL: http://servernews.kz/1110988
09.09.2024 [12:10], Руслан Авдеев

LLM в комплекте: Red Hat выпустила платформу RHEL AI для работы с генеративным ИИ

Red Hat объявила о запуске платформы Red Hat Enterprise Linux AI (RHEL AI) для создания генеративных ИИ-решений в облачных средах. По данным Silicon Angle, анонсированный три месяца назад пакет ПО сделали общедоступным в ходе мероприятия Red Hat Summit.

Ранее анонсированный пакет включает семейство открытых языковых моделей IBM Granite, а также инструмент настройки моделей InstructLab, разработанный самой RedHat. Всё это объединили в образ RHEL для развёртывания в гибридных облаках и на локальных площадках. В компании сообщили, что RHEL AI упростит и удешевит разработку компактных и недорогих моделей.

Затраты на обучение моделей могут быть очень высокими, в Red Hat сообщают, что на создание некоторых передовых моделей уходит до $200 млн. И это только на обучение, без учёта стоимости самих данных и настройки, критически важной для выполнения специальных задач каждой конкретной компании. В Red Hat уверяют, что будущее за небольшими генеративными ИИ-моделями, большинство которых будет open source.

 Источник изображения: Red Hat

Источник изображения: Red Hat

В компании рассчитывают, что RHEL AI станет основной платформой для создания «бюджетных» и открытых решений. По умолчанию предоставляется библиотека бесплатных LLM Granite общего назначения. InstructLab поможет в тонкой настройке моделей без обширных навыков, связанными с наукой о данных. А интеграция с Red Hat OpenShift AI упростит обучение, настройку и обслуживание моделей. RHEL AI позволит разворачивать генеративный ИИ в непосредственной близости от баз данных и хранилищ компаний.

RHEL AI оптимизирован для развёртывания на новейших серверах Dell PowerEdge и обеспечивает все возможности, предоставляемые подпиской Red Hat, в т.ч. круглосуточную поддержку, расширенную поддержку жизненного цикла моделей и, например, правовую защиту Open Source Assurance. Поскольку RHEL AI фактически является расширением Red Hat Enterprise Linux, дистрибутив можно использовать и на любом другом оборудовании, в том числе в облаках. Решение уже доступно у AWS и IBM Cloud, в Google Cloud и Azure появится возможность использовать его позже в этом году. В IBM Cloud ожидается появление предложения «как услуги» — по подписке в самом облаке, но только в следующем году.

Ранее сообщалось, что для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти и хранилище от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

Постоянный URL: http://servernews.kz/1110662
28.08.2024 [00:10], Владимир Мироненко

NVIDIA представила шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач

NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Постоянный URL: http://servernews.kz/1110075
Система Orphus