NVIDIA сообщила, что во всех восьми ИИ-бенчмарках MLPerf Training v3.0 её ускорители H100 установили новые рекорды, причём как по отдельности, так и в составе кластеров. В частности, коммерчески доступный кластер из 3584 ускорителей H100, созданным стартапом Inflection AI и облаком CoreWeave, смог завершить обучение ИИ-модели GPT-3 менее чем за 11 минут.

Компания Inflection AI, основанная в 2022 году, использовала возможности решений NVIDIA для создания продвинутой большой языкой модели (LLM) для своего первого проекта под названием Pi. Компания планирует выступать в качестве ИИ-студии, создавая персонализированные ИИ, с которыми пользователи могли бы взаимодействовать простыми и естественными способомами. Inflection AI намерена в сотрудничестве с CoreWeave создать один из крупнейших в мире ИИ-кластеров на базе ускорителей NVIDIA.

«Сегодня наши клиенты массово создают современные генеративные ИИ и LLM благодаря тысячам ускорителей H100, объединённых быстрыми сетями InfiniBand с малой задержкой, — сообщил Брайан Вентуро (Brian Venturo), соучредитель и технический директор CoreWeave. — Наша совместная с NVIDIA заявка MLPerf наглядно демонстрирует их высокую производительность». Отдельно подчёркивается, что благодаря NVIDIA Quantum-2 InfiniBand облачный кластер CoreWeave обеспечил такую же производительность, что и локальный ИИ-суперкомпьютер NVIDIA.

Источник изображений: NVIDIA

NVIDIA отметила, что H100 показали высочайшую производительность во всех тестах MLPerf, включая LLM, рекомендательные системы, компьютерное зрение, обработка медицинских изображений и распознавание речи. «Это были единственные чипы, которые прошли все восемь тестов, продемонстрировав универсальность ИИ-платформы NVIDIA» — сообщила компания. А благодаря оптимизации всего стека NVIDIA удалось добиться в тесте LLM практически линейного роста производительности при увеличении количества ускорителей с сотен до тысяч. Отдельно компания напомнила об энергоэффективности H100.

Также сообщается, что обновлённый бенчмарк MLPerf для рекомендательных систем использует больший набор данных и более современную модель, что позволяет лучше отразить проблемы, с которыми сталкиваются провайдеры облачных услуг. NVIDIA была единственной компанией, представившей результаты расширенного теста. Также компания представила результаты MLPerf для платформ L4 и Jetson. Ну а в следующем раунде MLPerf стоит ждать появления NVIDIA Grace Hopper.

В текущем раунде результаты тестов с использованием платформы NVIDIA представили десяток компаний. Заявки поступили от крупных производителей систем, включая ASUS, Dell Technologies, GIGABYTE, Lenovo и QCT. Более 30 замеров было сделано на ускорителях H100. NVIDIA отметила прозрачность и объективность тестов, поэтому пользователи могут полностью полагаться на результаты MLPerf для принятия решения о покупке систем.

Стартап Databricks, разработчик платформы машинного обучения, анализа и обработки данных, объявил о приобретении компании-разработчика решений в области генеративного ИИ MosaicML Inc. С помощью разработанных MosaicML языковых моделей компании смогут обучать и выполнять точную настройку генеративных ИИ-моделей на основе собственных данных с высоким качеством и низкой стоимостью, а технологии оптимизации обучения моделей MosaicML помогут снизить затраты.

MosaicML наиболее известна своим собственным семейством больших языковых моделей (LLM) MPT, с более чем 3,3 млрд загрузок модели MPT-7B. Семейство LLM компании с открытым исходным кодом основано на архитектуре MPT-7B, построенной с 7 млрд параметров и контекстным окном на 64 тыс. токенов. На днях MosaicML выпустила модель MPT-30B с 30 млрд параметров, которая гораздо мощнее MPT-7B и превосходит по качеству модель OpenAI GPT-3 (175 млрд параметров).

Источник изображения: MosaicML

MosaicML сообщила, что размер MPT-30B был специально подобран для развёртывания всего на одном ускорителе — либо NVIDIA A100 80 Гбайт (16-бит точность), либо A100 40 Гбайт (8-бит точность). По словам MosaicML, другие сопоставимые LLM, такие как Falcon-40B, имеют большее количество параметров и не могут обслуживаться на одном ускорителе, что увеличивает минимальную стоимость системы инференса.

Платформа Databricks Lakehouse в сочетании с технологиями MosaicML предложит клиентам простой, быстрый и экономичный способ сохранить контроль над данными, а также обеспечить их безопасность и защитить правf собственности. Размещая модели в Databricks Lakehouse, компании смогут адаптировать их к конкретным корпоративным данным и безопасно развёртывать их. Использование обслуживаемых моделей, таких как от OpenAI, может привести к утечке данных и другим рискам. Это особенно важно для строго регулируемых отраслей — модель и данные должны оставаться вместе в изолированном окружении.

Источник изображения: Databricks

Кроме того, решения MosaicML обеспечивают в 2–7 раз более быстрое обучение моделей по сравнению со стандартными подходами, предлагая при этом линейное масштабирование. Компания утверждает, что модели с несколькими миллиардами параметров теперь можно обучить за часы, а не за дни. Согласно пресс-релизу, при применении интегрированной платформы Databricks и MosaicML обучение и использование LLM будет стоить тысячи долларов, а не миллионы.

«Теперь Databricks может расширить свою платформу для создания, обучения и размещения традиционных моделей машинного обучения на большие языковые модели, — заявил Джастин ДеБрабант (Justin DeBrabant), старший вице-президент ActionIQ Inc. — Это означает, что Databricks предлагает продукты и услуги на платформе Lakehouse. которые простираются от ETL до аналитики SQL, пользовательского машинного обучения, а теперь и до размещённых LLM».

Компания Hewlett Packard Enterprise (HPE) анонсировала на конференции HPE Discover 2023 — GreenLake for LLM (HPE GreenLake для больших языковых моделей) — облачный сервис на основе подписки, который предоставит предприятиям доступ к суперкомпьютерной платформе HPE Cray XD и необходимому ПО для создания и запуска крупномасштабных моделей ИИ.

HPE GreenLake для больших языковых моделей в облаке «позволяет выполнять отдельные крупномасштабные задания ИИ и высокопроизводительных вычислений на сотнях или тысячах CPU или GPU одновременно, что очень сильно отличается от облачных предложений общего назначения», — отметил Джастин Хотард (Justin Hotard), исполнительный вице-президент и гендиректор лаборатории высокопроизводительных вычислений (HPC) и искусственного интеллекта (ИИ).

Источник изображения: HPE

GreenLake for LLM предоставляется HPE в партнёрстве с немецким стартапом в области ИИ Aleph Alpha GmbH, который предлагает готовые к использованию LLM для обработки и анализа текста и изображений. В частности, пользователи получат доступ к предварительно обученной модели Aleph Alpha Luminous, доступной на нескольких языках, которая позволяет клиентам использовать свои собственные данные для дообучения и точной настройки модели. С её помощью клиенты смогут создавать различные виды приложений и интегрировать их в свои собственные бизнес-процессы.

Luminous, в отличие от ChatGPT, больше нацелена на промышленность и правительственные организации, чем на конечных потребителей. По словам HPE, это решение уже используется различными организациями в сфере здравоохранения и финансовых услуг, а также в юридической сфере в качестве цифрового помощника.

Источник изображения: HPE

Клиенты также получат доступ к среде ML-разработки HPE и ПО для управления данными машинного обучения, которые обеспечивают возможности быстрого обучения моделей ИИ, а также интеграции, отслеживания и аудита данных, на которых они обучаются. Эта платформа основана на технологии, полученной компанией HPE в результате приобретения компании Defined AI, а также на библиотеке моделей ИИ, которая будет включать как модели с открытым исходным кодом, так и проприетарные сторонние модели.

Для сервиса будет использоваться инфраструктура на основе суперкомпьютерной платформы HPE Cray XD с ускорителями NVIDIA H100, которая к концу 2023 года будет развёрнута в ЦОД Q01 QScale в Квебеке (Канада), а в начале 2024 года услуга будет доступна для клиентов в Европе. Сообщается, что HPE GreenLake for LLM — лишь первое из серии специализированных ИИ-решений HPE. Другие предложения будут включать решения в области моделирования климата, здравоохранения и медико-биологических наук, финансовых услуг, производства и транспорта.

Российская компания «Яндекс» в июле откроет для компаний доступ к бета-тестированию генеративного ИИ YandexGPT (нейросеть YaLM 2.0) на своей облачной платформе Yandex Cloud, пишет «Интерфакс» со ссылкой на заявление компании. «Яндекс» запустил YandexGPT в прошлом месяце — возможности нейросети можно попробовать в режиме «давай придумаем» в голосовом помощнике «Алиса».

«С июля 2023 первые пользователи смогут протестировать сервис для решения актуальных бизнес-задач и совместно с командой Yandex Cloud определить наиболее значимые бизнес-сценарии для развития YandexGPT на облачной платформе», — сообщил «Яндекс».

Источник изображения: Pixabay

Сообщается, что доступ к закрытому тестированию нейросети получит ограниченное число компаний, которые смогут с её помощью создавать умных помощников и ИИ-чат-ботов, а также генерировать текстовый контент. Для участия в проекте компания должна подать заявку с описанием задачи, которую собирается решить с помощью YandexGPT, чтобы специалисты Yandex Cloud смогли оценить, насколько подходит для этого данная версия нейросети.

Тестирование YandexGPT будет проводиться в двух режимах. Режим Playground (UI) позволит компании протестировать возможности сервиса для решения бизнес-задач. А в режиме YandexGPT API компании попробуют интегрировать YandexGPT в свои приложения.

В «Яндексе» сообщили «Интерфаксу», что возможности YandexGPT могут быть востребованы в крупных банках, ретейле, промышленности, а также других отраслях, добавив, что на этапе тестирования YandexGPT не будет тарифицироваться. «Модель тарификации пока прорабатывается, один из возможных вариантов — по запросам к API», — пояснили в компании.

Американская компания Salesforce Inc., разработчик одноимённой CRM-платформы, добавила поддержку больших языковых моделей (LLM) в своё портфолио. Генеративный ИИ теперь можно интегрировать в платформу Einstein (новая версия Salesforce Data Cloud), аналитику Tableau, диспетчер Flow и набор инструментов MuleSoft для связывания SaaS-приложений, данных и устройств в облаке и на локальных серверах для помощи в автоматизации бизнес-процессов, пишет ресурс SiliconANGLE.

Важной особенностью Einstein является слой Einstein Trust Layer, который, по словам компании, делает её облачную платформу открытой и расширяемой. Как утверждает Salesforce, Trust Layer предотвращает включение проприетарных данных в общедоступные модели, повышает качество контента, создаваемого ИИ, и интегрирует генеративные ответы ИИ в бизнес-процессы, обеспечивая при этом соблюдение правил конфиденциальности, безопасности, резидентности и норм соответствия.

Salesforce подчеркнула надёжность моделей ИИ как основной фактор в разработке Trust Layer. Согласно проведённому компанией исследованию, 73 % сотрудников считает, что генеративный ИИ создаёт новые риски для безопасности. Почти 60 % планирующих использовать эту технологию, отметили, что не знают, как обеспечить безопасность данных. В дополнение к собственным LLM Salesforce поддерживаются модели OpenAI, Anthropic PBC, Cohere. В дальнейшем компаниия планирует обеспечить поддержку других сторонних моделей.

Источник изображения: Salesforce

ИИ-бот Einstein GPT включает шлюз, который можно использовать для интеграции моделей из облаков Amazon и Google, а также специфичных для доменов и локально размещаемых моделей. Salesforce подчеркнула, что подсказки и ответы клиентов никогда не покидают её инфраструктуру, а клиенты, которые обучили собственные модели, могут напрямую подключаться к AI Cloud посредством Trust Layer. Salesforce также разработала оптимизированные подсказки ИИ, которые можно настроить для конкретной компании-заказчика.

Компания привела примеры использования предварительно обученного генеративного ИИ. Продавцы смогут автоматически создавать персонализированные электронные письма, основанные на данных CRM. Сервисные группы смогут создавать брифинги по обслуживанию, сводки по обращениям и заказы на работу на основе данных об обращениях и истории клиентов. Использование технологии позволит маркетологам сегментировать аудиторию с помощью запросов на естественном языке, а также поможет специалистам по электронной коммерции адаптировать описания продуктов для покупателей на основе имеющихся о них данных.

Интеграция с платформой для совместной работы Salesforce Slack позволит пользователям создавать новые рабочие процессы. Наконец, менеджеры по продажам смогут создавать визуализации в Tableau с подсказками на естественном языке, а разработчики будут получать предложения по коду и дополнения непосредственно в Visual Studio.