Компания Google анонсировала общую доступность ИИ-моделей Gemini в облаках Google Distributed Cloud (GDC), предназначенных для развёртывания на мощностях самих клиентов. В частности, генеративный ИИ будет доступен в частных корпоративных и правительственных платформах, сообщает Network World.

GDC является вариантом облака Google Cloud, предназначенным для жёстко регулируемых отраслей вроде здравоохранения или финансовых сервисов. Фактически такие облака скрываются на мощностях клиентов, прячась от внешнего мира за защитными системами компаний. Запуск Gemini в GDC позволяет организациям, обязанным соблюдать жёсткие требования к размещению данных и соответствовать ряду правил по некоторым другим параметрам, внедрять системы генеративного ИИ, не теряя контроля над конфиденциальной информацией.

GDC строятся на ускорителях семейств NVIDIA Hopper и Blackwell с автоматизированным распределением нагрузки, без необходимости дополнительных вмешательств для обновления ПО. В системе реализованы функции безопасности вроде аудита и контроля доступа, обеспечивающие клиентам максимальную прозрачность. Платформа также поддерживает функцию «конфиденциальных вычислений» Confidential Computing как для CPU (с Intel TDX), так и ИИ-ускорителями (с применением технологий NVIDIA) для защиты конфиденциальных данных и предотвращения их подделки и утечки.

Источник изображения: Solen Feyissa/unspalsh.com

Модели Gemini обеспечивают обработку контента и мультимодальное понимание текста, изображений, аудио и видео. В Google заявляют, что это открывает множество возможных способов применения, включая многоязыковое, в том числе международное сотрудничество, автоматизированное составлении резюме документов и др., поддерживаются чат-боты и генерация кода с помощью искусственного интеллекта.

Источник изображения: Google

Для работы Gemini требуется сертифицированное Google оборудование. Среди такового пока есть только одна модификация HGX H200 на базе Dell XE9680.

Компания Google опубликовала документ, в котором описывается методология измерения потребления энергии и воды, а также выбросов и воздействия на окружающую среду ИИ Gemini. Как утверждают в Google, «медианное» потребление энергии на одно текстовое сообщение в Gemini Apps составляет 0,24 Вт·ч, выбросы составляют 0,03 г эквивалента углекислого газа (CO2e), а воды расходуется 0,26 мл.

В компании подчёркивают, что показатели намного ниже в сравнении со многими публичными оценками, а на каждый запрос тратится электричества столько же, сколько при просмотре телевизора в течение девяти секунд. Google на основе данных о сокращении выбросов в ЦОД и декарбонизации энергопоставок полагает, что за последние 12 месяцев энергопотребление и общий углеродный след сократились в 33 и 44 раза соответственно. В компании надеются, что исследование внесёт вклад в усилия по разработке эффективного ИИ для общего блага.

Методологии расчёта энергопотребления учитывает энергию, потребляемую активными ИИ-ускорителями (TPU), CPU, RAM, а также затраты простаивающих машин и общие расходы ЦОД. При этом из расчёта исключаются затраты на передачу данных по внешней сети, энергия устройств конечных пользователей, расходы на обучение моделей и хранение данных.

Источник изображений: Google

Впрочем, по мнению некоторых экспертов, данные вводят в заблуждение, поскольку часть информации не учитывается. Так, не принимается в расчёт «косвенное» использование воды, поскольку считается только вода, которую ЦОД применяют для охлаждения, хотя значительная часть водопотребления приходится на генерирующие мощности, а не на их потребителей. Кроме того, при учёте углеродных выбросов должны приниматься во внимание не купленные «зелёные сертификаты», а реальное загрязняющее действие ЦОД в конкретной локации с учётом использования «чистой» и «обычной» энергии в местной электросети.

OpenAI также недавно оказалась в центре внимания экспертов и общественности, поскольку появилась информация, что её новейшая модель GPT-5 потребляет более 18 Вт·ч электроэнергии, до 40 Вт·ч на ответ средней длины. Сам глава компании Сэм Альтман (Sam Altman) объявил, что в среднем на выполнение запроса тратится около 0,34 Вт∙ч и около 0,32 мл воды. Это несколько больше, чем заявленные показатели Google Gemini, однако, согласно расчётам исследователей, эти цифры, скорее всего, актуальны для GPT-4o.

Capgemini и Orange анонсировали суверенное облако Bleu на базе решений Microsoft. Как сообщает Datacenter Dynamics, совместное предприятие Bleu уже ведёт переговоры с некоторыми французскими государственными и частными организациями, оценивая степень их готовности к миграции в Bleu в конце 2024 года, когда сервис начнёт полноценную работу.

Изображение: Bleu

Платформа Bleu ориентирована на французских потребителей, полагающихся на решения Microsoft. В частности, Bleu будет предлагать сервисы Microsoft Azure и Microsoft 365. Главным отличием от общедоступных платформ будет контроль Capgemini и Orange над физической инфраструктурой. Несколько географически распределённых ЦОД во Франции будут изолированы от общедоступных сервисов Microsoft. Дата-центры имеют уровень PUE менее 1,3 и задействуют фрикулинг или охлаждение речной водой.

В Orange выразили уверенность, что Bleu будет отвечать всем стандартам французских властей в рамках доктрины «доверенного облака». Bleu позволит соблюсти строгие законы о персональных данных и позволит избежать опасений, что правоохранительные органы и спецслужбы США смогут в приказном порядке запрашивать те или иные данные. Аналогичные проекты Microsoft реализует в рамках программы Cloud of Sovereignty.

Источник изображения: Léonard Cotte/unsplash.com

Похожие решения довольно давно предлагает Google, полагающаяся на локальных партнёров, например, Proximus и LuxConnect (платформа Clarence), с T-Systems и Thales. Oracle тоже запустила два суверенных облачных региона — во Франкфурте (Германия) и Мадриде (Испания). Наконец, в 2023 году с анонсом суверенной облачной платформы выступила и Amazon, хотя ранее сама называла такие проекты лишь маркетинговым ходом.

Google объявила о доступности для разработчиков и компаний LLM Gemini Pro в Vertex AI, комплексной ИИ-платформе Google Cloud, включающей различные инструменты, полностью управляемую инфраструктуру и встроенные функции конфиденциальности и безопасности. С помощью Gemini Pro разработчики смогут создавать «агенты», способные обрабатывать входящую информацию и действовать на её основе.

Vertex AI позволяет настраивать и развертывать Gemini Pro, обеспечивая возможность создавать новые и дифференцированные приложения, которые могут обрабатывать информацию в виде текста, кода, изображений и видео. Доступ к Gemini Pro осуществляется через Google AI Studio. Это бесплатный веб-инструмент, с помощью которого разработчики могут разрабатывать диалоговые системы, позволяющие тестировать и использовать модель. Даётся бесплатная квоту на обработку до 60 запросов в минуту. Впоследствии будет взиматься плата в размере $0,00025 за ввод 1000 символов или $0,0025 за ввод изображения и $0,00005 за вывод 1000 символов.

Источник изображения: geralt/Pixabay

Google предлагает доступ к Gemini Pro, которая представляет собой текстовую модель с контекстным окном на 32 тыс. токенов, и к Gemini Pro Vision, которая принимает текст и изображения или видео в качестве входных данных и выводит текст. Модель поддерживает 38 языков и доступна в 180 странах. Google AI Studio позволяет экспортировать проделанную в работу в другие среды разработки, в том числе в Vertex AI. Для Gemini Pro также доступны комплекты разработки ПО, позволяющие создавать приложения с использованием Python, Node.js, Kotlin (Android), Swift (iOS) и JavaScript.

По словам Google, одним из главных преимуществ Vertex AI с Gemini является то, что разработчики и корпоративные пользователи могут выполнять тюнинг моделей с использованием данных компании, а также дополнять их для генерации ответов в соответствии с особенностями стиля бренда или добавлять информацию в реальном времени из общедоступных и частных баз данных.

Google также объявила об общедоступности Duet AI for Developers, набора вспомогательных ИИ-инструментов для дополнения и генерации кода. Ассистент Duet AI доступен в нескольких интегрированных средах разработки, используемых для написания, тестирования, компиляции и развёртывания кода: Cloud Shell Editor, Cloud Workstations, PyCharm и Visual Studio Code. Duet AI поддерживает более 20 языков программирования, включая C, C++, Go, Java, JavaScript и Python. В ближайшие недели Duet AI for Developers будет подключён к Gemini.