Компания NVIDIA опубликовала новые, ещё более впечатляющие результаты в области работы с большими языковыми моделями (LLM) в бенчмарке MLPerf Inference 4.0. За прошедшие полгода и без того высокие результаты, демонстрируемые архитектурой Hopper в инференс-сценариях, удалось улучшить практически втрое. Столь внушительный результат достигнут благодаря как аппаратным улучшениям в ускорителях H200, так и программным оптимизациям.

Генеративный ИИ буквально взорвал индустрию: за последние десять лет вычислительная мощность, затрачиваемая на обучение нейросетей, выросла на шесть порядков, а LLM с триллионом параметров уже не являются чем-то необычным. Однако и инференс подобных моделей тоже является непростой задачей, к которой NVIDIA подходит комплексно, используя, по её же собственным словам, «многомерную оптимизацию».

Источник изображений: NVIDIA

Одним из ключевых инструментов является TensorRT-LLM, включающий в себя компилятор и прочие средства разработки, учитывающие архитектуру ускорителей компании. Благодаря ему удалось почти втрое повысить производительность инференса GPT-J на ускорителях H100 всего за полгода. Такой прирост достигнут благодаря оптимизации очередей на лету (inflight sequence batching), применению страничного KV-кеша (paged KV cache), тензорному параллелизма (распределение весов по ускорителям), FP8-квантизации и использованию нового ядра XQA (XQA kernel).

В случае ускорителей H200, использующих ту же архитектуру Hopper, что и H100, важную роль играет память: 141 Гбайт HBM3e (4,8 Тбайт/с) против 80 Гбайт HBM3 (3,35 Тбайт/с). Такой объём позволяет разместить модель уровня Llama 2 70B целиком в локальной памяти. В тесте MLPerf Llama 2 70B ускорители H200 на 28 % производительнее H100 при том же теплопакете 700 Вт, а увеличение теплопакета до 1000 Вт (так делают некоторые вендоры в своих MGX-платформах) даёт ещё 11–14 % прироста, а итоговая разница с H100 в этом тесте может доходить до 45 %.

В специальном разделе новой версии MLPerf NVIDIA продемонстрировала несколько любопытных техник дальнейшей оптимизации: «структурированную разреженность» (structured sparsity), позволяющую поднять производительность в тесте Llama 2 на 33 %, «обрезку» (pruning), упрощающую ИИ-модель и позволяющую повысить скорость инференса ещё на 40 %, а также DeepCache, упрощающую вычисления для Stable Diffusion XL и дающую до 74 % прироста производительности.

На сегодня платформа на базе модулей H200, по словам NVIDIA, является самой быстрой инференс-платформой среди доступных. Результатами GH200 компания похвасталась ещё в прошлом раунде, а вот показатели ускорителей Blackwell она не предоставила. Впрочем, не все считают результаты MLPerf показательными. Например, Groq принципиально не участвует в этом бенчмарке.

Специальный трибунал в Южной Африке, по сообщению The Register, обязал немецкого поставщика ПО корпоративного класса SAP выплатить компенсацию в размере 500 млн рандов (примерно $26,4 млн) в рамках длительного расследования, связанного с нарушением законов о государственных финансах.

Речь идёт о двух контрактах, заключенных между SAP и энергетической фирмой Eskom: договоры на предоставление облачных услуг общей суммой 1,1 млрд рандов (около $58 млн) были заключены в 2013–2016 гг.

Как показала проверка, проведённая Специальным отделом расследований по борьбе с коррупцией ЮАР (SIU), заключенные соглашения не соответствуют Закону об управлении государственными финансами. В результате Eskom понесла «бесполезные и масштабные расходы». Постановлением Специального трибунала от 20 марта 2024 года эти контракты также признаны конституционно недействительными и отменены.

Источник изображения: SAP

В январе 2024-го SAP заявила, что заключила окончательные соглашения об урегулировании споров с Министерством юстиции США (DOJ), Комиссией по ценным бумагам и биржам США (SEC) и Национальной прокуратурой Южной Африки (NPA). Утверждается, что SAP ради продвижения своих продуктов в государственном секторе подкупала зарубежных чиновников.

В марте 2018 года SAP объявила о начале собственного антикоррупционного расследования в отношении отдельных сделок с южноафриканскими Transnet и Eskom. Поводом для этого послужили публичные обвинения в том, что дочерняя структура SAP использовала подставные компании для подкупа высокопоставленных лиц с целью получения государственных технологических контрактов. В центре внимания были отношения между SAP и предприятиями, связанными с влиятельной семьей Гупта, одной из богатейших в ЮАР.

Компания «Солар» (дочернее предприятие «Ростелекома», работающее в сфере информационной безопасности) сообщила о выпуске новой версии системы управления привилегированным доступом Solar SafeInspect 2.4.4.

Solar SafeInspect относится к классу решений Privileged Access Management (PAM) и помогает организациям снижать риск угроз, которые связаны с действиями привилегированных пользователей, имеющих доступ к важным данным и IT-активам. Продукт собирает сведения обо всех действиях администраторов, происходящих в сети, и сохраняет их для последующего просмотра с целью аудита и расследования инцидентов.

Схема работы Solar SafeInspect

В обновлённой версии Solar SafeInspect появилась возможность ограничивать рабочее время для привилегированных пользователей в соответствии с графиком их работы и доработан внутренний модуль видео, который используется для записи выполняемых на контролируемых устройствах действий — ускорена генерация видео, уменьшен размер видеофайла и улучшено качество изображения. Также была улучшена поддержка протокола PowerShell TLS, реализован режим сопоставления пользователей для расширенного контроля доступа и добавлена возможность просмотра XML-данных непосредственно со страницы подключения.

Для повышения информативности журналов событий работы системы вся информация, сохраняющаяся в процессе логирования данных, теперь предоставляется в расширенном формате. Кроме того, были расширены настройки параметров паролей для локальных пользователей и администраторов и обновлены разделы парольных политик. Повысить меры безопасности и общую производительность программного комплекса позволило внесение нескольких технологических улучшений, включая завершение перехода на Python3, в том числе для работы с API, введение нового требования к проверке имени коллектора и замену криптографических библиотек для RDP-подключений с использованием TLS 1.2.

Компания «Интеллектуальная безопасность» сообщила о выпуске нового релиза актуальной на сегодняшний день версии платформы Security Vision 5. Обновления коснулись всех входящих в состав программного комплекса компонентов.

Security Vision позволяет роботизировать до 95 % программно-технических функций оператора информационной безопасности. Представленные в составе платформы продукты обеспечивают решение таких задач, как:

• создание единого ситуационного центра кибербезопасности;
• выявление атак и инцидентов кибербезопасности на ранних стадиях за счёт анализа событий, поступающих от различных средств защиты информации;
• консолидация оперативной информации и её анализ в реальном времени для расследования инцидентов кибербезопасности и принятия управленческих решений;
• сокращение времени реагирования за счёт автоматизации ключевых процедур и сценариев реагирования, роботизации функций оператора информационной безопасности;
• автоматическое обеспечение контроля соответствия требованиям регуляторов, национальным и международным стандартам.

В новом релизе Security Vision 5 разработчиками было уделено особое внимание формированию и изменениям организационной IT-структуры: ускорена работа с большими объёмами данных учётных записей и организаций в режиме Multitenancy, для переменчивых периметров реализована оперативная адаптация моделей доступа для новых или перемещаемых ролей. В дополнение к этому была оптимизирована работа с данными разных форматов и их преобразование, средства импорта и экспорта получили новые функции, включая гранулярную настройку возможностей пользователей и запуск группы действий. Доработкам также подверглись средства визуализации данных и API программного комплекса.

Платформа Security Vision зарегистрирована в реестре отечественного ПО и сертифицирована ФСТЭК России по 4 уровню доверия. Решение может использоваться в значимых объектах критической информационной инфраструктуры 1 категории, в государственных информационных системах 1 класса защищённости, в информационных системах общего пользования II класса, в информационных системах персональных данных при необходимости обеспечения 1 уровня защищённости, в автоматизированных системах управления производственными и технологическими процессами 1 класса защищённости.

Компания Nutanix, разработчик решений в области гибридных мультиоблачных платформ и HCI, по сообщению The Register, подала в федеральный окружной суд Северной Калифорнии иск против троих своих бывших сотрудников и основанного ими стартапа Tessell, который специализируется на облачных продуктах DBaaS (база данных как услуга).

В деле фигурируют Бала Кучибхотла (Bala Kuchibhotla), Камалдип Хануджа (Kamaldeep Khanuja) и Бакул Бантиа (Bakul Banthia). По заявления истцов, они использовали мощности, оборудование, сервисы Nutanix и даже исходный код Nutanix Era при разработке решений Tessell. Продукт Nutanix Era — это специализированный софт, который автоматизирует и упрощает администрирование баз данных.

Источник изображения: pixabay.com

В иске утверждается, что названные лица, будучи сотрудниками Nutanix, «спланировали, разработали, получили первоначальное финансирование и продемонстрировали прототипы конкурирующего продукта» с использованием ресурсов Nutanix. Более того, один из прототипов решения Tessell работал на серверах Nutanix. Таким образом, как отмечается в судебных документах, ответчики якобы завладели исходным кодом Era и использовали его для создания своих собственных продуктов в рамках участия в стартапе Tessell.

Проведенное специалистами Nutanix расследование выявило кражу интеллектуальной собственности. Бывшие сотрудники обвиняются в нарушении контракта и хищении корпоративной информации, тогда как фирме Tessell вменяется незаконное использование чужой интеллектуальной собственности. Говорится, что Tessell «осознанно и преднамеренно» нарушила авторские права и патенты Nutanix. Ответчики ситуацию пока никак не комментируют.

Tencent, по сообщению Bloomberg, намерена расширить свой облачный бизнес на Ближнем Востоке на фоне стремительного развития ИИ. Речь идёт о реализации проектов в Саудовской Аравии и ОАЭ.

Исполнительный вице-президент Tencent Доусон Тонг (Dowson Tong) в ходе выступления в Эр-Рияде отметил, что инвестиции компании в указанном регионе «всё ещё находятся на начальной стадии», но будут быстро расти. Tencent считает, что этот рынок имеет большой потенциал, особенно в свете необходимости наращивания вычислительных мощностей и ресурсов для хранения данных.

На первом этапе Tencent сосредоточится на развитии облачных хранилищ — как для сторонних клиентов (в частности, из сфер развлечений и игр), так и для своих собственных нужд. Недавно Tencent выпустила арабскую версию Honor of Kings — одной из самых популярных мобильных игр. Кроме того, Tencent намерена развернуть на Ближнем Востоке вычислительные мощности для приложений ИИ. В эту сферу Саудовская Аравия и ОАЭ вкладывают значительные средства, фокусируясь в том числе на разработке региональных больших языковых моделей.

Источник изображения: Tencent

Проекты в сегменте дата-центров и облаков на Ближнем Востоке активно развивают и другие крупные компании. Так, Aramco Digital и Groq сообщили о намерении создать в Саудовской Аравии крупнейший в мире центр по развитию ИИ. Строительством ЦОД в этой стране занимаются Saudi Call и China Mobile, тогда как Oracle и Microsoft развернут здесь новые облачные регионы. Huawei уже запустила в Эр-Рияде свой первый облачный регион на Ближнем Востоке, тогда как HPE ввела в эксплуатацию предприятие по выпуску серверов. Вместе с тем Microsoft, Oracle и Du намерены сформировать суверенные облака в ОАЭ.

Компания Foundry Technologies, по сообщению ресурса Datacenter Dynamics, запустила публичную облачную платформу, оптимизированную для нагрузок ИИ. Инвестиции в проект составили $80 млн, а сама Foundry при этом получила оценку приблизительно $350 млн.

Говорится, что средства привлечены в рамках посевного раунда и раунда Series A. Инвестиционную программу возглавили Lightspeed Venture Partners и Sequoia Capital. К ним присоединились более дюжины других инвесторов, в том числе венчурное подразделение Microsoft, главный научный сотрудник Google Джефф Дин (Jeff Dean) и соучредитель Databricks Матей Захария (Matei Zaharia).

Источник изображения: pixabay.com

Джаред Куинси Дэвис (Jared Quincy Davis), генеральный директор и основатель Foundry, ранее работал научным сотрудником в команде Google DeepMind. Кроме того, в новом проекте участвуют другие специалисты DeepMind, учёные Стэнфордского университета (Stanford University) и Захария. Создание Foundry началось в 2022 году, а сейчас состоялось официальное открытие платформы.

В рамках нового ИИ-облака предоставляется доступ к нескольким типам инстансов. Некоторые из них базируются на ускорителях NVIDIA H100, тогда как другие используют менее мощные аппаратные конфигурации, ориентированные на экономическую эффективность. Клиенты могут наращивать или сокращать вычислительные ресурсы по мере необходимости.

«Мы создаём новое поколение публичных облаков на базе платформы оркестрации, которые делают доступ к вычислительным ресурсам ИИ таким же простым, как включение света», — говорит Дэвис.

Отмечается, что сервисы Foundry проектируются в соответствии с «самыми высокими стандартами безопасности». Платформа подходит для обучения ИИ-моделей, инференса и запуска готовых сервисов. Привлечённые средства компания намерена направить на развитие проекта и расширение партнёрской сети.

CDN-провайдер Akamai Technologies объявил о заключении соглашения о стратегическом партнёрстве с компанией Neural Magic, разработчиком специализированного ПО для ускорения рабочих нагрузок, связанных с ИИ. Сотрудничество призвано расширить возможности глубокого обучения на базе распределённой вычислительной инфраструктуры Akamai.

Компания Akamai реализует комплексную стратегию по трансформации в распределённого облачного провайдера. В частности, в начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode: это более распределённая альтернатива сервисам AWS или Azure. А в феврале 2024 года была представлена система Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии.

Источник изображения: pixabay.com

В рамках сотрудничества с Neural Magic провайдер предоставит клиентам высокопроизводительную инференс-платформу. Утверждается, что софт Neural Magic даёт возможность запускать ИИ-модели на обычных серверах на базе CPU без дорогостоящих ускорителей на основе GPU. ПО позволяет ускорить выполнение ИИ-задач с помощью технологий автоматического разрежения моделей (model sparsification).

Софт Neural Magic дополнит возможности Akamai по масштабированию, обеспечению безопасности и доставке приложений на периферии. Это позволит компаниям развёртывать ИИ-сервисы в инфраструктуре Akamai c более низкими задержками и повышенной производительностью без необходимости аренды GPU-ресурсов. Платформа Akamai и Neural Magic особенно хорошо подходит для ИИ-приложений, в которых большие объёмы входных данных генерируются близко к периферии.

Компания CoreWeave, специализирующаяся на облачных услугах для решения ИИ-задач, ведет переговоры о привлечении новых инвестиций. Об этом сообщает Bloomberg, ссылаясь на информацию, полученную от осведомлённых лиц, которые пожелали остаться неизвестными.

Говорится, что CoreWeave рассматривает возможность продажи как новых, так и имеющихся акций, а некоторые держатели ценных бумаг компании могут предложить часть своих активов. Условия программы ещё не согласованы и могут измениться.

Источник изображения: CoreWeave

В апреле 2023-го CoreWeave получила $221 млн в ходе раунда финансирования Series B, а позднее привлекла ещё $200 млн. В августе 2023-го компания объявила о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре прошлого года CoreWeave провела очердной раунд финансирования — на $642 млн. Средства предоставили Fidelity Management & Research Company, Investment Management Corporation of Ontario (IMCO), Jane Street, J. P. Morgan Asset Management, Nat Friedman & Daniel Gross, Goanna Capital, Zoom Ventures и др.

Говорится, что в 2023 году рыночная стоимость CoreWeave оценивалась в $7 млрд. В случае привлечения новых инвестиций капитализация компании, как отмечает Bloomberg, может достичь $16 млрд. Соучредитель и генеральный директор CoreWeave Майкл Интратор (Michael Intrator) отмечает, что это поможет компании перейти «в следующую фазу стремительного роста». В середине марта 2024 года CoreWeave назначила нового финансового директора: им стал Нитин Агравал (Nitin Agrawal), который ранее занимал должность вице-президента по финансам облачной платформы Google Cloud.

На фоне подготовки к дальнейшему росту CoreWeave сообщила о нескольких других изменениях в составе своего высшего руководства. В частности, соучредитель Браннин Макби (Brannin McBee) теперь исполняет обязанности директора по развитию, а соучредитель Брайан Вентуро (Brian Venturo) назначен директором по стратегии. Питер Саланки (Peter Salanki), занимавший пост вице-президента по инжинирингу, переведён на должность технического директора.

Говорится также, что в 2023 году CoreWeave увеличила количество своих дата-центров с 3 до 14, тогда как численность персонала выросла в четыре раза.

VK сообщила финансовые результаты IV квартала и всего 2023 года. По итогам квартала выручка компании выросла на 34 % год к году до 42,5 млрд руб. Выручка за год составила 132,8 млрд руб., превысив показатель 2022 года на 36 %.

Наибольший рост показал сегмент «Технологии для бизнеса» (VK Tech), увеличивший выручку в 2023 году на 67,5 % до 9,7 млрд руб. Основными драйверами роста сегмента были облачные сервисы платформы VK Cloud (рост год к году на 75,4 %) и коммуникационные решения VK WorkSpace (рост — 68 %). Выручка HR Tech-сервисов увеличилась за год в 3,1 раза.

Источник изображения: VK

По итогам IV квартала выручка VK Cloud выросла год к году в 2 раза, коммуникационной платформы VK WorkSpace — на 36 %, сервисов HR Tech — в 4 раза. Реализация промежуточного ПО для хранения и обработки данных Tarantool увеличилась в 3 раза. Компания сообщила, что в IV квартале 2023 года VK Teams расширил возможности для видеоконференций.

За отчётный квартал средняя месячная аудитория сервиса «Облако Mail.ru», входящего в сегмент «Экосистемные сервисы и прочие направления», составила 21,9 млн человек, а средняя дневная аудитория — 2,4 млн человек. Всего за квартал пользователи загрузили в «Облако Mail.ru» около 7,8 млрд файлов.

Компания сообщила о формировании резерва сетевого и серверного оборудования. В частности, VK приступила к строительству собственных ЦОД с целью масштабирования, повышения надёжности и отказоустойчивости инфраструктуры. Также был реализован ряд технических обновлений и программ по повышению информационной безопасности и защите персональных данных пользователей.