NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.

«Каждый доллар, вложенный провайдером облачных услуг в ускорители, вернётся пятью долларами через четыре года», — заявил Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA на конференции BofA Securities 2024 Global Technology Conference. Он отметил, что использование ускорителей для инференса несёт ещё больше выгоды, позволяя получить уже семь долларов за тот же период.

Как сообщается, инференс ИИ-моделей Llama, Mistral и Gemma становится всё масштабнее. Для удобства NVIDIA упаковывает открытые ИИ-модели в оптимизированные и готовые к запуску контейнеры NIM. Компания отметила, что её новейшие ускорители Blackwell оптимизированы для инференса. Они, в частности, поддерживают типы данных FP4/FP6, что повышает энергоэффективность оборудования при выполнении рабочих нагрузок ИИ с низкой интенсивностью.

Источник изображений: NVIDIA

Провайдеры облачных услуг планируют строительство ЦОД на пару лет вперёд и хотят иметь представление о том, какими будут ускорители в обозримом будущем. Бак отметил, что провайдерам важно знать, как будут выглядеть ЦОД с серверами на базе чипов Blackwell и чем они будут отличаться от дата-центров на Hopper. Скоро на смену Blackwell придут ускорители Rubin. Их выпуск начнётся в 2026 году, так что гиперскейлерам уже можно готовиться к обновлению дата-центров.

Как ожидается, чипы Blackwell, первые партии которых будут поставлены к концу года, будут в дефиците. «С каждым новым технологическим переходом возникает… сочетание проблем спроса и предложения», — отметил Бак. По его словам, операторы ЦОД постепенно отказываются от инфраструктуры на базе CPU, освобождая место под большее количество ускорителей. Ускорители Hopper пока остаются в ЦОД и всё ещё будут основными «рабочими лошадками» для ИИ, но вот решения на базе архитектур Ampere и Volta уже перепродаются.

Microsoft и Google сделали ставку на ИИ и сейчас работают над более функциональными большими языковыми моделями, причём Microsoft (и OpenAI) в значительной степени полагается на ускорители NVIDIA, тогда как Google опирается на TPU собственной разработки для использования в своей ИИ-инфраструктуре. Пока что самая крупная модель насчитывает порядка 1,8 трлн параметров, но по словам Бака, это только начало. В дальнейшем появятся модели с триллионами параметров, вокруг которой будут построены более мелкие и более специализированные модели. Так, свежая GPT-модель (вероятно, речь о GPT-4o) включает 16 отдельных нейросетей.

NVIDIA уже адаптирует свои ускорители к архитектуре Mixture of Experts (MoE, набор экспертов), где процесс обработки запроса пользователя делится между несколькими специализированными «экспертными» нейросетями. GB200 NVL72, по словам Бака, идеально подходит для MoE благодаря множеству ускорителей связанных быстрым интерконнектом, каждый из которых может обрабатывать часть запроса и быстро делится ответом с другими.

Похоже, что французский IT-гигант Atos определился с путями выхода из кризиса. После провала переговоров с консорциумом во главе с Onepoint, отозвавшим свои предложения, Atos объявила о достижении соглашения об условиях финансовой реструктуризации с группой банков-кредиторов и держателей облигаций. Французская компания назвала достигнутые договорённости «важной вехой на пути к достижению окончательного соглашения о реструктуризации к июлю».

Сообщается, что банки и держатели облигаций согласились произвести эквитизацию — обмен долга в €2,9 млрд на акционерный капитал Atos, а также предоставить компании €1,68 млрд в виде нового обеспеченного финансирования (нового займа) и вложить €233 млн в новый капитал либо самостоятельно, либо вместе с частным инвестором. Реализация предложенного плана приведёт к массовому размыванию акций существующих инвесторов компании. Однако Atos попросила кредиторов оставить возможность вливания капитала для якорного инвестора компании, сообщил Bloomberg.

Источник изображения: Atos

Соглашение знаменует собой поворотный момент в длительной саге по спасению французского ИТ-гиганта, пишет Bloomberg. Ограничения в цепочках поставок, ошибки в бухгалтерском учёте, а также неверный выбор стратегии развития и приоритетных направлений уничтожили за последние семь лет почти €12 млрд рыночной стоимости компании.

Столкнувшись с растущей задолженностью, составляющей €4,65 млрд, из которой долг в €3,65 млрд должен быть погашен к концу 2025 года, в 2021 году Atos объявила о разделении своего бизнеса на два подразделения — Eviden и Tech Foundations, а также предприняла попытку продать часть активов. Однако переговоры по продаже подразделения дата-центров и хостинга Tech Foundations компании EP Equity Investment (EPEI) завершились провалом. Также не состоялась сделка с Airbus.

Источник изображения: Atos

Параллельно Atos заключила сделку с французским государством, в рамках которой ему будут переданы «золотые акции» дочерней компании Bull SA. Ранее правительство Франции направило Atos письмо о намерении выкупить у неё активы в области передовых вычислений, критически важных систем и продуктов кибербезопасности подразделения по работе с большими данными и кибербезопасности BDS (Big Data & Security), поскольку намерено сохранить контроль над критически важными технологиями.

Несмотря на отказ Onepoint от дальнейших переговоров Atos заявила, что по-прежнему намерена достичь окончательного соглашения о финансовой реструктуризации с большинством своих финансовых кредиторов в течение недели, начиная с 22 июля. Следует отметить, что речь пока идёт о реструктуризации финансовых обязательств Atos. Но если французская компания не сделает надлежащие выводы и не выберет более эффективную стратегию развития, ей придётся и дальше заниматься поиском новых кредитов.

Корпорация Kioxia объявила о начале пробных поставок чипов QLC NAND максимальной на сегодняшний день ёмкости — 2 Тбит. Изделия, выполненные по технологии BiCS Flash 3D восьмого поколения, лягут в основу SSD большой вместимости, рассчитанных в том числе на нагрузки ИИ.

Отмечается, что Kioxia смогла добиться вертикального и горизонтального масштабирования кристалла памяти с помощью запатентованных процессов и инновационных архитектур. В частности, задействована технология CBA (CMOS directly Bonded to Array), которая обеспечивает более высокую плотность и скорость интерфейса до 3,6 Гбит/с.

Источник изображения: Kioxia

По заявлениям разработчика, изделия 3D QLC NAND ёмкостью 2 Тбит позволяют увеличить плотность хранения информации примерно в 2,3 раза и поднять эффективность записи на 70 % по сравнению с нынешними изделиями Kioxia QLC пятого поколения. В корпусе с размерами 11,5 × 13,5 × 1,5 мм упакованы 16 кристаллов на 2 Тбит, что в сумме даёт вместимость в 4 Тбайт.

Корпорация Kioxia отмечает, что изделия на 2 Тбит оптимизированы для достижения максимальной ёмкости. Вместе с тем анонсированы QLC-решения на 1 Тбит, оптимизированные для обеспечения наилучшей производительности. У них скорость последовательной записи информации увеличена на 30 %, тогда как задержка при чтении уменьшена на 15 %. Такие решения найдут применение в высокоскоростных устройствах хранения информации, включая потребительские SSD.

Компания MSI представила очередной мини-компьютер размером с ладонь — MS-C918. Новинка рассчитана на применение в офисе, для обеспечения работы цифровых вывесок, конференц-систем и др.

Новинка оснащена четырёхъядерным процессором Intel N100, до 4 Гбайт оперативной памяти LPDDR5 и 128 Гбайт постоянной eMMC с предустановленной ОС Windows 11 IoT Enterprise. Мини-ПК получил да порта HDMI 2.0, включая один с поддержкой HDMI CEC, гигабитным Ethernet-интерфейсом, Wi-Fi 6E и Bluetooth 5.2, а также тремя портами USB 3.2/2.0.

Источник изображения: MSI

Спецификации:

• SoC: Intel N100 (Alder Lake-N): 4C/4T, до 3,4 ГГц, кеш 6 Мбайт, 24 EU Intel UHD (до 750 МГц), TDP 6 Вт;
• ОЗУ: до 4 Гбайт LPDDR5-4800 (один канал);
• ПЗУ: eMMC до 128 Гбайт; слот MicroSD с поддержкой карт до 2 Тбайт;
• Видео: 2х HDMI 2.0 (до 4К@60);
• Аудио: 3,5-мм аудиовыход, вывод цифрового аудио через HDMI;
• Сеть: 1GbE RJ45 (Realtek RTL8111H-CG), Wi-Fi 6E и Bluetooth 5.2;
• USB: 2 × USB 3.2 (10 Гбит/с), 1 × USB 2.0;
• Безопасность: модуль fTPM 2.0;
• Прочее: кнопка включения, LED-индикатор питания, слот для кенсингтонского замка, защитный таймер;
• Питание: 18 В DC;
• Габариты: 80 × 80 × 36 мм (высота 40,7 мм с учётом резиновых ножек);
• Масса: 290 г;
• Условия работы: t° от 0 до +40°C, отн. влажность 10–90 % без обр. конденсата;

Источник изображения: MSI

Возможен монтаж с помощью VESA-креплений. По умолчанию компьютер оснащается 64-бит Windows 11 IoT Enterprise версии 22H2 с поддержкой в течение минимум 10 лет. В самой компании характеризуют мини-ПК как «небольшую промышленную коробочку», хотя на работу в действительно жёстких промышленных средах и за пределами помещений она не рассчитана.

Южнокорейский стартап Panmnesia сообщил о разработке специализированного CXL-решения, которое позволяет расширять встроенную память ускорителей на базе GPU путём подключения внешних блоков DRAM или даже SSD. Отмечается, что современным приложениям ИИ и НРС требуется значительный объём быстрой памяти, но возможности ускорителей в этом плане ограничены.

Сложность расширения памяти актуальных ускорителей заключается в том, что в таких изделиях отсутствуют логическая структура CXL и компоненты, поддерживающие DRAM и/или SSD. Кроме того, подсистемы кеша и памяти GPU не распознают никаких расширений. В лучшем случае предлагается механизм унифицированной виртуальной памяти (UVM) для совместного доступа к содержимому памяти и CPU, и GPU. Однако этот механизм довольно медленный.

Источник изображений: Panmnesia

Panmnesia обошла существующие ограничения путём создания собственного root-комплекса, совместимого со стандартом CXL 3.1 и предоставляющего несколько root-портов. Он и обеспечивает поддержку внешней памяти через PCIe. При этом задействован особый декодер HDM (Host-managed Device Memory), отвечающий за работу с адресными пространствами. Это сложное решение в каком-то смысле «обманывает» подсистему памяти ускорителя, заставляя ее рассматривать внешнюю PCIe-память как доступную напрямую.

Прототип, основанный на кастомизированном GPU, в ходе тестов продемонстрировало задержки менее 100 нс при передаче данных в обоих направлениях. При этом решение Panmnesia предоставляет более гранулярный доступ к памяти в сравнении с UVM. Быстродействие CXL-системы Panmnesia оказалось в 3,22 раза выше в пересчёте на IPC по сравнению с UVM.

ИИ-стартап Character.AI провёл переговоры с несколькими IT-гигантами, передаёт The Information. По слухам, компания обсуждала возможности сотрудничества с Google, Meta✴ и контролируемой Илоном Маском (Elon Musk) xAI.

Основанная бывшими сотрудниками Google компания уже привлекла $150 млн на создание чат-ботов, имитирующих поведение героев аниме, игр и др. На прошлой неделе компания представила функцию Character Call, обеспечивающую голосовое общение с ИИ-аватарами, готовыми ответить на запрос пользователя. Предполагается, что это добавит популярности сервисам компании.

Если бы стартапу удалось заключить сделку с одним из крупных игроков вроде Google или xAI, он получил бы доступ к огромным вычислительным ресурсам, а в ответ поделился бы интеллектуальной собственностью, связанной со своими передовыми разработками. По сведениям The Information, компания обсуждала заключение аналогичной сделки о совместном участии в исследованиях и с Meta✴ Platforms.

Источник изображения: Character.AI

Пока потенциальные участники сделки, включая Character.AI, не ответили на запросы журналистов. Некоторые эксперты полагают, что у компании слишком мало собственных вычислительных ресурсов, поэтому ей неизбежно пришлось бы прибегнуть к помощи игроков покрупнее. В индустрии это уже привычная практика. Так, Alibaba Cloud предлагает стартапам ИИ-мощности в обмен на долю в компании, а различные программы поддержки начинающих компаний в области ИИ нередко предполагают «выплаты» именно облачными ресурсами, а не живыми деньгами.

UPD 03.08.2024: Google наняла основателей Character.AI и лицензировала ИИ-модели компании.

Из-за масштабной экспансии Google на рынке ЦОД выбросы парниковых газов компании взлетели за последние пять лет на 48 %. Как сообщает Ars Technica, это ставит под сомнение цель IT-гиганта добиться «нулевых выбросов» к 2030 году.

Согласно докладу Google, в 2023 году выбросы достигли 14,3 млн тонн углеродного эквивалента. Это на 48 % больше в сравнении с показателями 2019 года и на 13 % в сравнении с 2022 годом. Всего в прошлом году компания использовала 25,91 ТВт∙ч электричества, в 2022 году — 21,776 ТВт∙ч, а пять лет назад — 12,237 ТВт∙ч. Сегодня на «безуглеродную» энергию приходится 67 % потребления компании, дополнительно закупается «чистое» электричество в Австралии, Бельгии, Техасе и других локациях.

Источник изображения: Billy Joachim/unsplash.com

В компании признали, что снизить выбросы довольно трудно, одновременно инвестируя в генеративный ИИ и сопутствующую инфраструктуру. Подчёркивается, что влияние ИИ было трудно предсказать раньше. Тем не менее, в Google подтверждают намерение добиться «углеродной нейтральности» к 2030 году, но пока что выбросы будут расти «перед тем, как упасть». Утверждается, что компания интенсивно работает над этой проблемой, в том числе заключая сделки на поставки «чистой» энергии. Фактически компания седьмой год подряд закупает на 100 % возобновляемую энергию для своих ЦОД. Кроме того, ИИ открывает новые возможности для борьбы с изменениями климата.

Источник изображения: Google

Google также уточнила, что связанные с энергетикой выбросы Scope 2 в 2023 году (в первую очередь речь про энергопотребление ЦОД), выросли на 37 % год к году, а в целом на них приходится четверть всех выбросов парниковых газов компании. Выбросы участников цепочки поставок Google составляют три четверти, при этом и они выросли на 8 %. В Google заявили, что рост продолжится в обозримом будущем, частично из-за сопутствующей инфраструктуры, необходимой для работы ИИ.

Источник изображения: Google

Google обязалась добиться нулевых прямых и непрямых выбросов парниковых газов к 2030 году, чтобы круглосуточно работать на «чистой» энергии. Тем не менее, в отчёте компания сообщила о закрытии части связанных с возобновляемой энергией проектов в 2023 году, из-за чего доступ к такой энергии у компании снизился, а потребности в ней из-за роста энергопотребления ЦОД превысили доступные Google объёмы. В частности, такая ситуация наблюдается в США и Азиатско-Тихоокеанском регионе.

Источник изображения: Google

В целом потребление ЦОД Google электричества выросло в 2023 году на 17 %, составив 7-10 % от энергопотребления всех дата-центров в мире. Согласно статистике, потребляется 100 % возобновляемой энергии, 67 % из которой приходится на безуглеродную энергию, индекс PUE для ЦОД в среднем составляет 1.1, а энергоэффективность дата-центров в 1,8 раза выше, чем у сопоставимых объектов в отрасли. Кроме того, объекты Google потребили на 17 % больше воды в 2023 году, чем годом ранее.

IT-гиганты, включая Google, Amazon (AWS) и Microsoft уже обнародовали планы инвестировать десятки миллиардов долларов в ИИ, поэтому эксперты неоднократно выражали озабоченность вероятным воздействием соответствующего оборудования на окружающую среду. В мае Microsoft признала, что её выбросы с 2020 года выросли почти на треть, во многом из-за строительства и внедрения ИИ ЦОД. Впрочем, один из основателей компании Билл Гейтс (Bill Gates) подчеркнул, что ИИ поможет продвигать современные климатические решения.

Компания Samsung анонсировала SSD корпоративного уровня BM1743. Накопитель, выполненный по технологии v7 QLC V-NAND, имеет вместимость 61,44 Тбайт. Новинка призвана составить конкуренцию изделию Solidigm D5-P5336 аналогичной ёмкости, которое дебютировало приблизительно год назад.

Устройство Samsung BM1743 является преемником модели BM1733a, которая изготавливается по технологии v5 QLC V-NAND. Оба решения выполнены в SFF-стандарте U.2. Основной сферой применения названы дата-центры и облачные сервисы, в том числе связанные с ИИ-нагрузками.

Источник изображения: Samsung

Благодаря использованию интерфейса PCIe 4.0 производительность новинки увеличена примерно в два раза по сравнению с предшественником. Скорость последовательного чтения информации достигает 7200 Мбайт/с, скорость последовательной записи — 2000 Мбайт/с. Показатель IOPS при работе с блоками данных по 4 Кбайт составляет до 1,6 млн при произвольном чтении и до 110 тыс. при произвольной записи.

В SSD применяются 176-слойные флеш-чипы NAND. Устройство рассчитано на 0,26 полных перезаписи в сутки (показатель DWPD) на протяжении срока службы. Срок гарантированной сохранности данных при выключении питания увеличился с одного месяца до трёх в сравнении с решением предыдущего поколения. Говорится о подготовке варианта в формате E3.S с поддержкой PCIe 5.0. Кроме того, в перспективе свет увидит модификация вместимостью 122,88 Тбайт.

Компания Northern Data, деятельность которой связана с майнингом криптовалюты, предоставлением услуг высокопроизводительных вычислений (HPC) и ИИ, обдумывает возможность проведения IPO подразделений Taiga и Ardent, предоставляющих услуги облачных вычислений и ЦОД соответственно, пишет Bloomberg.

По данным источников Bloomberg, IPO может состояться на площадке Nasdaq. В настоящее время компания ведёт переговоры с банками для проведения публичного размещения акций. По оценкам банков, капитализация этих подразделений может составить $10–$16 млрд. Как и многие компании, занимающиеся майнингом криптовалют, Northern Data рассматривает HPC и ИИ как прибыльное дополнение к своей основной деятельности.

В прошлом году Northern Data разделила свой бизнес на три подразделения — Arden, Taiga и Peak Mining, сосредоточив в последнем все операции по майнингу криптовалют. Согласно информации на сайте компании, у неё имеется 11 дата-центров. Peak Mining, американское подразделение компании по майнингу биткоинов, строит и разрабатывает дата-центры суммарной ёмкостью почти 700 МВт, что в случае реализации всех планов сделает его одним из крупнейших майнеров криптовалюты в США.

Taiga уже владеет 24,5 тыс. ускорителей NVIDIA, включая H100, A100 и A6000. Они в основном находятся в трёх ЦОД в Швеции и Норвегии и на 100 % запитаны от «зелёных» источников энергии. В понедельник компания объявила, что первой в Европе приобрела 2 тыс. ускорителей NVIDIA H200, дополненных DPU BlueField-3 и ConnectX-7. Они будут размещены в одном из европейских ЦОД с PUE менее 1,2. Запуск первого кластера намечен на IV квартал, а его производительность составит порядка 32 Пфлопс (точность вычислений не указана). Пиковая теоретическая FP64-производительность такого количества ускорителей H200 составляет 68 Пфлопс.

Источник изображения: Northern Data

В свою очередь Ardent занимается дизайном и строительством высокоплотных ЦОД, ориентированных на HPC- и ИИ-нагрузки. Компания использует СЖО, а заявленный уровень PUE не превышает 1,15. При этом Ardent обещает 100 % доступность своих площадок.

Как сообщается, Northern Data в ноябре получила кредитное финансирование на сумму €575 млн от компании Tether Group, занимающейся стейблкоинами, а в январе завершила приобретение у Tether компании Damoon за €400 млн, рассчитавшись с помощью облигаций, конвертируемых в акции, выпущенные Northern Data AG. В результате Tether стала основным инвестором Northern Data. Полученные средства Northern Data использует для закупок самых востребованных чипов NVIDIA. Благодаря этому к концу лета компанией будет развёрнуто около 20 тыс. NVIDIA H100.

Стартап Lambda Labs, специализирующийся на предоставлении в аренду облачных вычислительных мощностей с использованием ИИ-ускорителей NVIDIA, планирует провести третий раунд финансирования с целью привлечения $800 млн, сообщила газета Financial Times. По словам источников газеты, условия проведения раунда финансирования станут известны в середине июля. Его подготовкой, включая координацию сбора средств, занимается JPMorgan.

Lambda Labs стремится получить максимум выгоды из ажиотажа вокруг ИИ-технологий на фоне нехватки ускорителей. Привлечение новых инвестиций сделает Lambda Labs одним из наиболее финансируемых стартапов Кремниевой долины за последние годы. Привлечённые в рамках нового раунда инвестиции предполагается направить на приобретение ИИ-ускорителей NVIDIA и соответствующего ПО для облачных сетей, а также использовать для найма дополнительного персонала.

Источник изображения: Lambda Labs

До этого компания из Сан-Хосе провела в феврале раунд финансирования Series C на сумму в $320 млн, в результате которого оценка её рыночной стоимости выросла до $1,5 млрд. Затем в апреле ей удалось привлечь инвестиции в размере $500 млн в рамках программы под руководством Macquarie Group при участии Фонда промышленного развития (IDF).

Несмотря на значительное финансирование Lambda Labs, ей пока далеко до её конкурента — компании CoreWeave, которая в мае 2024 года привлекла $7,5 млрд в ходе раунда под руководством Blackstone и при стратегическом участии Magnetar и Coatue, и в том же месяце закрыла раунд финансирования серии C на сумму $1,1 млрд. Годом ранее CoreWeave получила $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. На данный момент её рыночная стоимость оценивается в $19 млрд.