Про ускорители Gaudi3 компания Intel достаточно подробно рассказала ещё весной этого года — 5-нм новинка стала дальнейшим развитием идей, заложенных в предыдущих поколениях Gaudi. Объявить о доступности новых ИИ-ускорителей Intel решила одновременно с анонсом новых серверных процессоров Xeon 6900P (Granite Rapids), которые в видении компании являют собой «идеальную пару». Впрочем, в компании признают лидерство NVIDIA, так что обещают оптимизировать процессоры для работы с ускорителями последней. А вот ускорителей Falcon Shores, вполне вероятно, с новой политикой Intel потенциальные заказчики не дождутся.

Источник изображений здесь и далее: Intel

На данный момент главной новостью является то, что в распоряжении Intel не просто есть некий ИИ-ускоритель с более или менее конкурентоспособной архитектурой и производительностью, а законченное и доступное заказчикам решение, уже успевшее привлечь внимание крупных производителей и поставщиков серверного оборудования.

Впрочем, на презентации были продемонстрированы любопытные слайды, в частности, касающиеся архитектуры и принципов работы блоков матричной математики (MME), тензорных ядер (TPC), а также устройство подсистемы памяти.

В последнем случае любопытен максимальный отход от иерархических принципов построения в пользу единого унифицированного пространства памяти, включающего в себя кеши L2 и L3, а также набортные HBM2e-стеки ускорителя. Общение с сетевым интерконнектом при этом организовано из пространства L3, что должно минимизировать задержки.

При этом сетевые порты доступны операционной системе как NIC через драйвер Gaudi3, с управлением посредством RDMA verbs. Благодаря большому количеству таких виртуальных NIC, организация интерконнекта внутри сервера-узла не требует никаких коммутаторов, а совокупная внутренняя производительность при этом достигает 67,2 Тбит/с.

Хотя основой экосистемы Gaudi3 станут в первую очередь ускорители HL-325L и UBB-платы HLB-325, есть у Intel и PCIe-вариант в виде FHFL-платы HL-338: 1,835 Пфлопс в режиме FP8 при теплопакете 600 Вт. Оно имеет только 22 200GbE-контроллера, а в остальном повторяет конфигурацию HL-325L с восемью блоками матричной математики (MME).

Эти ускорители получат пару портов QSFP-DD, каждый из которых будет поддерживать скорость 400 Гбит/с, а между собой платы в пределах одного сервера смогут общаться при помощи специального бэкплейна.

Важно то, что Gaudi3 успешно прошёл путь от анонса до становления сердцем полноценной аппаратно-программной экосистемы, в том числе благодаря ставке на программное обеспечение с открытым кодом. В настоящее время Intel в содействии с партнёрами могут предложить широчайший по масштабу спектр решений на базе Gaudi3 — от рабочих станций и периферийных серверов до вычислительных узлов, собирающихся в стойки, кластеры и даже суперкластеры.

В числе крупнейших партнёров Intel по новой экосистеме есть Dell и Supermicro, представившие серверные системы c Gaudi3. Начало массовых поставок этих систем запланировано на октябрь 2024 года. Вряд ли такие серверы будут развёртываться по одному, поэтому Intel рассказала о возможностях масштабирования Gaudi3-платформ.

Один узел с восемью OAM-модулями HL-325L, развивающий 14,7 Пфлопс в режиме FP8 и располагающий 1 Тбайт HBM станет основой для 32- и 64-узловых кластеров с 256 и 512 Gaudi3 на борту, благо нехватка пропускной способности сетевой части Gaudi3 не грозит — она составляет 9,6 Тбайт/с для одного узла. Из таких кластеров может быть составлен суперкластер с 4096 ускорителями или даже мегакластер, где их число достигнет 8192. Производительность в этом случае составит 15 Эфлопс при объёме памяти 1 Пбайт и совокупной производительности сети 9,8 Пбайт/с.

Типовой 32-узловой кластер на базе Gaudi3 Intel — это решение средней плотности с 15 стойками, содержащими не только вычислительные узлы, но и управляющие серверы, сетевые коммутаторы и подсистему хранения данных. Благодаря тому, что Intel в качестве интерконнекта для Gaudi3 избрала открытый и широко распространённый стандарт Ethernet (200GbE RoCE, 24 контроллера на ускоритель), не должно возникнуть проблем с совместимостью и привязкой к аппаратному обеспечению единственного вендора, как это имеет место быть c NVIDIA InfiniBand и NVLink.

Вкупе с программным обеспечением, основой которого является открытый OneAPI, и развитой системой техподдержки, системы на базе Gaudi3 станут надёжной основой для развёртывания ИИ-систем класса RAG, позволяющих заказчику в кратчайшие сроки запускать сети LLM с собственными датасетами без переобучения модели с нуля, говорит компания.

Именно в сферах, так или иначе связанных с большими языковыми моделями, Gaudi3 и системы на его основе должны помочь Intel укрепить свои позиции. Компания приводит данные, что Gaudi3 производительнее H100 примерно в 1,19 раза без учёта энергоэффективности, но в пересчёте «ватт на доллар» эти ускорители превосходят NVIDIA H100 уже в два раза.

Правда, H100 арсенал NVIDIA уже не ограничивается, но с массовой доступности новых решений Intel они могут оказаться привлекательнее. К тому же платформа совместима со всеми основными фреймворками, библиотеками и средствами управления. Впрочем, на примере AMD прекрасно видно, насколько индустрия привязана к решениям NVIDIA, причём в первую очередь программным.

Министр энергетики США Дженнифер Грэнхолм (Jennifer Granholm) дала понять, что не против того, чтобы технологические компании получали иностранные инвестиции на строительство ИИ ЦОД в США, что потенциально может стать ключевым голосом в поддержку инициатив гендиректора OpenAI Сэма Альтмана (Sam Altman) по привлечению зарубежных инвесторов для реализации дорогостоящих инфраструктурных проектов, пишет Bloomberg.

«Деньги — это экологично», — заявила Грэнхолм на конференции, проводившейся в четверг организацией Special Competitive Studies Project (SCSP, Специальный проект по конкурентным исследованиям), в ответ на вопрос о том, волнует ли правительство США, откуда поступает капитал. «Пока есть какие-то границы, я думаю, это нормально», — добавила она, подчеркнув, что любые соглашения о финансировании должны учитывать, какой доступ иностранные инвесторы будут иметь к интеллектуальной собственности, и гарантировать, что ЦОД будут построены в США.

В этом месяце Грэнхолм посетила круглый стол в Белом доме с участием Альтмана и других топ-менеджеров крупных игроков на рынке ИИ. Сэм Альтман прилагает значительные усилия, чтобы привлечь миллиардные суммы от инвесторов с Ближнего Востока и других регионов для расширения физической инфраструктуры, необходимой для поддержки будущего развития ИИ. Он также встречался с официальными лицами правительства США, чтобы заручиться их поддержкой.

Источник изображения: PiggyBank / Unsplash

Альтман и его команда намерены начать реализацию своего плана с привлечения инвестиций в США, который пойдут на строительство ЦОД, увеличение энергетических мощностей и расширение производства полупроводников.

После мероприятия в Белом доме компания OpenAI поделилась с правительством документом, в котором излагаются экономические и иные преимущества строительства крупных ЦОД в различных штатах США. По мнению Альтмана, это вопрос национальной безопасности. Руководители энергетических компаний заявили, что обеспечение электроэнергией таких ЦОД, каждый из которых будет потреблять такие же объёмы, как целый город, будет сложной задачей.

В ходе конференции Грэнхолм сказала, что Министерство энергетики США тесно сотрудничает с крупными ИИ-компаниями с тем, чтобы удовлетворить растущий спрос на электроэнергию со стороны ЦОД и создать «консьерж-сервис», который обеспечит им необходимую поддержку.

Компания Synergy Research Group обнародовала результаты анализа мировой облачной экосистемы в I половине 2024 года. Суммарные затраты в сегментах услуг и инфраструктуры достигли $427 млрд, увеличившись примерно на 23 % по сравнению с I полугодием 2023-го.

Отмечается, что в сегментах IaaS, PaaS и SaaS рост расходов в среднем составил 21 % в годовом исчислении. При этом по направлению корпоративных сервисов SaaS прибавка оказалась немногим менее 20 %.

Затраты на публичные и частные облачные дата-центры в течение января–июня 2024 года увеличились на 30 % по сравнению с тем же периодом 2023-го. Гиперскейлеры продолжают активно развивать свои инфраструктуры: их ёмкость выросла на 24 % год к году, а суммарный объём готовящихся к вводу мощностей подскочил на 47 %.

Источник изображения: Synergy Research Group

В сфере SaaS и облачных инфраструктурных услуг лидерами являются Microsoft, Amazon, Google и Salesforce. В сегменте оборудования и ПО для дата-центров значительную долю рынка занимают ODM-производители, услугами которых пользуются гиперскейлеры. Крупными игроками данного рынка также названы Dell, Microsoft, Supermicro и HPE. Отмечается, что позиции быстро укрепляет NVIDIA, поставляющая решения для платформ ИИ, в том числе напрямую гиперскейлерам.

С географической точки зрения безусловным лидером являются США, на которые в I полугодии 2024-го приходилось 44 % всей выручки от облачных услуг, 53 % ёмкости гиперскейлеров и 47 % рынка оборудования и ПО для облачных ЦОД. На долю китайских игроков приходится 8 % всей выручки от облачных услуг и 16 % мощностей гиперскейлеров.

Компания Uber намерена использовать кастомные Arm-процессоры Ampere Computing в облаке Oracle Cloud Infrastructure (OCI). В частности, компании займутся оптимизацией чипов для ИИ-задач. До недавнего времени Uber использовала преимущественно собственные ЦОД, но в 2022 году приняла решение перенести большую часть задач в облака.

С ростом количества ЦОД и зон доступности управлять IT-инфраструктурой Uber становилось всё сложнее. На ввод в эксплуатацию новой зоны порой требовались месяцы и сотни специалистов, поскольку управление серверами происходило чуть ли не «вручную», а инструменты автоматизации часто подводили. Рассмотрев различные варианты развития, Uber постепенно пришла к сотрудничеству с Ampere, Goolge и Oracle. А в феврале 2023 года компания подписала крупные семилетние облачные контракты с Google и Oracle.

По данным Uber, водители и курьеры компании выполняют более 30 млн заказов ежедневно. Для этого требуется большая IT-инфраструктура, например, для оптимизации маршрутов, в том числе с применением ИИ-технологий — ежесекундно к ИИ-моделям приходит 15 млн запросов. По оценкам Uber и Ampere, перенос нагрузок в OCI не только снизил инфраструктурные затраты, но и уменьшил энергопотребление на 30 %. Сейчас компании совместно работают над новыми чипами, выявляя, какие изменения в микроархитектуру стоит внести, чтобы будущие процессоры оптимально подходили для задач Uber.

Источник изображения: Denys Nevozhai/unsplash.com

Собственные Arm-процессоры разрабатывают AWS, Google Cloud и Microsoft Azure — Graviton, Axion и Cobalt 100 соответственно. Однако кастомизацией под конкретного клиента, пусть даже крупного, они не занимаются. Тем не менее, эксперты IDC считают, что облачные клиенты безусловно выиграют от совместной подготовки с разработчиками чипов новых полупроводниковых решений. Клиенты могут обладать специфическими знаниями и интеллектуальной собственностью, но как правило не имеют возможности самостоятельно вывести на рынок готовый продукт.

Сейчас Uber переносит тысячи микросервисов, многочисленные платформы хранения данных и десятки ИИ-моделей в OCI. Компания уже перевела значительную часть бессерверных рабочих нагрузок на платформы на базе Ampere. Впрочем, дело не ограничивается только Ampere — компания также активно использует инстансы на базе чипов AMD.

Американская инвестиционная компания Blackstone намерена потратить £10 млрд ($13,4 млрд) на масштабный ИИ ЦОД в Великобритании. По данным The Register, объект, названный «крупнейшим в Европе ИИ ЦОД», появится на северо-востоке Англии на месте остановленного завода BritishVolt. Буквально на днях DC01UK тоже представила план строительства за £3,75 млрд ($4,9 млрд) в Хартфордшире одного из крупнейших ИИ ЦОД в регионе.

Проект Blackstone поможет создать 4 тыс. рабочих мест, 1,2 тыс. из которых связаны со строительством дата-центра. Помимо вложения £10 млрд в строительство объекта Blackstone обязалась потратить ещё £110 млн на переподготовку персонала для эксплуатации ЦОД и модернизацию транспортной инфраструктуры в регионе. Впрочем, львиная доля средств уйдёт на ИИ-ускорители, но какие именно, пока не уточняется.

По словам премьер-министра Великобритании Кира Стармера (Keir Starmer), инвестиции Blackstone такого уровня сами по себе являются своеобразным «вотумом доверия» Великобритании и служат доказательством того, что страна вновь стала крупным мировым игроком, открытым для бизнеса. Британские власти немало делают для того, чтобы привлечь инвестиции в местную инфраструктуру. Страна причислила ЦОД к критической национальной инфраструктуре (CNI) с государственной поддержкой.

Источник изображения: Heidi Fin/unsplash.com

Бизнес по сдаче в аренду ИИ-инфраструктуры стал весьма прибыльным во всём мире, поэтому ничего необычного в интересе к нему инвестиционной компании нет. Ранее в The Next Platform подсчитали, что вложение около $1,5 млрд в строительство, развёртывание и сетевое подключение ЦОД за четыре года способны принести $5,27 млрд выручки. Похожий уровень возврата инвестиций прогнозирует и сама NVIDIA. Но в этом деле нужен грамотный подход, чтобы не получилось как в Китае, где наспех построенные ИИ ЦОД оказались невостребованными.

Впрочем, Blackstone — не новичок в отрасли. Весной компания присоединилась к BlackRock и другим инвесторам, чтобы вложить $7,5 млрд в долговое финансирование CoreWeave, сдающей вычислительные мощности ускорителей в аренду. Пока нет данных, захочет ли Blackstone действовать без посредников и представить собственное облако или компания намерена привлечь бизнес вроде CoreWeave к реализации своего проекта. Стоит отметить, что последняя в начале 2024 года анонсировала проект строительства своей европейской штаб-квартиры в Лондоне и двух ИИ ЦОД за £1 млрд.

Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Облачная платформа Oracle Cloud Infrastructure (OCI) задействовала ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm в составе новейших инстансов BM.GPU.MI300X.8. Они предназначены для ресурсоёмких ИИ-нагрузок, включая обработку больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Инстансы BM.GPU.MI300X.8 типа Bare Metal объединяют восемь ускорителей Instinct MI300X, каждый из которых несёт на борту 192 Гбайт памяти HBM3 с пропускной способностью 5,3 Тбайт/с. Утверждается, что модель Hugging Face OPT с 66 млрд параметров может быть запущена на одном Instinct MI300X.

В составе инстансов задействованы два процессора Intel Xeon Sapphire Rapids с 56 ядрами. Объём оперативной памяти DDR5 составляет 2 Тбайт. Для хранения данных используются восемь NVMe SSD вместимостью 3,84 Тбайт каждый. Инстансы включают frontend-сеть с пропускной способностью 100 Гбит/с, а в составе кластера применяются соединения уровня 400G (×8).

Источник изображения: AMD

Стоимость подписки на BM.GPU.MI300X.8 составляет $6/час за каждый ускоритель. Платформа OCI Supercluster на базе AMD Instinct MI300X может объединять до 16 384 ускорителей, что позволяет заказчикам гибко масштабировать вычислительные ресурсы под свои задачи, говорит компания. Отмечается, что появление новых инстансов предоставит клиентам OCI больше возможностей в плане организации высокопроизводительных и эффективных вычислений при реализации сложных ИИ-проектов.

Кроме того, компания предлагает и кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в I половине 2025 года заказчикам станет доступен зеттафлопсный облачный ИИ-суперкомпьютер из 131 072 ускорителей NVIDIA B200 (Blackwell).

Глобальный рынок продуктов, связанных с ИИ, включая услуги и оборудование, будет расти на 40–55 % в год с $185 млрд в прошлом году и достигнет $780–990 млрд в 2027 году, сообщается в пятом ежегодном «Глобальном технологическом отчёте» (Global Technology Report) консалтинговой фирмы Bain & Co, передаёт Bloomberg.

Драйверами роста рынка в Bain назвали более крупные ИИ-системы и более крупные ЦОД для их обучения и эксплуатации. ИИ понадобится компаниям и правительствам для повышения эффективности работы. Спрос растёт столь быстро, что это ударит по цепочкам поставок компонентов, включая чипы, а на фоне геополитической напряжённости может спровоцировать дефицит полупроводников, персональных компьютеров и смартфонов, предупредили в Bain.

Источник изображений: bain.com

По оценкам консалтинговой фирмы, спрос на проектирование интегральных схем и связанную с этим интеллектуальную собственность может вырасти на 30 % и более к 2026 году, что окажет давление на производителей. Стоимость крупных ЦОД может подскочить через пять лет с $1–$4 млрд в настоящее время до $10–$25 млрд, поскольку их мощность увеличится до 1+ ГВт с 50–200 МВт в настоящее время.

«Ожидается, что эти изменения будут иметь огромные последствия для экосистем, которые поддерживают ЦОД, включая проектирование инфраструктуры, выработку электроэнергии и охлаждение», — говорится в заявлении консалтинговой компании.

Компании перешли от этапа экспериментов к масштабированию генеративного ИИ, указано в отчёте Bain. Малые языковые модели (SLM), более «лёгкие» и эффективные в сравнении с LLM, могут быть более предпочтительны для предприятий и стран, что связано с меньшим объёмом затрат и опасениями по поводу конфиденциальности.

Правительства ряда стран, включая Канаду, Францию, Индию, Японию и ОАЭ, тратят миллиарды долларов на субсидирование суверенного ИИ, инвестируя в национальную вычислительную инфраструктуру и ИИ-модели, созданные в пределах их границ и обученные на собственных данных. Но создание успешных суверенных экосистем ИИ будет трудоёмким и дорогим, считают в Bain.

Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Растущий спрос на электроэнергию для ИИ ЦОД вынуждает операторов расширять свои безуглеродные энергетические проекты и развивать системы СЖО. Однако не всегда и везде это удаётся. По данным DigiTimes, лидеры индустрии ЦОД подчёркивают важность бесперебойного электроснабжения для создания новых дата-центров на Тайване.

По данным доклада 2023 National Power Supply and Demand местного министерства экономики, спрос на электричество для ИИ-проектов на Тайване, вероятно, вырастет с 240 МВт в 2023 году до 2240 МВт к 2028 году. Основное энергопотребление ЦОД приходится на серверы и системы охлаждения. Отраслевые эксперты заявляют, что стабильность энергоснабжения стала главным приоритетом при выборе местоположения ЦОД. На ранних стадия планирования проекты обязательно необходимо представлять на согласование местному оператору Taipower.

Источник изображения: American Public Power Association/unsplash.com

Для охлаждения серверов пока применяются преимущественно воздушные системы. Чтобы повысить их эффективность, многие ведущие компании переходят на СЖО, в том числе иммерсионное охлаждение, значительно снижая PUE. По данным DigiTimes Research, около 80 % энергопотребления ЦОД приходится на обеспечение работы серверов и охлаждение. В последнее время власти многих стран предъявляют жёсткие требования к новым ЦОД, PUE которых не должен быть выше 1,4.

Помимо обеспечения стабильного электроснабжения, операторы ЦОД также уделяют особое внимание использованию возобновляемой энергии. Тайваньская энергетическая политика пока предусматривает «безъядерный» энергопереход с агрессивным внедрением «зелёной» энергетики. С учётом наплыва иностранных компаний, желающих построить ЦОД на острове, обеспечение доступа к «зелёному» электричеству стало приоритетом.

IT-гиганты вроде AWS, Microsoft и Google активно рассматривают на Тайване переход на углеродно-нейтральные источники питания, включая АЭС. Энергокомпании действительно отмечают рост спроса со стороны операторов ЦОД на «зелёную» энергию. Впрочем, пока в основном ведутся лишь предварительные обсуждения, а поставщики не уверены, стоит ли поставлять энергию такого типа исключительно дата-центрам.