Облачная платформа AWS анонсировала инстансы EC2 M4 Mac и EC2 M4 Pro Mac на основе компьютеров небольшого форм-фактора Apple Mac Mini с фирменными процессорами семейства M4. Новые экземпляры приходят на смену EC2 M2 Mac, которые были доступны с сентября 2023 года.

Инстансы EC2 M4 Mac базируются на модификации Mac Mini с процессором M4. Этот чип объединяет 10 ядер CPU (четыре производительных и шесть энергоэффективных), 10 ядер GPU и 16-ядерный движок Neural Engine. Объём унифицированной памяти составляет 24 Гбайт, а её пропускная способность достигает 120 Гбайт/с. Утверждается, что на задачах сборки приложений экземпляры EC2 M4 Mac обеспечивают на 20 % более высокую производительность по сравнению с EC2 M2 Mac.

В свою очередь, инстансы EC2 M4 Pro Mac используют мини-компьютеры Mac Mini с процессором M4 Pro, который содержит 12 ядер CPU (восемь производительных и четыре энергоэффективных), 16 ядер GPU и 16-ядерный движок Neural Engine. В оснащение входят 48 Гбайт унифицированной памяти с пропускной способностью до 273 Гбайт/с. По сравнению с EC2 M2 Pro Mac быстродействие на операциях сборки приложений увеличилось на 15 %.

Источник изображения: Apple

Инстансы EC2 M4 Mac и EC2 M4 Pro Mac предполагают наличие локального хранилища вместимостью 2 Тбайт. Применяется система AWS Nitro, которая переносит функции виртуализации, хранения и сетевые операции на выделенное оборудование и ПО для повышения производительности и улучшения безопасности. Благодаря подключению посредством интерфейса Thunderbolt обеспечивается пропускная способность VPC (Virtual Private Cloud) до 10 Гбит/ с и пропускная способность EBS (Elastic Block Store) до 8 Гбит/с.

Новые экземпляры совместимы с macOS Sonoma 15.6 и выше. Говорится о простоте интеграции с другими сервисами AWS. Инстансы EC2 M4 Mac и EC2 M4 Pro Mac уже доступны в регионах US East (Северная Вирджиния) и US West (Орегон), а в перспективе география охвата будет расширяться.

Исследование, проведённое специалистами Института Банка Америки (Bank of America Institute), говорит о том, что затраты на строительство дата-центров в США в июне нынешнего года достигли исторического максимума, составив около $40 млрд. Это на 30 % больше по сравнению с предыдущим годом, когда расходы находились на уровне $30,8 млрд. Причём в июне 2024-го отмечался рост на 50 % в годовом исчислении.

Отмечается, что стремительное увеличение затрат в области ЦОД обусловлено бумом в сфере генеративного ИИ и машинного обучения. Для оптимизации больших языковых моделей (LLM) и инференса требуются огромные вычислительные ресурсы, что побуждает гиперскейлеров вкладывать десятки миллиардов долларов в соответствующую инфраструктуру.

В частности, Microsoft намерена инвестировать в 2025 финансовом году до $80 млрд в создание ЦОД для задач ИИ в глобальном масштабе: более половины от этой суммы придётся на объекты в США. В свою очередь, Amazon в 2025-м вложит в расширение инфраструктуры рекордные $118 млрд. Google планирует потратить на наращивание мощностей дата-центров для поддержки ИИ около $85 млрд. Meta✴ готова выделить «сотни миллиардов долларов» на мультигигаваттные ИИ ЦОД, только в этом году уйдёт до $72 млрд.

Источник изображения: Microsoft

Основным сдерживающим фактором является нехватка электроэнергии. Согласно прогнозам Goldman Sachs, быстрое развитие ИИ приведёт к тому, что к 2030 году потребление энергии дата-центрами увеличится более чем вдвое. С другой стороны, говорится в исследовании BofA, повышение энергопотребления в сегменте ЦОД не отражает всю картину. Аналитики утверждают, что к 2030-му основная часть ожидаемого роста спроса на электроэнергию в США будет обусловлена такими факторами, как распространение электромобилей, отопление, перенос промышленных предприятий в новые зоны и электрификация зданий.

Корпорация Microsoft, по сообщению Bloomberg, намерена расширить свою вычислительную инфраструктуру для обучения собственных моделей ИИ, которые, как ожидается, смогут составить конкуренцию решениям OpenAI, Anthropic и других ведущих игроков соответствующего рынка.

На общем собрании сотрудников Microsoft руководитель потребительского направления ИИ Мустафа Сулейман (Mustafa Suleyman) заявил, что корпорация сделает «значительные инвестиции» в собственные ИИ-кластеры. По его словам, для Microsoft важно иметь возможность быть самодостаточной в области ИИ, если того потребует рыночная ситуация.

Вместе с тем, как подчёркивает Сулейман, Microsoft придерживается подхода, предполагающего создание собственных ИИ-продуктов при одновременном углублении связей с OpenAI и поддержании отношений с другими участниками отрасли. В частности, Microsoft и OpenAI останутся партнёрами как минимум до 2030 года. Это сотрудничество предполагает, что OpenAI продолжит использовать облачные сервисы Azure, тогда как Microsoft сохранит доступ к интеллектуальной собственности OpenAI, включая ИИ-модели. Впрочем, компании ещё могут пересмотреть договор.

Источник изображения: Microsoft

Сулейман, являющийся соучредителем Google DeepMind, присоединился к Microsoft в 2024 году. В прошлом месяце редмондская корпорация представила первые собственные ИИ-модели — MAI-Voice-1 и MAI-1-preview, которые были созданы под руководством Сулеймана. Их обучение проходило на 15 тыс. ускорителей NVIDIA H100. Подчёркивается, что конкуренты вроде Meta✴, Google и xAI для выполнения таких задач используют кластеры в 6–10 раз больше: это, по мнению Microsoft, говорит о высокой эффективности её ИИ-моделей.

В целом, Microsoft в 2025 финансовом году намерена инвестировать около $80 млрд в создание дата-центров для ИИ-нагрузок. Кроме того, корпорация подписала пятилетнее соглашение стоимостью почти $20 млрд на использование вычислительной ИИ-инфраструктуры компании Nebius (бывшая Yandex N.V.).

Стремительный рост вычислительных мощностей ЦОД на фоне бума ИИ-технологий способствовал росту доходов не только производителей ускорителей и серверных CPU, но и компании Arm, чью архитектуру они используют в своих чипах, передаёт The Register. В январе Arm заявила о намерении занять 50 % рынка чипов для ЦОД к концу 2025 года

Согласно исследованию Dell’Oro Group, во II квартале доля Arm-чипов на рынке серверных CPU составила 25 %, тогда как годом ранее она равнялась 15 %. Движущей силой роста стало внедрение суперускорителей NVIDIA GB200 NVL72 и GB300 NVL72, которые включают 36 Arm-процессоров Grace на базе архитектуры Neoverse V2 (Demeter) с интерфейсом NVLink-C2C. Заказы на поставку чипов NVIDIA расписаны на месяцы вперёд, что обеспечивает гарантированный источник доходов Arm наряду с ростом доли на рынке.

Аналитик Dell’Oro Барон Фунг (Baron Fung) сообщил The Register, что ещё год назад рост Arm на рынке серверных процессоров обеспечивался практически исключительно за счёт кастомных CPU, таких как AWS Graviton. Но теперь выручка от продаж Grace сопоставима с доходами от облачных GPU. AWS использует кастомные процессоры на архитектуре Arm с 2018 года. А Microsoft и Google лишь в последние несколько лет начали всерьёз развивать свои Arm-процессорах Cobalt и Axion соответственно, отметил The Register.

Источник изображения: Arm

Рост доли Arm на рынке зависит от того, насколько больше разработчиков чипов выведет свои чипы на рынок серверных процессоров. NVIDIA сейчас работает над новым процессором на базе Arm с использованием кастомных ядер Vera. Qualcomm и Fujitsu также работают над серверными чипами. А появление NVIDIA NVLink Fusion может привести к созданию новых гибридных чипов.

По данным Dell’Oro, рост рынка ИИ-технологий также привёл к росту рынка компонентов для серверов и СХД, составившему во II квартале 44 % в годовом исчислении. Продажи SmartNIC и DPU, которые зачастую тоже используют Arm-ядра, примерно удвоились по сравнению с прошлым годом на фоне перехода на Ethernet для вычислительных ИИ-кластеров. Поставки ASIC для обработки ИИ-нагрузок сейчас сопоставимы с объёмами поставок GPU, хотя GPU по-прежнему приносят большую часть доходов.

MLCommons объявил результаты набора бенчмарков MLPerf Inference v5.1. Последний раунд демонстрирует, насколько быстро развивается инференс и соответствующие бенчмарки, пишет ресурс HPCwire. В этом раунде было рекордное количество заявок — 27. Представлены результаты сразу пяти новых ускорителей: AMD Instinct MI355X, Intel Arc Pro B60 48GB Turbo, NVIDIA GB300, NVIDIA RTX 4000 Ada 20GB, NVIDIA RTX Pro 6000 Blackwell Server Edition. Всего же количество результатов MLPerf перевалило за 90 тыс. результатов.

В текущем раунде были представлены три новых бенчмарка: тест рассуждений на основе модели DeepSeek-R1, тест преобразования речи в текст на основе Whisper Large v3 и небольшой тест LLM на основе Llama 3.1 8B. Как отметил ресурс IEEE Spectrum, бенчмарк на основе модели Deepseek R1 671B (671 млрд параметров), более чем в 1,5 раза превышает самый крупный бенчмарк предыдущего раунда на основе Llama 3.1 405B. В модели Deepseek R1, ориентированной на рассуждения, большая часть вычислений выполняется во время инференса, что делает этот бенчмарк ещё более сложным.

Что касается самого маленького бенчмарка, основанного на Llama 3.1 8B, то, как поясняют в MLCommons, в отрасли растёт спрос на рассуждения с малой задержкой и высокой точностью. SLM отвечают этим требованиям и являются отличным выбором для таких задач, как реферирование текста или периферийные приложения. В свою очередь бенчмарк преобразования голоса в текст, основанный на Whisper Large v3, был разработан в ответ на растущее количество голосовых приложений, будь то смарт-устройства или голосовые ИИ-интерфейсы.

Источник изображения: NVIDIA

NVIDIA вновь возглавила рейтинг MLPerf Inference, на этот раз с архитектурой Blackwell Ultra, представленной платформой NVIDIA GB300 NVL72, которая установила рекорд, увеличив пропускную способность DeepSeek-R1 на 45 % по сравнению с предыдущими системами GB200 NVL72 (Blackwell).

NVIDIA также продемонстрировала высокие результаты в бенчмарке Llama 3.1 405B, который имеет более жёсткие ограничения по задержке. NVIDIA применила дезагрегацию, разделив фазы работы с контекстом и собственно генерацию между разными ускорителями. Этот подход, поддерживаемый фреймворком Dynamo, обеспечил увеличение в 1,5 раза пропускной способности на один ускоритель по сравнению с традиционным обслуживанием на системах Blackwell и более чем в 5 раз по сравнению с системами на базе Hopper.

Источник изображения: NVIDIA

NVIDIA назвала «дезагрегированное обслуживание» одним из ключевых факторов успеха, помимо аппаратных улучшений при переходе к Blackwell Ultra. Также свою роль сыграло использованием фирменного 4-бит формата NVFP4. «Мы можем обеспечить точность, сопоставимую с BF16», — сообщила компания, добавив, что при этом потребляется значительно меньше вычислительной мощности. Для работы с контекстом NVIDIA готовит соускоритель Rubin CPX.

В более компактных бенчмарках решения NVIDIA также продемонстрировали рекордную пропускную способность. Компания сообщила о более чем 18 тыс. токенов/с на один ускоритель в бенчмарке Llama 3.1 8B в автономном режиме и 5667 токенов/с на один ускоритель в Whisper. Результаты были представлены в офлайн-, серверных и интерактивных сценариях, при этом NVIDIA сохранила лидерство в расчете на GPU во всех категориях.

Источник изображения: NVIDIA/TechPowerUp

AMD представила результаты AMD Instinct MI355X только в «открытой» категории, где разрешены программные модификации модели. Ускоритель MI355X превзошёл в бенчмарке Llama 2 70B ускоритель MI325X в 2,7 раза по количеству токенов/с. В этом раунде AMD также впервые обнародовала результаты нескольких новых рабочих нагрузок, включая Llama 2 70B Interactive, MoE-модель Mixtral-8x7B и генератор изображений Stable Diffusion XL.

Источник изображения: AMD/ServeTheHome

В число «закрытых» заявок AMD входили системы на базе ускорителей AMD MI300X и MI325X. Более продвинутый MI325X показал результаты, схожие с показателями систем на базе NVIDIA H200 на Llama 2 70b, в комбинированном тесте MoE и тестах генерации изображений. Кроме того, компанией была представлена первая гибридная заявка, в которой ускорители AMD MI300X и MI325X использовались для одной и той же задачи инференса — бенчмарка на базе Llama 2 70b. Возможность распределения нагрузки между различными типами ускорителей — важный шаг, отметил IEEE Spectrum.

В этом раунде впервые был представлен и ускоритель Intel Arc Pro. Для бенчмарков использовалась видеокарта MaxSun Intel Arc Pro B60 Dual 48G Turbo, состоящая из двух GPU с 48 Гбайт памяти, в составе платформы Project Battlematrix, которая может включать до восьми таких ускорителей. Система показала результаты на уровне NVIDIA L40S в небольшом тесте LLM и уступила ему в тесте Llama 2 70b.

Источник изображения: Intel

Следует также отметить, что в этом раунде, как и в предыдущем, участвовала Nebius (ранее Yandex N.V.). Компания отметила, что результаты, полученные на односерверных инсталляциях, подтверждают, что Nebius AI Cloud обеспечивает «высочайшие» показатели производительности для инференса базовых моделей, таких как Llama 2 70B и Llama 3.1 405B.

В частности, Nebius AI Cloud установила новый рекорд производительности для NVIDIA GB200 NVL72. По сравнению с лучшими результатами предыдущего раунда, её однохостовая инсталляция показала прирост производительности на 6,7 % и 14,2 % при работе с Llama 3.1 405B в автономном и серверном режимах соответственно. «Эти два показателя также обеспечивают Nebius первое место среди других разработчиков MLPerf Inference v5.1 для этой модели в системах GB200», — сообщила компания.

Компании OpenAI и NVIDIA, по сообщению Bloomberg News, намерены в ближайшее время объявить о масштабных инвестициях в инфраструктуру дата-центров в Великобритании. Речь идёт о вложениях в размере «миллиардов долларов».

Ожидается, что анонс будет сделан на следующей неделе во время второго государственного визита президента США Дональда Трампа в Великобританию, который пройдёт с 17 по 19 сентября. Король Карл III и королева Камилла примут американского лидера и его жену Меланию в Виндзорском замке в графстве Беркшир.

В состав делегации США войдут руководители ряда американских корпораций, включая генерального директора OpenAI Сэма Альтмана (Sam Altman) и главу NVIDIA Дженсена Хуанга (Jensen Huang). Ожидается, что эти компании в рамках финансирования развития британских ЦОД объединят усилия с лондонской фирмой Nscale Global Holdings Ltd. В целом, как ожидается, во время предстоящего визита Трампа американские компании из различных отраслей объявят о десятках миллиардов долларов инвестиций в Великобританию. Представители OpenAI и NVIDIA ситуацию пока никак не комментируют.

Источник изображения: unsplash.com / İsmail Enes Ayhan

OpenAI стремится укрепить позиции в Европе, где она сталкивается с гораздо более строгим регулированием, нежели в США. С мая нынешнего года компания реализует программу OpenAI for Countries, которая предполагает создание ИИ ЦОД по всему миру. Первым европейским дата-центром, создающимся в рамках этой инициативы, станет объект Stargate Norway в Норвегии. На начальном этапе мощность этого ЦОД составит 230 МВт с возможностью последующего добавления ещё 290 МВт.

Интерес к развитию инфраструктуры дата-центров в Великобритании проявляют и другие американские компании. В частности, в конце прошлого года стало известно о том, что Cloud HQ, CyrusOne, CoreWeave и ServiceNow намерены вложить около $8,22 млрд в строительство ЦОД в этой стране.

Оператор дата-центров Digital Realty объявил об открытии лаборатории инноваций DRIL (Digital Realty Innovation Lab) — специализированной тестовой площадки, призванной ускорить внедрение ИИ и гибридного облака. Партнёрами в рамках данного проекта являются Lenovo, AMD, Cisco и CommScope, которые предоставляют различные аппаратные и инфраструктурные решения.

Отмечается, что ИИ оказывает преобразующее влияние на самые разные отрасли. Однако при его масштабном развёртывании предъявляются высокие требования к инфраструктуре ЦОД в плане обеспечения необходимой производительности при одновременной оптимизации энергопотребления. Площадка DRIL призвана помочь компаниям в создании сложных архитектур, ориентированных на ресурсоёмкие задачи ИИ.

DRIL предоставляет партнёрам и клиентам полностью поддерживаемую реальную тестовую среду для апробации ИИ-развёртываний и гибридных облачных сред перед их масштабированием. Компании могут запускать собственные рабочие нагрузки с целью проверки эффективности и оптимизации.

Источник изображения: Digital Realty

Лаборатория DRIL сформирована на базе кампуса Digital Realty в Северной Вирджинии. На площадке, оснащённой серверами с процессорами AMD EPYC и ускорителями AMD Instinct, могут тестироваться рабочие нагрузки ИИ и HPC. Говорится о высокоплотном размещением оборудования — свыше 150 кВт на серверную стойку. Задействована технология прямого жидкостного охлаждения (DLC) Lenovo Neptune.

Лаборатория DRIL, как подчёркивается, позволяет компаниям раскрыть весь потенциал ИИ и корпоративных рабочих нагрузок, даже если у них нет собственного дата-центра с современным оборудованием. Используя DRIL, клиенты могут снизить риски, оптимизировать конфигурацию своих систем и ускорить переход от этапа проверки концепции к фактическому внедрению. Предприятия могут тестировать различные сценарии задержек в разных локациях, оценивать требования к питанию, охлаждению и GPU-ресурсам, а также управлять ИИ-нагрузками.

Компания Macom Technology Solutions анонсировала новый чипсет, который, как утверждается, позволяет преодолеть существующие ограничения по длине соединений PCIe 6.0 и CXL (Compute Express Link). Изделие обеспечивает возможность высокоскоростной передачи данных с малой задержкой на большие расстояния по паре оптических волокон.

Чипсет объединяет трансимпедансный усилитель (TIA) MATA-38794 и драйвер VCSEL MALD-38795. Достигается скорость передачи данных в 64 Гбит/с (PAM4) по восьми линиям PCIe. Протяженность соединений PCIe 6.0 при использовании многомодового оптоволоконного кабеля составляет до 100 м. Подчёркивается, что компоненты MATA-38794 и MALD-38795 обеспечивают масштабируемое и прозрачное подключение посредством PCIe, отвечающее требованиям современных вычислительных сред.

Источник изображения: Macom

Кроме того, новое изделие поддерживает передачу по дополнительному оптоволокну критически важных сигналов, включая сигналы синхронизации, сброса и пробуждения, а также USB и Ethernet. Это, как подчёркивается, «обеспечивает полную прозрачность шины PCIe на больших расстояниях».

Чипсет предназначен для формирования платформ дезагрегированных вычислений для задач ИИ и НРС. В отличие от традиционных серверных архитектур, основанных на интегрированном оборудовании и многоуровневых сетевых протоколах, дезагрегированные системы используют оптический интерконнект для прямого подключения ресурсов. Благодаря этому снижается задержка, уменьшается энергопотребление и достигается гибкое масштабирование. Интерфейс PCIe позволяет формировать высокоскоростные соединения типа GPU–GPU и CPU–память.

Компании Kioxia и NVIDIA, по сообщению Nikkei, разрабатывают SSD нового типа для ИИ-систем, которые по показателю IOPS (операций ввода/вывода в секунду) будут превосходить современные изделия практически в 100 раз. Предполагается, что такие устройства смогут стать альтернативой HBM при расширении памяти ИИ-ускорителей.

Коити Фукуда (Koichi Fukuda), главный инженер подразделения твердотельных накопителей Kioxia, рассказал, что компания проектирует устройства в соответствии с требованиями NVIDIA. Речь идёт об SSD следующего поколения с интерфейсом PCIe 7.0. Предполагается, что такие изделия смогут демонстрировать показатель IOPS на уровне 100 млн, что позволит применять их в том числе для ИИ-инференса.

Более того, NVIDIA стремится к достижению значения IOPS в 200 млн. Такого результата Kioxia рассчитывает добиться путём объединения в массив двух SSD нового типа. Особенностью этих накопителей станет то, что они смогут обмениваться данными с GPU напрямую, не вовлекая в эти операции CPU, как в случае с традиционными решениями. Пробные поставки устройств планируется организовать во II половине 2026 года, тогда как на коммерческом рынке накопители нового типа могут появиться в 2027-м.

Источник изображения: Kioxia

Согласно прогнозам Kioxia, к 2029 году почти половина спроса на NAND-память, которая применяется в SSD, будет связана с системами ИИ. Участники рынка также говорят о возобновлении инвестиций в разработку NAND-продуктов после двухлетнего затишья. Восстановление активности среди производителей объясняется растущей потребностью в высокоскоростных накопителях большой вместимости с высокими показателями быстродействия при произвольном доступе. Одним из перспективных направлений названо создание решений на основе флеш-памяти с высокой пропускной способностью HBF (High Bandwidth Flash): разработки в данной сфере, в частности, ведёт SanDisk.

Ресурсу CRN стало известно о предстоящем уходе из Intel в конце этого месяца Ронака Сингхала (Ronak Singhal), который стал уже вторым главным архитектором процессоров Xeon, покинувшим компанию за последние восемь месяцев после ухода в январе Сайлеша Коттапалли (Sailesh Kottapalli) в Qualcomm. Intel подтвердила CRN, что Сингхал покидает компанию. Уход Сингхала ресурс связывает с назначением Кеворка Кечичяна (Kevork Kechichian) главой Группы ЦОД (DCG) в рамках реорганизации компании, проводимой гендиректором Лип-Бу Таном (Lip-Bu Tan).

В последнее время Сингхал руководил реализацией технологической стратегии и управлением продуктами в разрезе серверных процессоров Xeon. Ответственность Сингхалпа также распространялась на разработку платформ и множества сопутствующих технологий, касающихся памяти, безопасности и ИИ в Xeon. Ранее Сингхал руководил разработкой серверной архитектуры Haswell и Broadwell, последний из которых, по его словам, стал первым 14-нм серверным чипом компании. Он также возглавлял разработку IP-блоков для процессоров Xeon, Core и Atom.

Источник изображения: Intel

В конце июля Тан сообщил сотрудникам, что компания «сосредоточена на восстановлении» доли рынка серверных процессоров, наращивая выпуск чипов Granite Rapids, а также «расширяя возможности для нагрузок гиперскейлеров». Как отметил финансовый директор Дэвид Цинснер (David Zinsner), линейка серверных продуктов Diamond Rapids, запуск которой запланирован на следующий год, «не даёт желаемого результата». По его словам, следующее поколение — Coral Rapids — является «реальной возможностью», которая позволит Intel «сделать действительно большой шаг вперёд».