По неофициальным данным, Apple работает с Broadcom над разработкой серверного ИИ-ускорителя для обслуживания ИИ-сервисов в своих ОС. По словам трёх анонимных источников The Information, чип создаётся в рамках проекта Baltra и будет запщен в производство в 2026 году. Ранее компании уже работали над 5G-технологиями.

Деталей пока немного. На одной из конференций в этом году представитель Apple заявил, что ИИ-экосистема Apple Intelligence должна работать как на самих устройствах компании, так и в частном облаке Apple Private Cloud Compute на базе чипов M2 Ultra. Они используются для инференса, тогда как для обучения ИИ-моделей Apple использует ускорители Google TPU. Первые слухи о том, что компания разрабатывает серверные ускорители, появились в мае 2024 года.

Источник изображения: Apple

У компании богатый опыт разработки Arm-чипов, а Broadcom, помимо прочего, продаёт лицензии на различные IP-блоки и уже не раз помогала гиперскейлерам в создании кастомных чипов. Не так давно Broadcom анонсировала новую технологию упаковки 3.5D eXtreme Dimension System in Package (3.5D XDSiP), которая как раз ориентирована на создание высокопроизводительных кастомных чипов. Она позволяет объединить два 3D-стека, пару I/O чиплетов и до 12 модулей памяти HBM3 в одной упаковке, занимающей более 6000 мм². Производство первых чипов по этой технологии ожидается в 2026 году.

Созданием собственных ИИ-ускорителей заняты практически все крупные гиперскейлеры. Google первой занялась созданием собственных ускорителей и теперь в её портфолио есть уже шесть поколений TPU, Meta✴ трудится над MTIA, AWS предлагает Trainium2 и Inferentia2, Microsoft анонсировала Maia 100, Alibaba разработала Hanguang 800, а ByteDance и OpenAI пока ещё только создают будущие ускорители, причём при помощи всё той же Broadcom. Впрочем, для многих из них это попытка снизить зависимость от NVIDIA, выручка которой бьёт все рекорды.

Облачная платформа AWS анонсировала инстансы второго поколения с FPGA на борту. Экземпляры EC2 F2 ориентированы на решение задач в области геномики, обработки мультимедийных материалов, больших данных, спутниковой связи, компьютерных сетей, моделирования кремниевых чипов и видеотрансляций в реальном времени.

В новых инстансах применяются FPGA AMD Virtex UltraScale+ HBM VU47P. Эти изделия содержат 2,852 млн логических ячеек и 9024 DSP. Заявленная ИИ-производительность достигает 28 TOPS при вычислениях INT8. Кроме того, в состав EC2 F2 входят процессоры AMD EPYC поколения Milan.

Новые инстансы доступны в вариантах f2.12xlarge и f2.48xlarge — с 48 и 192 vCPU и 2 и 8 FPGA соответственно. Каждая ПЛИС оперирует 16 ГиБ памяти HBM и 64 ГиБ памяти DDR4. Таким образом, в случае f2.12xlarge используется в сумме 32 ГиБ HBM и 128 ГиБ DDR4, а в случае f2.48xlarge — 128 ГиБ и 512 ГиБ соответственно.

Источник изображения: AWS

Конфигурация f2.12xlarge включает 512 ГиБ системной памяти и два накопителям NVMe SSD суммарной вместимостью 1900 ГиБ. Пропускная способность сетевого подключения составляет 25 Гбит/с, пропускная способность EBS-томов — 15 Гбит/с. У экземпляра f2.48xlarge объём памяти составляет 2048 ГиБ, общая вместимость NVMe SSD — 7600 ГиБ. Пропускная способность сетевого подключения и EBS-томов достигает 100 Гбит/с и 60 Гбит/с соответственно. Для этого экземпляра предусмотрена поддержка AWS Cloud Digital Interface (CDI) для надёжной передачи несжатого видео (задержка между инстансами заявлена на уровне 8 мс).

Мировой рынок SSD корпоративного класса значительно вырос в III квартале 2024 года, а основным драйвером роста стал огромный спрос на связанные с ИИ задачи. По данным TrendForce, значительную роль сыграл и рост цен, поскольку поставщики с трудом справлялись со спросом.

В целом выручка индустрии выросла на впечатляющие 28,6 % квартал к кварталу. Спрос на накопители высокой ёмкости подогревался появлением ускорителей NVIDIA H100/H200 и устойчивыми заказами на серверы для обучения ИИ-моделей. В результате общий объём закупок SSD вырос в сравнении с предыдущим кварталом на 15 %. В IV квартале TrendForce прогнозирует замедление роста выручки, поскольку спрос начинает «охлаждаться». Общие объёмы закупок упадут, поскольку пик, похоже, позади, а OEM-производители серверов пересматривают заказы в меньшую сторону.

Ранее сообщалось, что поставки SSD во II квартале упали на 18,4 %, при этом суммарная ёмкость выросла благодаря серверным NVMe-накопителям. Примечательно, что год назад расстановка сил на рынке отличалась. Несмотря на сильный рост рынка в III квартале, позиции поставщиков по доходам остались без изменений. Но изменения в структуре заказов на SSD высокой ёмкости, которые дороже других, привели к тому, что темпы роста у вендоров отличались.

Источник изображения: Samsung

Samsung сохранила позицию главного поставщика корпоративных SSD, выручка в III квартале достигла $3,2 млрд. Рост показателей компании превысил ожидания благодаря повышенному спросу на модели высокой ёмкости, хотя некоторые поставки пришлось отменить из-за оптимизации производства. Доля серверных SSD в выручке компании продолжает расти. Ожидается, что компания сохранит рост выручки и в IV квартале на фоне больших объёмов поставок SSD ёмкостью до 8 Тбайт.

SK Group (SK hynix и Solidigm) сохранила позицию второго по величине поставщика твердотельных накопителей корпоративного уровня, выручка в III квартале выросла до $2,058 млрд. Компания добилась рекордных поставок решений для ИИ. В IV квартале выручка SK Group, как ожидается, останется стабильной и будет подкрепляться массовым производством SSD следующего поколения с интерфейсом PCIe 5.0 и 176-слойной памяти TLC NAND. Новые продукты, наряду с уже имеющимися SSD Solidigm на базе PCIe 4.0 и 144-слойной TLC- и QLC-памяти, и должны, как ожидается, сохранить выручку на прежнем уровне.

Третье место заняла Micron с $1,153 млрд выручки, полученной благодаря стабильному росту поставок SSD высокой ёмкости. Увеличенные поставки таких продуктов привели к росту показателей компании. Впрочем, в следующем квартале Micron может столкнуться с проблемами из-за роста спроса на SSD ёмкостью 60 Тбайт — этот продукт Micron всё ещё в процессе валидации многими партнёрами, что может повлиять на выручку в IV квартале.

Источник изображения: Samsung

Выручка Kioxia выросла до $636 млн, компания заняла четвёртое место среди поставщиков. Хотя в целом поставки выросли, по росту продаж продуктов высокой ёмкости компания отстаёт от конкурентов. Для того, чтобы сбалансировать ситуацию, компания сделала ставку на ограничение поставок SSD объёмом до 8 Тбайт. Теперь она усиливает сотрудничество с ключевыми североамериканскими клиентами и старается нарастить поставки SSD большой ёмкости.

Western Digital и SanDisk теперь отвечают за HDD и NAND/SSD соответственно, поэтому структура отчётности меняется. Разделение бизнеса направлено на увеличение операционной гибкости и углубление сотрудничества с ключевыми североамериканскими клиентами. В III квартале бизнес Western Digital, связанный с корпоративными SSD, зарегистрировал рост выручки на 100 % квартал к кварталу до $332 млн благодаря повышению спроса со стороны североамериканских клиентов.

Национальный научный фонд правительства США (NSF) исследует возможность прокладки кабеля, соединяющего Антарктиду с Новой Зеландией или Австралией. Кабель предложено протянуть до станции Мак-Мердо — крупнейшего исследовательского центра по изучению Антарктики, сообщает Datacenter Dynamics.

Хотя основной задачей будет обеспечение станции высокоскоростной связью с малой задержкой, кабель будет снабжён различными датчиками и сенсорами, что позволит впервые провести новые исследования, связанные с самыми разными дисциплинами. Особый интерес уже высказали сейсмологи. Речь идёт о кабеле класса SMART (Science Monitoring and Reliable Telecommunications).

Фонд уже сформировал технико-экономическое обоснование прокладки кабеля и опубликовал. запрос на информацию, призывающий заинтересованные стороны откликнуться до середины января 2025 года с собственными соображениями относительно инициативы. Запрашиваются сведения о необходимых для включения в кабель сенсоров, местах разветвления кабеля, перспективных методах оптоволоконного зондирования и т.п.

Источник изображения: Derek Oyen/unsplash.com

Согласно выкладкам NSF, маршрут из Новой Зеландии, вероятно, предпочтительнее, поскольку он на 1,5 тыс. км короче, чем путь до Австралии, дешевле, безопаснее и охватывает больше регионов, представляющих научный интерес. Что касается коммерческих кабелей, в обозримом будущем Антарктика, вероятно, останется зоной, свободной от них — отсутствуют очевидные экономические выгода от прокладки новых цифровых маршрутов в регионе.

Тем временем на Крайнем Севере разрабатываются несколько кабельных маршрутов, включая Far North Fiber на Аляске и Polar Connect. Последний предполагает прокладку части кабеля через ледяной щит Северного полюса. Оба маршрута предполагают обеспечение связью США, Европы и Азии через Северный морской путь.

Не так давно Евросоюз выделил инициативе Polar Connect €4 млн на картографирование Северного Ледовитого океана. Такие меры необходимо принять перед прокладкой новых магистралей. Эксплуатация в этих водах довольно рискованна. Например, в прошлом году арктический лёд порвал одну из подобных магистралей.

Корпорация Fujitsu, по сообщению ресурса Tom's Hardware, продемонстрировала прототип серверного процессора Monaka для дата-центров. Это изделие проектируется с прицелом на НРС-платформы, а также на ЦОД, ориентированные на решение ресурсоёмких задач в области ИИ.

О проекте Monaka стало известно в начале 2023 года. Тогда говорилось, что разработка изделия является частью программы, курируемой японской Организацией по развитию новых энергетических и промышленных технологий (NEDO). Процессор основан на архитектуре Arm с набором инструкций Armv9-A и поддержкой масштабируемых векторных расширений SVE2.

Как теперь сообщается, для чипа Monaka предусмотрено использование технологии Broadcom 3.5D eXtreme Dimension System in Package (SiP). Конструкция процессора включает четыре 36-ядерных вычислительных чиплета, изготовленных по 2-нм технологии TSMC. Таким образом, суммарное количество ядер достигает 144. Эти чиплеты монтируются поверх «плиток» SRAM с использованием гибридного медного соединения (HCB). Блоки SRAM, выполняющие функции кеш-памяти, производятся по 5-нм техпроцессу TSMC. Кроме того, имеется крупный чиплет ввода-вывода, в состав которого входят контроллеры DDR5 (12 каналов) и PCI Express 6.0/CXL 3.0.

Источник изображения: Broadcom

Процессор Monaka нацелен на широкий спектр рабочих нагрузок в дата-центрах. Для чипа не предусмотрено использование памяти HBM — вместо этого будет применяться DDR5, возможно, в реализациях MR-DIMM и MCR-DIMM. Упомянуты расширенные функции безопасности, включая Confidential Computing Architecture (CCA).

Monaka предстоит конкурировать с процессорами AMD EPYC и Intel Xeon. Одним из главных преимуществ нового изделия перед этими чипами, по всей видимости, станет более высокая энергетическая эффективность. Fujitsu намерена начать продажи Monaka в течение 2027 финансового года, который у компании продлится с 1 апреля 2026-го до 31 марта 2027-го.

Компания Ayar Labs, занимающаяся разработкой интерконнекта на базе кремниевой фотоники, объявила о проведении раунда финансирования Series D, в ходе которого привлечено $155 млн. При этом рыночная стоимость стартапа, по оценкам, достигла $1 млрд.

По заявлениям Ayar Labs, компания создала первое в отрасли решение для оптического ввода-вывода в виде изделия в едином корпусе, которое готово к коммерческому использованию. Продукт оптимизирован для объединения чипов для обучения ИИ-моделей и инференса. Технология Ayar Labs предполагает обмен данными между чипами посредством света, а не электрических импульсов. Решение, как утверждается, позволяет максимизировать вычислительную эффективность и производительность инфраструктуры ИИ при одновременном снижении затрат и энергопотребления.

Источник изображения: Ayar Labs

В мае 2023 года Ayar Labs сообщила о привлечении $25 млн инвестиций по расширенной программе Series C1. Тогда финансовую поддержку оказали Capital TEN, VentureTech Alliance, Boardman Bay Capital Management, IAG Capital Partners, NVIDIA и Tyche Partners. В число инвесторов также входят Applied Ventures, GlobalFoundries, Hewlett Packard Pathfinder, Intel Capital и Lockheed Martin Ventures.

Новый инвестиционный раунд Series D возглавили Advent Global Opportunities и Light Street Capital. Средства также предоставили AMD Ventures, Intel Capital и NVIDIA. Другими стратегическими инвесторами, участвующими в раунде, стали 3M Ventures и Autopilot. Таким образом, в общей сложности Ayar Labs на сегодняшний день привлекла $370 млн. Ожидается, что полученные средства помогут стартапу в дальнейшем развитии и масштабировании своей технологии оптического интерконнекта. Кроме того, компания планирует расширение штата.

Google попросила Федеральную торговую комиссию США (FTC) разорвать эксклюзивное облачное соглашение Microsoft с OpenAI, в рамках которого разработчик ИИ-чат-бота ChatGPT использует её облачную инфраструктуру для функционирования своих сервисов и других задач, сообщил ресурс The Information.

Просьба Google поступила после того, как FTC запросила у неё отзыв о деловой практике Microsoft в рамках более широкого расследования, касающегося лицензирования софтверным гигантом ПО, а также облачных вычислений, предложений по обеспечению кибербезопасности и услуг ИИ.

По словам Google, соглашение о партнёрстве Microsoft и OpenAI, которое позволяет Microsoft быть единственным поставщиком облачных сервисов, размещающим передовые модели OpenAI, создает значительные рыночные барьеры и потенциально увеличивает затраты для клиентов облачных сервисов, желающих получить доступ к передовым технологиям ИИ

То, что Microsoft является крупнейшим инвестором OpenAI, вложившим в неё более $13 млрд, объясняет столь тесное сотрудничество двух компаний, но другим технологическим компаниям, которые конкурируют с Microsoft на облачном рынке, таким как Google и Amazon, тоже хотелось бы размещать у себя в облаке модели OpenAI, чтобы их облачным клиентам не нужно было обращаться к услугам Microsoft для получения доступа к технологии стартапа, говорится в публикации The Information.

Источник изображения: OpenAI

Ведущие игроки считают, что нынешнее эксклюзивное соглашение ограничивает конкуренцию на облачном рынке и выбор клиентов. Как утверждают источники ресурса, компании, которые приобретают технологию OpenAI через Microsoft, могут столкнуться с дополнительными расходами, если они не используют решения Microsoft для своей работы. Google и другие участники рынка отметили, что такой подход к ценообразованию может навредить клиентам и ограничить доступ к ИИ-технологиям.

Исследователи Лёвенского католического университета (Бельгия), Любекского университета (Германия) и Бирмингемского университета (Великобритания) обнаружили, что система защиты виртуальных машин от атак с использованием вредоносного гипервизора AMD SEV-SNP (Secure Nested Paging), не так безопасна, как утверждает разработчик, пишет The Register.

Технологии Secure Encrypted Virtualization (SEV) предоставляют доверенную среду исполнения (TEE), призванную обеспечить защиту виртуальных машин от незаконных попыток вмешательства со стороны тех, кто имеет доступ к оборудованию ЦОД. Механизм SEV-SNP реализован в процессорах AMD EPYC, начиная с 7003 (Milan). Аналогичные механизмы есть и у конкурентов: Intel Software Guard Extensions (SGX) и Trusted Domain Extensions (TDX), а также Arm Confidential Compute Architecture (CCA). Все эти технологии отвечают за шифрование памяти и изоляцию ресурсов.

Исследователи разработали способ обхода SEV-SNP, который они назвали BadRAM (CVE-2024-21944 и AMD-SB-3015). Для атаки требуется оборудование стоимостью около $10, включая Raspberry Pi Pico, разъём DDR и батарею на 9 В. Атака BadRAM требует наличие физического доступа к оборудованию. Она основана на манипуляциях с чипом SPD (Serial Presence Detect), который передаёт данные о модуле DDR4/DDR5 во время загрузки системы. Манипулируя SPD, злоумышленники создают адреса-фантомы для физической памяти, благодаря которым можно незаметно получить доступ к данным в виртуальной машине.

Источник изображения: badram.eu

«Мы удваиваем видимый в системе объём DIMM, чтобы обмануть контроллер памяти CPU и заставить его использовать дополнительные «фантомные» биты адресации, — объясняют авторы исследования. — Два разных физических адреса теперь ссылаются на одно и то же местоположение DRAM». С помощью таких фантомов злоумышленники могут обойти защиту памяти, раскрывая конфиденциальные данные или вызывя сбои. BadRAM позволяет подделать критически важные отчёты удалённой аттестации и вставлять необнаруживаемые бэкдоры в любую виртуальную машину, защищённую SEV-SNP.

Атака может быть реализована и без физического доступа к оборудованию, поскольку некоторые поставщики DRAM оставляют чип SPD разблокированным, что противоречит спецификациям JEDEC. Авторы исследования обнаружили по крайней мере два DDR4-модуля Corsair без должной защиты SPD. Память DDR3 тоже может быть взломана путём замены чипа SPD.

Источник изображения: badram.eu

«BadRAM полностью подрывает доверие к технологии защищённой зашифрованной виртуализации AMD (SEV-SNP), которая широко используется крупными поставщиками облачных услуг, включая Amazon AWS, Google Cloud и Microsoft Azure», — сообщил The Register Джо Ван Балк (Jo Van Bulck), профессор лаборатории DistriNet на кафедре компьютерных наук KU Leuven.

Исследователи отметили, что решения SGX и TDX Intel не имеют такой уязвимости, поскольку в них реализованы контрмеры против создания псевдонимов (alias) памяти. Arm CCA, судя по спецификации, тоже не имеет проблем, но для проверки этого у исследователей не было коммерческих чипов. Полный доклад об атаке исследователи планируют представить в мае 2025 года на конференции IEEE Symposium on Security and Privacy.

Источник изображения: AMD

Исследователи уведомили AMD о найденных проблемах в феврале 2024 года. «AMD рекомендует использовать модули памяти, которые блокируют SPD, а также следовать передовым практикам в области физической безопасности систем. AMD также выпустила обновления прошивок защиты от уязвимости», — сообщили в AMD ресурсу The Register в ответ на просьбу прокомментировать публикацию исследователей.

В ходе отчёта за IV квартал 2024 года HPE упомянула, что отказалась от заказа на поставку ИИ-оборудования на $700 млн, усомнившись в неназванном покупателе, сообщает Network World. Общий объём бронирования по итогам квартала составил ожидамеые $1,2 млрд, а портфель необработанных заказов вырос до $3,5 млрд. В компании подчеркнули, что заказы на ИИ-системы могут поступать неравномерно, и это как раз такой случай.

На вопрос Network World об отмене заказа компания ответила, что имеет надёжную систему контроля, внимательно следит за работой с надёжными клиентами, управляет рисками и проводит диверсификацию портфеля заказов. Другими словами, по мнению экспертов, HPE потеряла веру в то, что один из её клиентов сможет справиться с контрактными обязательствами, и должным образом отреагировала на эту угрозу. И это важный сигнал для рынка в целом.

Одна из основных проблем в том, что системы генеративного ИИ пока слабо окупаются. По данным Sequoia Capital, ИИ-индустрия потратила в прошлом году почти $50 млрд на чипы NVIDIA, но выручка за тот же период составила всего $3 млрд. Подчёркивается, что скидки и прочие привилегии больше не являются необходимой частью распространения ИИ-продуктов.

Источник изображения: HPE

По мнению экспертов, сейчас спрос превышает предложение, поэтому HPE может позволить себе отдавать преимущество отдельным сегментам рынка и продуктам, поскольку объёмы доступной ИИ-инфраструктуры ограничены. Похожий дисбаланс спроса и предложения наблюдался несколько лет назад во время пандемии COVID-19. Выяснить, когда спрос превысит предложение, не так просто — на насыщение цепочки поставок продуктами уходит сравнительно много времени.

При этом финансовые директора компаний из списка Fortune 2000 могут счесть перспективы инвестиций в генеративный ИИ не слишком впечатляющими. Это окажет влияние на позиции заказчиков и покупателей. Впрочем, те, кто первыми начали внедрять такие системы, в долгосрочной перспективе, возможно, будут иметь лучшие позиции, более низкую стоимость эксплуатации и т.п.

Пока эксперты остерегаются делать чересчур смелые прогнозы. С учётом скорости развития ИИ-инфраструктуры не исключено, что на $1 млн, который можно потратить прямо сейчас, позднее можно будет получить гораздо более выгодное предложение. В то же время не исключено, что полупроводники достигнут физического предела своей производительности и IT-руководителям придётся делать сложный выбор, в числе прочего сделав акценты на повышение «нишевости» и качества ИИ-моделей.

Компания Google вкладывает средства в строительство энергетических мегапарков для получения возобновляемой энергии — IT-гигант стремится обеспечить электричеством свои ЦОД. В частности, он заключил партнёрское соглашение с независимым производителем энергии Intersect Power. Также в сделке участвует инвестиционная TPG Rise Climate LP, сообщает Bloomberg.

Консорциум займётся проектированием и строительством крупных энергетических комплексов рядом с кампусами ЦОД, которые будут включать возобновляемые источники энергии, энергохранилища и сопутствующую инфраструктуру передачи энергии на несколько гигаватт. Это обойдётся приблизительно в $20 млрд.

Для поддержки проекта Google также инвестировала и в акционерный капитал Intersect Power. TPG возглавила раунд финансирования, в котором помимо Google приняли участие CAI и Greenbelt Capital Partners. Всего привлечено $800 млн. Новые инвестиции помогут Intersect получить дополнительные заёмные средства на строительство энергетических мощностей.

Источник изображения: Intersect Power

План Google заключается в постройке ЦОД и новых энергетических мощностей таким образом, чтобы те подключались к одним и тем же подстанциям. Это должно помочь ускорить их ввод в эксплуатацию. В Google сообщают, что компания намерена оплатить 100 % расходов на модернизацию энергосетей для этих проектов. По оценкам партнёров, кампусу ИИ ЦОД на 1 ГВт потребуется по 1 ГВт солнечных и ветряных мощностей, а также 1-ГВт энергохранилище, способное проработать два-четыре часа — всё это на площади более 4 тыс. га.

Энергетические парки станут альтернативой стареющим электросетям США, которые с трудом справляются с потребностями ИИ ЦОД и параллельным электроснабжением домов, транспорта и промышленности. Google, Microsoft и AWS, а также другим крупным операторам ЦОД необходимы многомиллиардные инвестиции для удовлетворения потребностей ИИ в энергии. Все, включая Google, присматриваются к малым модульным реакторам, но они заработают не раньше 2030-х годов.

По данным пресс-службы Intersect, компания будет строить новые мощности по выработке чистой энергии, а Google станет её якорным клиентом. Таким образом, запросы Google будут полностью соответствовать доступным мощностям. Сейчас Intersect привлекает заемные средства для своего первого проекта с Google, который планируется к вводу в эксплуатацию в 2026 году. Параметры и местоположение проекта компании пока не раскрывают.