Компания Apacer анонсировала специальные ремешки, предназначенные для удержания модулей оперативной памяти в разъёмах. Это предотвращает их смещение в индустриальных системах в случае тряски, вибрации или ударов. Таким образом, повышаются стабильность и надёжность работы.

Промышленные модули ОЗУ могут применяться в компьютерах, рассчитанных на сложные условия эксплуатации. Это могут быть бортовые автомобильные или авиационные системы, интеллектуальные edge-устройства и пр. Вибрация со временем может привести к изменению положения модулей, что спровоцирует сбои в работе.

Источник изображения: Apacer

Новые ремешки решают указанную проблему. Они обеспечивают надёжную фиксацию DIMM в своих слотах. Ремешки имеют три точки крепления в отличие от обычных зажимов с двумя точками. Заявлена совместимость со всеми современными материнскими платами, что позволяет применять ремешки в существующих устройствах.

Изделия выполнены из огнестойкого полисилоксана, благодаря чему выдерживают температуры до 200 °C. Разработчик также говорит о высокой эластичности и гибкости, которые сохраняются даже при низких температурах. Такие характеристики дают возможность использовать ремешки в самых суровых условиях без риска короткого замыкания, разрыва или повреждений. Плюс к этому изделия успешно прошли испытания на соответствие военным стандартам MIL-STD-833K и MIL-STD-810G в плане устойчивости к ударам и вибрации.

Южнокорейский стартап Panmnesia сообщил о разработке специализированного CXL-решения, которое позволяет расширять встроенную память ускорителей на базе GPU путём подключения внешних блоков DRAM или даже SSD. Отмечается, что современным приложениям ИИ и НРС требуется значительный объём быстрой памяти, но возможности ускорителей в этом плане ограничены.

Сложность расширения памяти актуальных ускорителей заключается в том, что в таких изделиях отсутствуют логическая структура CXL и компоненты, поддерживающие DRAM и/или SSD. Кроме того, подсистемы кеша и памяти GPU не распознают никаких расширений. В лучшем случае предлагается механизм унифицированной виртуальной памяти (UVM) для совместного доступа к содержимому памяти и CPU, и GPU. Однако этот механизм довольно медленный.

Источник изображений: Panmnesia

Panmnesia обошла существующие ограничения путём создания собственного root-комплекса, совместимого со стандартом CXL 3.1 и предоставляющего несколько root-портов. Он и обеспечивает поддержку внешней памяти через PCIe. При этом задействован особый декодер HDM (Host-managed Device Memory), отвечающий за работу с адресными пространствами. Это сложное решение в каком-то смысле «обманывает» подсистему памяти ускорителя, заставляя ее рассматривать внешнюю PCIe-память как доступную напрямую.

Прототип, основанный на кастомизированном GPU, в ходе тестов продемонстрировало задержки менее 100 нс при передаче данных в обоих направлениях. При этом решение Panmnesia предоставляет более гранулярный доступ к памяти в сравнении с UVM. Быстродействие CXL-системы Panmnesia оказалось в 3,22 раза выше в пересчёте на IPC по сравнению с UVM.

Портал Phoronix обратил внимание на необычный патч, заметно повышающий производительность Raspberry Pi 5. Инженеры Igalia в результате экспериментов с эмуляцией NUMA на UMA-системах с чипами ARM64 (AArch64) добились повышения эффективности использования памяти. Так, простой патч для ядра Linux позволил улучшить результаты в Geekbench на 6 % в однопоточном режиме и на целых 18 % — в многопоточном.

Авторы патча пишут, что разделение RAM на несколько независимых блоков с последующим попеременными доступом (interleaving) позволяет контроллеру в Broadcom BCM2712 более полно использовать параллелизм на уровне физической организации чипов памяти (parallelism in physical memory chip organisation). Почему так происходит, авторы не уточняют, но, вероятно, это связано с особенностями организации кеша в SoC.

Источник изображения: Raspberry Pi

16-нм SoC BCM2712 включает четыре ядра Cortex-A76 (2,4 ГГц), каждому из которых полагается по 64 Кбайт кеша для инструкций и данных и 512 Кбайт L2-кеша. Объём общего L3-кеша составляет 2 Мбайт. Встроенный 32-бит контроллер памяти предлагает LPDRR4x-интерфейс, теоретическая пропускная способность которого достигает 17 Гбайт/с. Важно отметить, что этот чип не создавался эксклюзивно для Raspberry Pi — он был выбран среди актуальных массовых решений Broadcom из-за удачного сочетания цены, производительности и доступности.

Патч добавляет в Kconfig новую опцию, а для активации эмуляции NUMA (Non-uniform memory access) нужно передать соответствующий параметр при загрузке ядра. Дальнейшая работы осуществляется с помощью стандартной утилиты numactl.

Компания Goodram Industrial, принадлежащая Wilk Elektronik SA, анонсировала SSD семейства M1000 Gen 2, обладающие повышенной надёжностью. Устройства ориентированы на применение в коммерческом и промышленном секторах: это могут быть встраиваемые решения, системы автоматизации, индустриальные компьютеры и пр.

Изделия выполнены в SFF-стандарте с применением чипов флеш-памяти BiCS5 3D TLC NAND. Для подключения служит интерфейс SATA-3. Заявленная скорость передачи данных составляет до 550 Мбайт/с при чтении и до 510 Мбайт/с при записи.

Источник изображения: Goodram Industrial

В серию M1000 Gen 2 входят модели вместимостью 128, 256 и 512 Гбайт, а также 1 Тбайт. Диапазон рабочих температур простирается от -40 до +85 °C. Каждый накопитель, как утверждается, проходит строгие испытания качества, включая тестирование в климатической камере, имитирующей сложные условия окружающей среды (перепады температуры, влажность).

Среди поддерживаемых технологий упомянуты средства Over-provisioning (резервируют некоторый объем SSD под нужды контроллера), инструмент управления питанием Low Power Management, функции контроля износа (Static and Dynamic Wear Leveling) и управление поврежденными блоками (Bad Block Management).

Dell ожидает, что уже во II половине 2024 года цена DRAM и SSD вырастет на 15–20 %. По словам вице-председателя и операционного директора компании Джеффа Кларка (Jeff Clarke), цены вырастут как на компоненты, так и на логистику. The Register сообщает, что в связи с этим Dell намерена обновить цены на свою продукцию.

По его словам, это связано с недостатком капитальных инвестиций, низкой загрузкой производств и другими факторами. Большая часть спроса придётся на продукцию для ИИ-серверов, за квартал принёсших Dell $1,7 млрд — рост квартал к кварталу составил более 100 %. Подобному оборудованию нужно много памяти с большой пропускной способностью, ёмкое внутренее и внешнее хранилище.

Источник изображения: Dell

По словам Кларка, компания уже начала пересмотр ценообразования с учётом новых реалий, что помогло Dell улучшить показатели своего серверного бизнеса. Речь как обычном оборудовании, так и о комплектах для ИИ. Объём невыполненных заказов на ИИ-серверы Dell достиг $3,8 млрд, но, по словам Кларка, NVIDIA справляется со спросом, поэтому задержек в поставках ускорителей H200 во II квартале опасаться не стоит. А вот ускорители B200, как и предупреждала NVIDIA, пока в дефиците.

Стартап ZeroPoint Technologies AB, разрабатывающий специализированные аппаратные решения для сжатия данных в высокопроизводительных системах, объявил о проведении раунда финансирования Series A, в ходе которого на развития привлечено €5 млн.

Источник изображений: ZeroPoint

ZeroPoint — это дочерняя компания Технического университета Чалмерса (Chalmers University of Technology) в Гётеборге (Швеция). Стартап запущен с целью коммерциализации исследований в области методов сжатия данных, которые его соучредители Пер Стенстрём (Per Stenström) и Ангелос Арелакис (Angelos Arelakis) проводили в вузе.

Скорость, с которой серверный процессор может извлекать данные из DRAM, напрямую влияет на его производительность, а значит, и на быстродействие всей системы в целом. При этом, как заявляет ZeroPoint, обычно до 70 % хранимых данных являются избыточными. Одним из способов ускорить процесс получения информации является сжатие. Однако исторически применение этого метода было непрактичным, поскольку даже самые продвинутые алгоритмы компрессии относительно медленны, что сводит на нет любую потенциальную выгоду.

ZeroPoint решает проблему с помощью, как утверждается, первого в своём роде подхода с аппаратным ускорением. Технология сочетает в себе сверхбыстрое сжатие данных без потерь и на лету, уплотнение в реальном времени и «прозрачное» управление памятью. Для выполнения этих задач применяется небольшой IP-блок Ziptilion-BW, который может быть интегрирован практически с любым стандартным контроллером памяти и совместим с (LP)DDR4/5 и HBM.

ZeroPoint заявляет, что предложенный подход позволят увеличить эффективную ёмкость памяти в 2–4 раза, а также обеспечивает повышение производительности на Ватт до 50 %. Таким образом, общая стоимость владения серверами в дата-центрах может быть снижена на 25 %. Утверждается, что технология ZeroPoint в 1000 раз быстрее, чем другие существующие методы сжатия. ZeroPoint использует проприетарные методы, которые динамически определяют, какие именно данные можно сжать и каким именно образом. Для дополнительного ускорения извлечения данных в устройство интегрирован собственный кеш.

Раунд финансирования Series A возглавила мюнхенская компания Matterwave Ventures. Средства также предоставили Industrifonden, Climentum Capital и Chalmers Ventures. Деньги будут использованы для дальнейших разработок и коммерциализации технологии. Компания также предлагает «компрессоры» для L2/L3-кеша и CXL/NVMe-устройств, ускоритель для zram/zswap и блок (де-)шифрования.

Компания Everspin Technologies сообщила о том, что её чипы магниторезистивной памяти с произвольным доступом (MRAM) войдут в состав вычислительных накопителей IBM FlashCore Modules (FCM) четвёртого поколения. Это обеспечит дополнительный уровень защиты данных при отключении питания.

Речь идёт о применении изделий Everspin Persyst EMD4E001G ёмкостью 1 Гбит. Эти высокопроизводительные энергонезависимые чипы выполнены по технологии STT-MRAM (запись данных с помощью переноса спинового момента).

Источник изображения: Everspin

Изделия Everspin используют интерфейс DDR4. Заявленная скорость передачи информации в режимах чтения и записи достигает 2,7 Гбайт/с. В случае внезапного сбоя питания критически важные данные могут быть быстро перенесены в память STT-MRAM, что обеспечит их сохранность.

Что касается FCM4, то это проприетарные накопители IBM, выполненные на 176-слойных чипах TLC NAND. Вместимость составляет 4,8, 9,6, 19,2 или 38,4 Тбайт. Реализована технология защиты от вредоносного ПО, работающая на уровне прошивки. Накопители анализируют I/O-операции с помощью ИИ-алгоритмов, оперативно выявляя проникновение программ-вымогателей и других зловредов.

Согласно прогнозам Technavio, показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке MRAM составит 37,39 % до 2026 года. Таким образом,  прирост продаж в денежном выражении с 2021-го по 2026 год достигнет $1,43 млрд.

Компания SK hynix, по сообщению The Register, получила заказы на весь объём памяти HBM, запланированный к выпуску в 2024 году, и на основную часть этих чипов, которые будут произведены в 2025-м. Спрос на изделия HBM быстро растёт на фоне стремительного развития ИИ-рынка.

SK hynix объявила на пресс-конференции в своей штаб-квартире в Ичхоне (Южная Корея) о намерении расширить производство микросхем HBM. Генеральный директор компании Квак Но-чжун (Kwak Noh-jung) заявил, что выпуск изделий данного типа удастся значительно нарастить после завершения строительства новых предприятий в Южной Корее и США.

Источник изображения: SK hynix

SK hynix является основным поставщиком памяти HBM для ускорителей NVIDIA, с поставками которых наблюдаются сложности из-за высокого спроса со стороны облачных провайдеров и операторов дата-центров, ориентированных на ИИ-нагрузки. Квак Но-чжун прогнозирует, что в среднесрочной и долгосрочной перспективе среднегодовой прирост потребности в чипах HBM будет составлять около 60 %. Это связано с увеличением объёмов генерируемых данных и повышением сложности ИИ-моделей.

До конца мая SK hynix планирует предоставить клиентам образцы памяти HBM пятого поколения — 12-слойные изделия HBM3E. Массовый выпуск такой продукции компания наметила на III квартал 2024 года. Недавно SK hynix заявила, что планирует инвестировать более $14,5 млрд в новый корейский завод M15X по производству чипов памяти. Первоначально планировалось, что это предприятие будет выпускать изделия NAND, но затем было решено переориентировать его мощности под выпуск DRAM.

В марте сообщалось, что компания Micron Technology, приступившая в феврале к массовому производству памяти HBM3E, уже получила контракты на весь объём поставок этих изделий до конца 2024 года, а также на большую часть поставок в 2025 году.

Представив чипы памяти типа DDR5 ёмкостью 32 Гбит ещё прошлой осенью, компания Micron Technology только сейчас сертифицировала модули RDIMM объёмом 128 Гбайт на основе этих чипов на совместимость с оборудованием ключевых игроков серверного рынка. Клиенты Micron смогут получить такие модули памяти в июне. Также компания объявила о поставках восьмиярусных стеков памяти HBM3E.

Американский производитель памяти подчёркивает, что и 128-Гбайт модули DDR5-5600 RDIMM, и HBM3E-память Hi-8 наилучшим образом проявят себя в серверной инфраструктуре, ориентированной на обслуживание ИИ-систем. Кого именно из производителей ускорителей вычислений Micron снабжает памятью типа HBM3E, не уточняется, но конкурирующие Samsung и SK hynix уже готовы поставлять клиентам 12-ярусные чипы HBM3E. Впрочем, ещё в феврале Micron сообщил о готовности начать во II квартале поставки чипов HBM3E объёмом 24 Гбайт для ускорителей NVIDIA H200.

Источник изображения: Micron Technology

Серверные модули DDR5 объёмом 128 Гбайт со скоростью 5600 МТ/с на основе монолитных 32-Гбит чипов памяти, по данным Micron, позволяют на 45 % поднять плотность хранения данных в пересчёте на один контакт, на 22 % поднять энергетическую эффективность, и на 16 % снизить задержки при передаче информации по сравнению с немонолитными чипами DDR5.

Micron отметила, что в этом году начнёт поставки модулей со скоростью 4800, 5600 и 6400 MT/с, а в будущем намерена предложить решения со скоростью до 8000 MT/с. AMD и Intel подтвердили совместимость новых модулей Micron со своими современными серверными платформами. Со следующего месяца Micron начнёт продавать новую память через своих торговых партнёров.

В 2024 году нельзя пожаловаться на отсутствие подходящего интерконнекта, если целью является «сшивка» в единую систему сотен, тысяч или даже десятков тысяч ускорителей. Есть NVIDIA NVLink и InfiniBand. Google использует оптические коммутаторы OCS, AMD вскоре выведет Infinity Fabric на межузловой уровень, да и старый добрый Ethernet отнюдь не собирается сдавать позиций и обретает новую жизнь в виде Ultra Ethernet.

Проблема не в наличии и выборе подходящего интерконнекта, а в резкой потере пропускной способности за пределами упаковки чипа (т.н. Memory Wall). Да, память HBM быстра, но намертво привязана к вычислительным ресурсам, а в итоге, как отметил глава Celestial AI в комментарии изданию The Next Platform, индустрия ИИ использует ускорители NVIDIA в качестве самых дорогих в мире контроллеров памяти.

Celestial AI ещё в прошлом году объявила, что ставит своей целью создание универсального «умного» интерконнекта на основе фотоники, который смог бы использоваться во всех нишах, требующих активного обмена большими потоками данных, от межкристалльной (chip-to-chip) до межузловой (node-to-node). Недавно она получила дополнительный пакет инвестиций объёмом $175 млн.

Источник изображений здесь и далее: Celestial AI

Технология, названная Photonic Fabric, если верить заявлениям Celestial AI, способна в 25 раз увеличить пропускную способность и объёмы доступной памяти при на порядок меньшем энергопотреблении в сравнении с существующими системами соединений. Развивается она в трёх направлениях: чиплеты, интерпозеры и оптический аналог технологии Intel EMIB под названием OMIB.

Наиболее простым способом интеграции своей технологии Celestial AI справедливо считает чиплеты. В настоящее время разработанный компанией модуль обеспечивает пропускную способность за пределами чипа на уровне 14,4 Тбит/с (1,8 Тбайт/с), а по размерам он немного уступает стандартной сборке HBM. Но это лишь первое поколение: во втором поколении Photonic Fabric 56-Гбит/с SerDes-блоки SerDes будут заменены на блоки класса 112 Гбит/с (PAM4).

Пресловутая «Стена Памяти»

Поскольку речь идёт о системах с дезагрегацией ресурсов, проблему быстрого доступа к большому объёму памяти Celestial AI предлагает решить следующим образом: новый чиплет, содержащий помимо интерконнекта две сборки HBM общим объёмом 72 Гбайт, получит также поддержку четырёх DDR5 DIMM суммарным объёмом до 2 Тбайт. С использованием 5-нм техпроцесса такой чиплет сможет легко превратить HBM в быстрый сквозной кеш (write through) для DDR5.

Фактически речь идёт об относительно простом и сравнительно доступном способе превратить любой процессор с чиплетной компоновкой в дезагрегированный аналог Intel Xeon Max или NVIDIA Grace Hopper. При этом латентность при удалённом обращении к памяти не превысит 120 нс, а энергозатраты в данном случае составят на порядок меньшую величину, нежели в случае с NVLink — всего 6,2 пДж/бит против 62,5 пДж/бит у NVIDIA.

Новый чиплет Celestial породнит HBM с DDR5 теснее, нежели это сделала NVIDIA

Таким образом, с использованием новых чиплетных контроллеров памяти становятся реальными системы, где все чипы, от CPU до сетевых процессоров и ускорителей, будут объединены единым фотонным интерконнектом и при этом будут иметь общий пул памяти DDR5 большого объёма с эффективным HBM-кешированием. По словам Celestial AI, она уже сотрудничает с некоторыми гиперскейлерами и с одним «крупным производителем процессоров».

По словам руководителя Celestial AI, образцы чиплетов с поддержкой Photonic Fabric появятся во II половине 2025 года, а массовое внедрение начнется уже в 2027 году. Однако это может оказаться гонкой на выживание: Ayar Labs, другой разработчик фотоники, получившая поддержку со стороны Intel, уже показала прототип процессора с интегрированным фотонным интерконнектом.

А Lightmatter ещё в декабре получила финансирование в объёме $155 млн на разработку фотонного интерпозера Passage и якобы уже сотрудничает с клиентами, заинтересованными в создании суперкомпьютера с 300 тыс. узлов. Нельзя сбрасывать со счетов и Eliyan, предлагающую вообще отказаться от технологии интерпозеров и заменить её на контроллеры физического уровня NuLink.