Компания Innodisk анонсировала модули памяти DDR5-6400 ёмкостью 64 Гбайт, предназначенные для задач с интенсивным использованием данных. Это могут быть приложения ИИ (в том числе генеративного), платформы смешанной реальности, большие языковые модели (LLM), автономные транспортные средства, телемедицинские системы и пр.

Изделия доступны в различных вариантах исполнения — CUDIMM, CSODIMM, ECC CUDIMM, ECC CSODIMM и RDIMM. Помимо версии на 64 Гбайт, серия включает варианты объёмом 8, 16, 32, 24 и 48 Гбайт.

Источник изображения: Innodisk

Модули функционируют при напряжении питания 1,1 В. Диапазон рабочих температур простирается от 0 до +95 °C. Реализована технология TVS (Transient Voltage Suppressor), которая обеспечивает защиту от перепадов напряжения. Контакты модулей имеют покрытие золотом толщиной 30 мкм, благодаря чему улучшается проводимость и обеспечивается защита от окисления: это увеличивает срок службы.

По заявлениям Innodisk, модули памяти DDR5-6400 полностью совместимы с новейшими процессорами AMD и Intel. Среди ключевых сфер применения изделий названы индустриальные и встраиваемые устройства, серверное оборудование, системы видеонаблюдения, платформы промышленной автоматизации и пр. В частности, память может поддерживать работу ресурсоёмких приложений ИИ на периферии. Применительно к телемедицине 3D-визуализация с высоким разрешением и анализ данных в режиме реального времени позволят удалённо проводить пациентам хирургические операции с высокой точностью, говорит компания.

Компания TeamGroup анонсировала модули оперативной памяти DDR5 стандарта CAMM2 (Compression Attached Memory Module 2), предназначенные для использования в промышленной и корпоративной сферах. Изделия подходят для edge-систем, приложений ИИ, платформ управления производственным процессом и пр.

Отмечается, что модули CAMM2 обладают рядом преимуществ по сравнению с SO-DIMM, U-DIMM и R-DIMM. В частности, решения CAMM2 поддерживает двухканальный режим работы с одним модулем, что упрощает архитектуру системы и значительно снижает энергопотребление.

Источник изображения: TeamGroup

Модули CAMM2 используют горизонтальное расположение, то есть монтируются параллельно материнской плате. Благодаря этому повышается эффективность рассеяния тепла. Для установки применяются резьбовые стойки. Утверждается, что память CAMM2 превосходит предыдущие стандарты по возможностям разгона, скорости чтения и задержкам.

Полностью характеристики анонсированных изделий компания TeamGroup пока не раскрывает. Известно, что они функционируют на частоте 6400 МГц. Массовые поставки планируется организовать в I квартале 2025 года.

Нужно отметить, что Комитет стандартизации полупроводниковой продукции (JEDEC) утвердил стандарт CAMM2 в декабре 2023 года. Ширина модулей данного типа составляет 78 мм. На момент анонса спецификации говорилось о поддержке ёмкостей до 128 Гбайт. Предусмотрена возможность использования памяти DDR5 для настольных компьютеров и рабочих станций, а также LPDDR5X для тонких и лёгких ноутбуков. При необходимости модули могут оснащаться радиатором охлаждения.

Компания ADATA Technology анонсировала под брендом XPG свои первые разогнанные модули оперативной памяти DDR5 RDIMM: изделия серии AICORE предназначены для рабочих станций, ориентированных на 3D-рендеринг, приложения ИИ и другие ресурсоёмкие задачи.

Регистровая память AICORE будет предлагаться в версиях DDR5-6400/7200/8000. Ёмкость модулей составляет 16 Гбайт. Изделия совместимы с процессорами AMD Ryzen Threadripper 7000 и Ryzen Threadripper Pro 7000WX, а также с чипами Intel Xeon Emerald Rapids и Xeon Sapphire Rapids. Говорится о поддержке профилей AMD Expo и Intel XMP 3.0. Реализованы две технологии коррекции ошибок — On-die ECC и Side-band ECC, что, по заявлениям разработчика, гарантирует точную и надёжную передачу данных.

Источник изображения: XPG

Контакты модулей имеют покрытие золотом толщиной 30 мкм, благодаря чему улучшается проводимость, обеспечивается защита от окисления и увеличивается долговечность. Применены графеновые радиаторы, которые эффективно отводят тепло, позволяя памяти стабильно работать при длительных высоких нагрузках. Упомянут датчик мониторинга температуры в режиме реального времени.

«Разогнанная память AICORE RDIMM спроектирована для высокой скорости и стабильности, идеально подходя для обработки больших объёмов данных, искусственного интеллекта, 3D-рендеринга и графики, видеомонтажа и многозадачности», — заявляет XPG. Изделия будут предлагаться по отдельности, а также в комплектах из двух штук суммарным объёмом 32 Гбайт. Такие наборы появятся в продаже в I квартале 2025 года.

Компания TeamGroup анонсировала, как утверждается, первые в отрасли модули оперативной памяти промышленного класса DDR5-6400 стандартов CU-DIMM (Clocked Unbuffered DIMM) и CSO-DIMM (Clocked Small Outline DIMM). Эти изделия, обладающие повышенной надёжностью, ориентированы на требовательные приложения, в том числе связанные с ИИ.

Team Group использует технологию, которая даёт возможность регулировать частоту и напряжение в зависимости от нагрузки на систему и условий эксплуатации. Благодаря этому достигаются оптимальные показатели производительности и энергопотребления. Напряжение питания модулей составляет 1,1 В. Реализована поддержка ECC (Error Correction Code).

Источник изображения: TeamGroup

Полностью технические характеристики модулей DDR5-6400 CU-DIMM/CSO-DIMM компания TeamGroup пока не раскрывает. Но отмечается, что они изготавливаются с применением высококачественных чипов DRAM производства SK Hynix. При производстве продуктов применяется уникальная запатентованная технология тестирования и оценки (американский патент №11488679 B1; тайваньский патент №I751093). Модули обоих типов будут предлагаться в нескольких вариантах ёмкости, включая 16 Гбайт.

Компания Rambus объявила о выпуске наборов электронных SMD-компонентов, необходимых для производства модулей ОЗУ RDIMM и MRDIMM нового поколения для серверов. Наборы включают тактовые генераторы, драйверы для управления питанием и некоторые другие компоненты.

В представленный Rambus набор вошли следующие базовый компоненты:

• первый в отрасли регистровый чип пятого поколения (Registering Clock Driver, RCD), позволяющий модулям RDIMM работать со скоростью 8000 МТ/с;
• мультиплексированный регистровый чип (MRCD) и мультиплексированный буфер данных (MDB), позволяющие будущим модулям MRDIMM работать со скоростью до 12 800 MT/с;
• чип управления питанием второго поколения (PMIC5030), разработанный для модулей DDR5 RDIMM-8000 и MRDIMM-12800, поддерживающий сверхвысокие токи при низком напряжении для реализации более высоких скоростей памяти и большего количества DRAM и логических микросхем на модуль;
• чип Serial Presence Detect Hub (SPD) и температурный сенсор (TS).

Источник изображения: Rambus

Компания поясняет, что DDR5 MRDIMM-12800 использует новую конструкцию модуля, которая повышает скорость передачи данных и производительность системы за счёт мультиплексирования двух рангов, эффективно чередуя два потока данных. Это позволяет шине памяти хоста удвоить скорость передачи данных в сравнении с традиционными модулями при использовании тех же физических соединений DDR5 RDIMM.

Для этого требуется чип MRCD, который может адресовать два ранга DRAM в чередующихся тактовых циклах, а также чипы MDB для управления потоками данных к микросхемам DRAM и от них. Для каждого модуля DDR5 MRDIMM-12800 требуется один MRCD и десять чипов MDB. MRCD и MDB также будут поддерживать формфактор Tall MRDIMM с четырьмя рангами.

Компания Micron Technology объявила о старте рассылки образцов модулей памяти DDR5 MRDIMM (Multiplexed Rank Dual Inline Memory Module), специально разработанной для приложений ИИ и HPC. По сравнению с обычными RDIMM у модулей MRDIMM до 39 % выше пропускная способность памяти, на 15 % выше эффективность работы шины и до 40 % ниже задержка. MRDIMM-модули будут иметь ёмкость 32, 64, 96, 128 и 256 Гбайт.

Модули памяти обеспечивают скорость передачи данных 8800 МТ/с и выпускаются в двух форматах: стандартной и увеличенной (TFF, Tall Form Factor) высоты, которые подходят для серверов высотой 1U и 2U. Благодаря улучшенной конструкции модулей TFF температура DRAM снижается до 20 °С при той же мощности и потоке воздуха, обеспечивая более эффективное охлаждение в ЦОД и оптимизируя общее энергопотребление системы для рабочих нагрузок с интенсивным использованием памяти.

Источник изображения: Micron Technology

Сообщается, что новое предложение представляет собой первое поколение семейства Micron MRDIMM и будет совместимо только с процессорами Intel Xeon 6, поскольку стандарт JEDEC для памяти MRDIMM официально ещё не выпущен. Массовые поставки Micron MRDIMM начнутся во II половине 2024 года. Компания сообщила, что последующие поколения MRDIMM будут по-прежнему обеспечивать до 45 % лучшую пропускную способность памяти на канал по сравнению с RDIMM аналогичного поколения.

Ранее образцы MRDIMM (или MR-DIMM) показала ADATA. А SK hynix совместно с Intel и Renesas ещё в конце 2022 года объявила о создании похожего типа памяти — DDR5 MCR (Multiplexer Combined Ranks) DIMM. Весной этого года Micron также показала образцы DDR5-8800 MCR DIMM.

Представив чипы памяти типа DDR5 ёмкостью 32 Гбит ещё прошлой осенью, компания Micron Technology только сейчас сертифицировала модули RDIMM объёмом 128 Гбайт на основе этих чипов на совместимость с оборудованием ключевых игроков серверного рынка. Клиенты Micron смогут получить такие модули памяти в июне. Также компания объявила о поставках восьмиярусных стеков памяти HBM3E.

Американский производитель памяти подчёркивает, что и 128-Гбайт модули DDR5-5600 RDIMM, и HBM3E-память Hi-8 наилучшим образом проявят себя в серверной инфраструктуре, ориентированной на обслуживание ИИ-систем. Кого именно из производителей ускорителей вычислений Micron снабжает памятью типа HBM3E, не уточняется, но конкурирующие Samsung и SK hynix уже готовы поставлять клиентам 12-ярусные чипы HBM3E. Впрочем, ещё в феврале Micron сообщил о готовности начать во II квартале поставки чипов HBM3E объёмом 24 Гбайт для ускорителей NVIDIA H200.

Источник изображения: Micron Technology

Серверные модули DDR5 объёмом 128 Гбайт со скоростью 5600 МТ/с на основе монолитных 32-Гбит чипов памяти, по данным Micron, позволяют на 45 % поднять плотность хранения данных в пересчёте на один контакт, на 22 % поднять энергетическую эффективность, и на 16 % снизить задержки при передаче информации по сравнению с немонолитными чипами DDR5.

Micron отметила, что в этом году начнёт поставки модулей со скоростью 4800, 5600 и 6400 MT/с, а в будущем намерена предложить решения со скоростью до 8000 MT/с. AMD и Intel подтвердили совместимость новых модулей Micron со своими современными серверными платформами. Со следующего месяца Micron начнёт продавать новую память через своих торговых партнёров.

В 2024 году нельзя пожаловаться на отсутствие подходящего интерконнекта, если целью является «сшивка» в единую систему сотен, тысяч или даже десятков тысяч ускорителей. Есть NVIDIA NVLink и InfiniBand. Google использует оптические коммутаторы OCS, AMD вскоре выведет Infinity Fabric на межузловой уровень, да и старый добрый Ethernet отнюдь не собирается сдавать позиций и обретает новую жизнь в виде Ultra Ethernet.

Проблема не в наличии и выборе подходящего интерконнекта, а в резкой потере пропускной способности за пределами упаковки чипа (т.н. Memory Wall). Да, память HBM быстра, но намертво привязана к вычислительным ресурсам, а в итоге, как отметил глава Celestial AI в комментарии изданию The Next Platform, индустрия ИИ использует ускорители NVIDIA в качестве самых дорогих в мире контроллеров памяти.

Celestial AI ещё в прошлом году объявила, что ставит своей целью создание универсального «умного» интерконнекта на основе фотоники, который смог бы использоваться во всех нишах, требующих активного обмена большими потоками данных, от межкристалльной (chip-to-chip) до межузловой (node-to-node). Недавно она получила дополнительный пакет инвестиций объёмом $175 млн.

Источник изображений здесь и далее: Celestial AI

Технология, названная Photonic Fabric, если верить заявлениям Celestial AI, способна в 25 раз увеличить пропускную способность и объёмы доступной памяти при на порядок меньшем энергопотреблении в сравнении с существующими системами соединений. Развивается она в трёх направлениях: чиплеты, интерпозеры и оптический аналог технологии Intel EMIB под названием OMIB.

Наиболее простым способом интеграции своей технологии Celestial AI справедливо считает чиплеты. В настоящее время разработанный компанией модуль обеспечивает пропускную способность за пределами чипа на уровне 14,4 Тбит/с (1,8 Тбайт/с), а по размерам он немного уступает стандартной сборке HBM. Но это лишь первое поколение: во втором поколении Photonic Fabric 56-Гбит/с SerDes-блоки SerDes будут заменены на блоки класса 112 Гбит/с (PAM4).

Пресловутая «Стена Памяти»

Поскольку речь идёт о системах с дезагрегацией ресурсов, проблему быстрого доступа к большому объёму памяти Celestial AI предлагает решить следующим образом: новый чиплет, содержащий помимо интерконнекта две сборки HBM общим объёмом 72 Гбайт, получит также поддержку четырёх DDR5 DIMM суммарным объёмом до 2 Тбайт. С использованием 5-нм техпроцесса такой чиплет сможет легко превратить HBM в быстрый сквозной кеш (write through) для DDR5.

Фактически речь идёт об относительно простом и сравнительно доступном способе превратить любой процессор с чиплетной компоновкой в дезагрегированный аналог Intel Xeon Max или NVIDIA Grace Hopper. При этом латентность при удалённом обращении к памяти не превысит 120 нс, а энергозатраты в данном случае составят на порядок меньшую величину, нежели в случае с NVLink — всего 6,2 пДж/бит против 62,5 пДж/бит у NVIDIA.

Новый чиплет Celestial породнит HBM с DDR5 теснее, нежели это сделала NVIDIA

Таким образом, с использованием новых чиплетных контроллеров памяти становятся реальными системы, где все чипы, от CPU до сетевых процессоров и ускорителей, будут объединены единым фотонным интерконнектом и при этом будут иметь общий пул памяти DDR5 большого объёма с эффективным HBM-кешированием. По словам Celestial AI, она уже сотрудничает с некоторыми гиперскейлерами и с одним «крупным производителем процессоров».

По словам руководителя Celestial AI, образцы чиплетов с поддержкой Photonic Fabric появятся во II половине 2025 года, а массовое внедрение начнется уже в 2027 году. Однако это может оказаться гонкой на выживание: Ayar Labs, другой разработчик фотоники, получившая поддержку со стороны Intel, уже показала прототип процессора с интегрированным фотонным интерконнектом.

А Lightmatter ещё в декабре получила финансирование в объёме $155 млн на разработку фотонного интерпозера Passage и якобы уже сотрудничает с клиентами, заинтересованными в создании суперкомпьютера с 300 тыс. узлов. Нельзя сбрасывать со счетов и Eliyan, предлагающую вообще отказаться от технологии интерпозеров и заменить её на контроллеры физического уровня NuLink.

Компания Micron, по сообщению ресурса Tom's Hardware, продемонстрировала на конференции NVIDIA GTC 2024 модули оперативной памяти MCR DIMM ёмкостью 256 Гбайт для серверов следующего поколения, в том числе для систем, построенных на процессорах Intel Xeon Granite Rapids. Модули имеют увеличенную высоту, но Micron также намерена выпустить варианты стандартной высоты для серверов типоразмера 1U.

Изделия соответствуют стандарту DDR5-8800. С каждой стороны модуля расположены по 40 чипов памяти. Заявленное энергопотребление изделия составляет 20 Вт, тогда как у RDIMM объёмом 128 Гбайт при использовании профиля DDR5-4800 оно равно 10 Вт. Новые изделия Micron позволяют оснащать серверы 3 Тбайт памяти при наличии 12 слотов ОЗУ и 6 Тбайт при наличии 24 слотов.

Источник изображения: Micron

MCR DIMM использует специальный буфер между DRAM и CPU, который позволяет двум физическим рангам функционировать так, как если бы они были двумя отдельными модулями памяти, работающими параллельно. Это позволяет извлекать из памяти вдвое больше данных за каждый такт, а также увеличить скорость обмена информацией с CPU. Таким образом, можно одновременно поднять и ёмкость, и производительность памяти.

SK hynix также поддерживает MCR DIMM, а вот AMD и JEDEC готовят альтернативный стандарт MRDIMM, который тоже поддерживает создание высокоёмких модулей DDR5-8800. Впрочем, концептуально оба решения восходят к OMI/DDIMM от IBM и даже FB-DIMM.

Компания Apacer, сообщила о доступности, как утверждается, первых в мире модулей оперативной памяти стандарта DDR5, компоненты которых полностью не содержат свинца. Изделия превосходят требования действующей директивы защиты окружающей среды RoHS, принятой Европейским союзом.

Отмечается, что обычные модули ОЗУ, представленные на рынке, содержат свинец в своих резисторных элементах. Вместе с тем во всём миру принимаются всё более жёсткие экологические нормы, требующие в том числе отказа от применения этого тяжёлого металла.

Источник изображения: Apacer

Чтобы решить указанную проблему, компания Apacer после длительного периода исследований и разработок успешно создала полностью бессвинцовые модули памяти с резисторными компонентами нового типа. Эти решения в полной мере соответствуют стандартам RoHS без потери производительности.

В семействе представлены модули (ECC) UDIMM, (ECC) SO-DIMM и RDIMM стандарта DDR5-4800/5600. Напряжение питания во всех случаях равно 1,1 В; диапазон рабочих температур простирается от 0 до +85 °C. Изделия UDIMM и SO-DIMM доступны в вариантах ёмкостью 8, 16 и 32 Гбайт, а ECC UDIMM и ECC SO-DIMM — 16 и 32 Гбайт. В случае RDIMM объём варьируется от 16 до 128 Гбайт. В качестве сфер применения модулей названы оборона, автоматизация производства, здравоохранение, Интернет вещей, серверы, сетевое оборудование и пр.