Аналитическая компания Trendforce сообщила прогноз развития рынка DRAM в 2023 году, согласно которому память для серверов обгонит чипы памяти для мобильных устройств по доле в общем выпуске DRAM. По данным Trendforce, во второй половине 2022 года рынок памяти находился в состоянии свободного падения: в III квартале средние цены на DRAM снизились на 31 %, в IV квартале — ещё на 34 %.

В этом году Trendforce даёт консервативный прогноз относительно роста поставок смартфонов и увеличения объёма DRAM в них. Рост среднего установленного объёма памяти DRAM в смартфонах, который начал заметно замедляться ещё в 2022 году, станет более ограниченным, а мобильная DRAM будет виновником сокращения доли всего рынка DRAM, отметили аналитики. Причиной аналитики называют образовавшиеся складские запасы, что повлияло на аппаратные спецификации разрабатываемых смартфонов. TrendForce ожидает, что в ближайшие годы прирост среднего объёма DRAM в смартфонах будет ниже 10 % год к году.

Источник: Trendforce

А вот на серверном рынке ситуация иная. Появление новых приложений, связанных с ИИ и высокопроизводительными вычислениями (HPC), влечёт за собой потребность в большем объёме памяти. Поэтому TrendForce полагает, что серверная память будет составлять наибольшую часть общего объёма производства на рынке DRAM в течение следующих нескольких лет. TrendForce также отметила, что память DRAM для серверов обладает определённой степенью эластичности по цене, которая меняется в соответствии со спросом, а контрактные цены на неё значительно снизились с III квартала 2022 года.

TrendForce прогнозирует, что средний установленный объём DRAM в серверах увеличится в этом году на 12,1 % в годовом исчислении. По оценкам TrendForce, серверная память в этом году займёт около 37,6 % рынка, тогда как мобильная DRAM— около 36,8 %. То есть серверная DRAM обгонит мобильную DRAM.

TrendForce также считает, что к 2025 году SSD корпоративного класса будут представлять самый большой сегмент рынка флеш-памяти NAND. Снижение цен стимулировало спрос на неё со стороны производителей смартфонов и серверов, утверждает компания. В связи с этим рост установленного объёма флеш-памяти NAND на одно устройство должен превысить 20 % как для смартфонов, так и для корпоративных твердотельных накопителей.

В связи с активным развитием всевозможных ускорителей и новых подходов к работе с памятью острее встаёт вопрос стандартизации процедур перемещения крупных объёмов данных между подобными устройствами. Консорциум SNIA предлагает в качестве решения новый стандарт Smart Data Accelerator Interface (SDXI), призванный заменить устоявшиеся методы работы с памятью, равно как и всевозможные проприетарные DMA-движки.

На днях SNIA опубликовала первые «чистовые» спецификации SDXI, имеющие версию 1.0. В них описывается следующий набор возможностей:

• Перемещение данных между разными адресными пространствами, включая пространства нескольких ВМ;
• Перемещение данных после установления соединения без использования специфического ПО;
• Интерфейс и инфраструктуру, которые могут быть абстрагированы для обеспечения лучшей совместимости различных нагрузок, ВМ и серверов;
• Возможность управления состоянием адресных пространств для «живой» миграции рабочих нагрузок и ВМ между серверами;
• Механизм обеспечения прямой и обратной совместимости для будущих ревизий SDXI;
• Поддержку совместной работы ПО и оборудования, разработанных с учётом разных версий SDXI;
• Возможность внедрения новых механизмов ускорения и разгрузки в будущем;
• Модель конкурентного прямого доступа к памяти с поддержкой параллелизма;
• Описание модели устройства с интерфейсом PCIe с возможностью его расширения на другие модели устройств.

Также следует отметить, что SDXI изначально разрабатывается, как технология, не зависящая от конкретных технологий интерконнекта, но изначально во многом подразумевается использование CXL.

SDXI упрощает процедуру перемещения содержимого памяти и поддерживает многоуровневые пулы (Изображения: SNIA)

Поддержка DMA гарантирует высокую производительность механизмов SDXI

Стандарт SDXI находится в разработке с сентября 2020 года. Первая публичная предварительная версия за номером 0.9 была опубликована в июле 2021. В настоящее время в состав рабочей группы SNIA SDXI Technical Work Group входят представители 23 компаний. Со спецификациями SDXI 1.0 можно ознакомиться в соответствующем разделе сайта SNIA.

Крупный контрактный производитель микроэлектроники, компания GlobalFoundries объявила о приобретении у Renesas Electronics технологии энергонезависимой памяти CBRAM. Эта разновидность резистивной памяти характеризуется низким уровнем энергопотребления и устойчивостью к износу, что делает её отличным выбором для мобильных устройств, 5G-инфраструктуры и индустриальной IoT-электроники. В настоящее время технология CBRAM проходит обкатку на технологической платформе GloFo 22FDX, затем компания планирует освоить этот тип памяти и для других техпроцессов.

Исторически CBRAM ведёт свой род от технологии программируемых ячеек PMC, разработанных в начале 2010-х годов компанией Axon. Первые 130-нм варианты CBRAM, показанные Adesto Technologies в 2011 году, продемонстрировали время записи 10 мкс при напряжении 1,6 В и токе всего 60 мкА. Ранее в 2020 году GlobalFoundries уже лицензировала эту технологию у Dialog Semiconductor, но впоследствии последняя была куплена именно Renesas Electronics. В основе данного типа памяти лежит обратимое образование токопроводящих «нитей» в толще специального диэлектрика. Аналогичную резистивную память на основе 22-нм техпроцесса FD-SOI не так давно продемонстрировала Weebit Nano.

Различные типы резистивной памяти. Источник изображений здесь и далее: Renesas Electronics

Архитектура и принцип действия CBRAM

Рынок альтернативных типов энергонезависимой памяти оценивается аналитиками достаточно перспективно — к 2031 году его объём может достигнуть $44 млрд. Со смертью Intel Optane вполне логично, что крупные производители микросхем стремятся заполучить в свои руки соответствующие технологии. В числе достоинств CBRAM, помимо достаточно высоких скоростей и устойчивости к неблагоприятному окружению числится и относительно невысокая стоимость производства, поэтому выбор GlobalFoundries вполне оправдан.

Компания Technavio подготовила отчёт с анализом глобального рынка MRAM — магниторезистивной памяти с произвольным доступом. Аналитики полагают, что до 2026 года отрасль будет демонстрировать устойчивый рост, более трети которого придётся на Азиатско-Тихоокеанский регион (APAC).

Technavio учитывает различные типы MRAM, включая STT MRAM и T MRAM. Рассматриваются такие секторы, как автомобильная, аэрокосмическая и оборонная промышленности, корпоративные системы хранения данных, бытовая электроника и робототехника.

Источник изображения: Technavio

Согласно прогнозам, в период до 2026 года показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке MRAM составит 37,39 %. В результате, прирост в денежном выражении с 2021 по 2026 год достигнет $1,43 млрд. Примерно 37 % от этой суммы придётся на APAC. Автомобильный, аэрокосмический и оборонный сегменты будут составлять значительную долю мировой отрасли в течение рассматриваемого периода.

Одним из главных драйверов рынка называется низкое энергопотребление чипов MRAM, что позволяет применять их, например, в беспроводных датчиках с батарейным питанием. Ещё одно преимущество этого типа памяти — энергонезависимость. Поэтому, как отмечается, интеграция MRAM в смартфоны станет ключевой тенденцией развития отрасли. Однако существуют и сдерживающие факторы. Сравнительно невысокая плотность модулей MRAM снижает темпы внедрения памяти. Её использование затруднено в сегментах ЦОД и облачных платформ.

Компания Astera Labs сообщила о расширении возможностей своей облачной лаборатории Cloud-Scale Interop Lab с целью обеспечения надёжного тестирования функциональной совместимости между платформой Leo Memory Connectivity Platform и экосистемой решений на базе CXL. «CXL зарекомендовала себя как важнейшая технология соединения памяти в системах, ориентированных на данные. Однако многочисленные варианты использования и быстрорастущая экосистема оказываются серьёзной проблемой для масштабного внедрения решений CXL», — отметил глава Astera Labs.

Сообщается, что площадка Cloud-Scale Interop Lab использует комплексный набор стресс-тестов памяти, проверок протокола CXL и измерений электрической надёжности для проверки производительности и совместимости между CPU, контроллерами Leo Smart Memory и различными модулями памяти в реальных сценариях использования. Тестирование охватывает ключевые области — от физического уровня до приложений, включая электрическую составляющую PCIe, память, требования CXL и испытания на уровне всей системы.

Источник изображения: Astera Labs

Добавим, что в августе 2022 года была представлена спецификация CXL 3.0. Поддержку в развитии технологии оказывают Комитет инженеров в области электронных устройств JEDEC, а также некоммерческая организация PCI-SIG (PCI Special Interest Group).

Израильский стартап UnifabriX показал, что разработанный его силами пул Smart Memory Node с поддержкой CXL 3.0 может не только расширять объём доступной системам оперативной памяти, но и повышать эффективность её использования, а также общую производительность серверных платформ. На конференции SC22, прошедшей в конце прошлого года, компания продемонстрировала работу Smart Memory Node в комплексе с несколькими серверами на базе Sapphire Rapids.

UnifabriX Smart Memory Node. Использование E-EDSFF E3 позволяет легко наращивать объём пула (Источник здесь и далее: Blocks & Files)

UnifabriX делает основной упор не на непосредственном увеличении доступного объёма оперативной памяти с помощью CXL, а на том, что эта технология повышает общую пропускную способность подсистемы памяти, что позволяет процессорным ядрам использовать её более эффективно. Как показывает приведённый график, со временем число ядер в современных процессорах активно росло, но доступная каждому ядру ПСП снижалась.

По мере увеличения количества ядер, каждому ядру достаётся всё меньше памяти.

На SC22 компания провела тестирование с помощью HPC-бенчмарка HPCG (High Performance Conjugate Gradient), который оценивает не только «голую» производительность вычислений, но и работу с памятью, что не менее важно в современных нагрузках. Без использования пула Smart Memory Node максимальная производительность была достигнута при загрузке процессорных ядер не более 50 %, то есть вычислительные ресурсы у системы ещё были, но для их использования катастрофически не хватало пропускной способности памяти!

Подключение пулов CXL позволило поднять производительность на 26 %. В реальных сценариях выигрыш может оказаться ещё больше

Компания считает, что в случае с такими процессорами, как AMD EPYC Genoa, использование только локальной DRAM выведет систему «на плато» уже при 20 % загрузке. Подключение же пулов Smart Memory Node позволило, как минимум, на 26 % повысить загрузку процессорных ядер, поскольку предоставило в их распоряжение дополнительную пропускную способность. К локальным 300 Гбайт/с, обеспечиваемым DDR5, добавилось ещё 256 Гбайт/с, «прокачиваемых» через PCIe 5.0/CXL.

Схема тестовой платформы, показанной на SC22

В тестовом сценарии на SC22 были использованы системы на базе Xeon Max. UnifabriX Smart Memory Node имеет в своём составе сопроцессор RPU (Resource Processing Unit), дополненный фирменным ПО. Устройство использует модули EDSFF E3 (такие есть у Samsung и SK hynix), максимальная совокупная ёмкость памяти может достигать 128 Тбайт. UnifabriX умеет отслеживать загрузку каналов памяти каждого процессора из подключённых к нему систем, и в случае обнаружения нехватки ПСП перенаправляет дополнительные ресурсы туда, где они востребованы. Каждое такое устройство оснащено 10 портами CXL/PCIe 5.0.

Smart Memory Node имеет 10 портов CXL, совместимых с PCI Express 5.0/6.0

Таким образом, UnifabriX наглядно указала на основное узкое место современных NUMA-систем и показала, что использование CXL позволяет обойти накладываемые ограничения и использовать многоядерные комплексы более эффективно. Речь идёт как об обеспечении каждого ядра в системе дополнительной ПСП, так и о повышении эффективности подсистем хранения данных, ведь один пул Smart Memory Node может содержать 128 Тбайт данных.

С закатом 3D XPoint и потерей интереса Intel и Micron к данному проекту, на передний план выходят другие технологии энергонезависимой памяти, лишённые недостатков классической NAND. Среди них — резистивная память с произвольным доступом (ReRAM), способная посоперничать в быстродействии с обычной DRAM.

Компания Weebit Nano объявила об успешном выпуске (tape out) первых чипов с интегрированной памятью ReRAM, выполненных с использованием 22-нм техпроцесса FD-SOI. Данная разработка является плодом сотрудничества компании с французским институтом CEA-Leti.

Структура ячейки ReRAM. Виден несколько хаотичный характер токопроводящей нити. Источник здесь и далее: Weebit Nano

Это достаточно серьёзный прорыв, поскольку интегрированная флеш-память плохо масштабируется для техпроцессов тоньше 28 нм. Первый модуль Weebit Nano содержит массив ReRAM объёмом 8 Мбит, управляющую логику, декодеры, I/O-блок и систему коррекции ошибок (ECC). За управление отвечает микроконтроллер с архитектурой RISC-V. Чип являет собой законченный демонстратор технологии, содержащий всё необходимое для всестороннего её тестирования и оценки.

В запатентованной схемотехнике используются гибридные аналого-цифровые цепи и алгоритмы, улучшающие параметры массива ReRAM. Поскольку в основе самих ячеек такой памяти лежит резистивный эффект, ReRAM нечувствительна к электромагнитным полям и радиации, а также хорошо переносит повышенные температуры и радиационное излучение. За подробностями можно обратиться к самой Weebit Nano.

Блок-схема демонстрационного модуля ReRAM, выпущенного компанией Weebit Nano

На фоне гигабитных чипов «традиционной» памяти ёмкость ReRAM в тестовом варианте не выглядит впечатляющей, но, во-первых, это пока демонстрационное решение, а, во-вторых, речь идет о памяти с параметрами, делающими её привлекательной для использования в экономичных встраиваемых системах, работающих в суровой внешней среде — IoT-решениях, в том числе, промышленных, контроллерах сетей 5G или автономном транспорте.

Сам факт выпуска таких чипов позволяет говорить о том, что разработчикам удалось решить проблемы с хаотичным образованием токопроводящих нитей в структуре ReRAM, создав структуры с нужными параметрами, поддерживаемыми более совершенными алгоритмами коррекции ошибок. Впрочем, под вопросом остаётся дальнейшее масштабирование технологии, а также то, что Weebit Nano пока ни словом не обмолвилась о массовом производстве.

Производители серверного оборудования и разработчики специализированного программного обеспечения один за другим объявляют о поддержке новых процессоров Xeon Sapphire Rapids. Компания MemVerge, известная своей технологией виртуализации массивов памяти Memory Machine, заявила, что её разработка станет первой в своём роде программной платформой для разработки CXL-решений, поддерживающей новые Xeon.

Эти процессоры обладают рядом интересных возможностей, делающих их привлекательными в качестве новой серверной платформы. В частности, это поддержка DDR5, PCI Express 5.0, а также наличие специфических ускорителей, в частности, Data Streaming Accelerator (DSA), ускоряющего процессы перемещения данных между ядрами, кешами, подсистемами хранения данных и сетью.

Архитектура платформы MemVerge Memory Machine. Источник: MemVerge

С учётом поддержки CXL выбор MemVerge понятен: компания одной из первых поддержала инициативу, разработав унифицированное средство для виртуализации крупных массивов RAM, включая гибридные. Memory Machine позволяет создавать единое когерентное пространство памяти, включающее в себя как локальные ресурсы каждого процессора, так и CXL-экспандеры.

Напомним, что программно-определяемая платформа MemVerge работает полностью прозрачно для пользовательского ПО, вне зависимости от того, использует ли массив памяти из DRAM или же является гибридным и включает в себя CXL-модули. При этом наиболее востребованные данные автоматически размещаются в самом производительном сегменте пула Memory Machine.

Также компания объявила о поддержке новых процессоров инструментарием Memory Viewer, помогающего определять наилучшее сочетание цены и производительности при расширении памяти посредством CXL-памяти. Компания не без оснований полагает, что сочетание её технологий и платформы Sapphire Rapids идеально для сценариев HPC, в частности, в генетических исследованиях при секвенировании геномов.

Наращивание объёмов памяти в современных серверных системах может вылиться в серьёзные затраты —  от модулей ёмкостью 32 Гбайт приходится переходить сразу к 64-Гбайт модулям или 128-Гбайт. Модулей с промежуточной ёмкостью не существует, вернее, не существовало до недавних пор. Новые чипы DDR5 должны помочь в создании модулей с меньшим шагом: 24, 48, 96 Гбайт или т.д. Это так называемая «небинарная» память.

В отличие от обычных DIMM, в основе которых лежат микросхемы DRAM ёмкостью 16 Гбит, в новых модулях DDR5 применяются чипы ёмкостью 24 Гбит. Использование таких чипов позволяет получить и 768 Гбайт на модуль DIMM. К настоящему времени все крупные производители памяти, включая Samsung, SK-Hynix и Micron уже анонсировали «небинарные» чипы DDR5 ёмкостью 24 Гбит, сообщает The Register.

Источник: SK hynix

У современных серверов стоимость памяти может достигать 14 % от стоимости всего сервера, а в облачных средах даже приближается к 50 %. Но если, например, реальная потребность в памяти составляет 3 Гбайт на поток, то системе с 96-ядерным процессором AMD EPYC 9004 нужно 576 Гбайт памяти. Использование 32-Гбайт модулей в 12 имеющихся каналов даст только 384 Гбайт RAM (недостача 192 Гбайт), а 64-Гбайт — сразу 768 Гбайт (избыток 192 Гбайт). При этом за «ненужные» гигабайты всё равно придётся заплатить. Сокращение числа активных каналов с 12 до 10 может оказаться неприемлемым, как, впрочем, и использование 2DPC (в случае Genoa этого режима пока всё равно нет).

А вот модули ёмкостью 48 Гбайт для такой системы окажутся идеальными: не придётся переплачивать за лишнюю память или терять в производительности при сокращении числа активных каналов. Существуют и другие методы решения этой проблемы — например, использование CXL (впрочем, SK hynix уже предлагает 96-Гбайт CXL-модули как раз на базе 24-Гбит чипов DDR5) или процессоров с интегрированной высокоскоростной памятью. Однако ничто не мешает сочетать эти технологии, добиваясь, таким образом, ещё большей гибкости.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.