Компания Future Market Insights обнародовала прогноз по развитию глобального рынка HDD до 2033 года. Аналитики полагают, что отрасль будет демонстрировать стабильный рост, несмотря на увеличение продаж и удешевление SSD.

По оценкам, в 2022 году объём мировой отрасли HDD достиг $36,5 млрд. В дальнейшем ожидается показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 12%. В результате, к 2033-му продажи HDD в денежном выражении поднимутся примерно до $127 млрд, то есть, увеличатся в 3,5 раза по сравнению с 2022 годом.

Источник изображения: pixabay.com

Отмечается, что HDD остаются предпочтительным вариантом для долгосрочного резервного копирования и архивирования данных большого объёма. Развитию рынка также способствует появление новых сервисов, в том числе на основе генеративного ИИ, и совершенствование технологий производства накопителей, вместимость которых продолжает увеличиваться.

На HDD для сетевых хранилищ данных (NAS) в настоящее время приходится более 40 % в общем объёме продаж. Такие устройства продолжат лидировать в поставках в течение рассматриваемого периода. При этом на накопители вместимостью 1 Тбайт и выше придётся приблизительно 75 % отгрузок. HDD с интерфейсом USB, на долю которых сейчас приходится более трети в общем объёме продаж, в ближайшем будущем продолжат пользоваться устойчивым спросом.

Среди ключевых игроков отрасли аналитики Future Market Insights называют компании Western Digital Corporation, Seagate Technology, Toshiba, Transcend, Adata Technology, НРЕ и Buffalo.

Производители классических жёстких дисков продолжают осваивать планку в 22 Тбайт. Вслед за Seagate и Western Digital свой вариант HDD такого объёма представила компания Toshiba.

Новый модельный ряд MG10F расширяет рамки, достигнутые в серии 3,5″ дисков Toshiba MG10, ранее заканчивающейся на отметке 20 Тбайт.

Источник изображений здесь и далее: Toshiba

Накопители Toshiba MG10F относятся к классу корпоративных жёстких дисков второй очереди (nearline). Они могут содержать от 1 до 10 пластин, вращающихся со скоростью 7200 об/мин. Предусмотрены как варианты с интерфейсом SAS 12 Гбит/с с объёмами от 2 до 22 Тбайт, так и варианты с классическим SATA 6 Гбит/с, стартующими с отметки 1 Тбайт.

При этом единства в технологиях записи в новом модельном ряду Toshiba нет: до отметки 10 Тбайт используется традиционная перпендикулярная запись (PMR) и воздушный гермоблок, в диапазоне 12–16 Тбайт производитель переходит на гелиевый гермоблок и пластины с таким же типом записи, а в моделях ёмкостью 18, 20 и 22 Тбайт реализован вариант записи с микроволновой поддержкой (Flux Control Microwave Assisted Magnetic Recording, FC-MAMR). Все диски рассчитаны на работу в режиме 24/7 с нагрузкой до 550 Тбайт в год.

Объём кеш-памяти также варьируется в зависимости от ёмкости диска: до 2 Тбайт он составляет 128 Мбайт, до 14 Тбайт — 256 Мбайт, и лишь модели объёмом от 16 до 22 Тбайт комплектуются 512 Мбайт DRAM-кеша. Максимальная линейная скорость в версиях 1 и 2 Тбайт достигает 204 Мбайт/с, в наиболее ёмком варианте она возрастает до 284 Мбайт/с. Это уровень Seagate IronWolf Pro той же ёмкости (285 Мбайт/с), но меньше, нежели у WD Gold (291 Мбайт/с).

Использование черепичной записи (SMR) могло бы повысить максимальную ёмкость дисков на 15 %, но в новом модельном ряду Toshiba такую запись не применяет, в отличие от Western Digital, располагающей дисками ёмкостью 26 Тбайт с SMR. Ранее похожая модель в планах компании Toshiba значилась, но выпущена не была.

Поставки дисков Toshiba MG10F в версии с интерфейсом SAS уже стартовали, поставки SATA-варианта начнутся позднее в IV квартале. Доступны опции шифрования (Self-Encrypting Drive) и безопасного стирания (Sanitize Instant Erase). Сведений о ценах на новинки пока нет.

Компания Seagate анонсировала систему Exos Corvault 5U84 в форм-факторе 5U, рассчитанную на создание хранилищ данных большой вместимости. Ёмкость может достигать 1,5 Пбайт, но возможность расширения не предусмотрена.

Задействованы фирменные контроллеры VelosCT, функционирующие в режиме активный — активный. Допускается установка дисков Exos SAS HDD с автоматическим шифрованием данных.

Источник изображения: Seagate

Для каждого контроллера предусмотрено использование четырёх портов mini-SAS-3 HD. Заявленная пропускная способность системы достигает 12 Гбайт/с при последовательном чтении и 10 Гбайт/с при последовательной записи. За повышение надёжности отвечает функция Autonomous Drive Regeneration (ADR). Эта технология минимизирует время простоя, вмешательство со стороны человека и количество компьютерных отходов за счёт восстановления сбойных накопителей.

«Обеспечивается доступность на уровне 99,999 % и стабильно высокая производительность благодаря быстрому чтению и записи, мощным сдвоенным контроллерам и оптимальной конструкции», — отмечает Seagate.

СХД имеет габариты 222,3 × 444,5 × 981 мм и весит 135 кг. Доступен интерфейс 1GbE. Диапазон рабочих температур простирается от +5 до +35 °C. Максимальное заявленное энергопотребление равно 2000 Вт.

Компания TrendFocus, по сообщению ресурса StorageNewsletter, обнародовала статистику по глобальному рынку HDD во II квартале 2023 года. Поставки Nearline-накопителей резко сократились, что объясняется замедлением развития облачных платформ и сокращением инвестиций в развитие IT-инфраструктур на фоне сложной макроэкономической обстановки.

По оценкам, отгрузки Nearline-устройств за трёхмесячный период снизились в штучном выражении на 21 % по сравнению с результатом за I четверть текущего года. С апреля по июнь включительно в мировом масштабе было реализовано приблизительно 9,07 млн таких HDD.

Источник изображения: pixabay.com

Если рассматривать отрасль в плане вместимости поставленных накопителей, то продажи в квартальном исчислении рухнули примерно на 30 %. Итоговый показатель зафиксирован на отметке 125,5 Эбайт.

Из-за снижения спроса со стороны гиперскейлеров отгрузки HDD вместимостью 18 Тбайт и более во II квартале 2023-го снизились практически вдвое по сравнению с I четвертью года — на 46 %, составив 3,88 млн единиц. На такие устройства пришлось 43 % в общем объёме поставок Nearline-накопителей.

По итогам 2023 года в целом, как прогнозируется, поставки Nearline-устройств уменьшатся примерно на треть по сравнению с предыдущим годом: в ёмкостном выражении результат составит менее 600 Эбайт. При этом показатель CAGR (среднегодовой темп роста в сложных процентах) в течение пяти лет прогнозируется на уровне 22 %.

Исследователи Futurum рассказали о некоторых аспектах экологической безопасности классических жёстких дисков в сравнении с SSD. Как сообщает Blocks & Files, выяснилось, что больше всего углекислого газа выделяется отнюдь не в ходе эксплуатации накопителей, а в ходе их производства, причём SSD оказались в этом отношении намного вреднее для окружающей среды.

В Futurum подготовили публикацию «Are SSDs really more sustainable than HDDs?» со ссылками на исследование «The Dirty Secret of SSDs: Embodied Carbon», о котором мы писали ещё в прошлом году. В нём, напомним, утверждается, что при выпуске флеш-памяти выделяется почти на порядок больше CO₂, чем при производстве HDD, причём соответствующие фабрики используют довольно мало возобновляемой энергии.

Источник изображения: manseok_Kim/pixabay.com

Данные о выделении CO₂ при изготовлении и эксплуатации рассчитаны для периодов в 5 и 10 лет. При этом жизненный цикл определён как 5 лет, т.е. подразумевается, что за 10 лет накопитель минимум единожды будет заменён. В итоге утверждается, что SSD в целом намного вреднее для экологии, чем HDD, хотя и потребляют гораздо меньше энергии. Фактически речь идёт о том, что рассказы об экоустойчивости SSD — лишь маркетинговый миф производителей соответствующих систем, особенно All-Flash хранилищ. Некоторые из них даже прочат скорую смерть HDD.

Источник изображения: The Futurum Group

Однако в Futurum считают, что исследователи не учли важного нюанса — на деле HDD обновляют каждые 4–5 лет, тогда как жизненный цикл SSD сейчас доходит и до 10 лет. Скорректированные расчёты показывают, что реальная разница между выбросами CO₂ на протяжении 10 лет между HDD и SSD минимальна, хотя последние чуть менее экологичны. При этом эксперты отмечают, что ёмкость SSD быстро растёт. Так что в перспективе это позволит снизить ущерб для окружающей среды, поскольку появляется возможность значительно повысить плотность размещения данных, не раздувая соответствующую инфраструктуру.

На накопители приходится значительная доля углеродных выбросов и энергозатрат IT-индустрии. Как сообщает портал IEEE Spectrum, эксперты уверены — в обозримом будущем обеспечить экологическую безопасность и экономическую эффективность хранения можно с помощью технологии хранения информации на магнитных лентах.

По данным экспертов, в 2019 году 60 % всех данных были «холодными», т.е. редко востребованными, но всё ещё очень важными. Полный переход на ленточные накопители (LTO) для таких данных позволит снизить не только выбросы CO₂, но и улучшить экономические показатели. По некоторым оценкам, при переходе на LTO мировые выбросы углекислого газа, связанные с накопителями, снизятся на 58 % или на 79 млн т.

Источник изображения: Brad Johns Consulting

Потребность в накопителях только растёт, и уже в 2025 году, по данным IDC, придётся хранить 17 Збайт данных. Как выяснили IDC совместно с Seagate, в 2021 году 62 % данных хранились на HDD, 9 % на SSD и 15 % — на LTO. Хотя HDD объективно удобнее и значительно быстрее LTO, средний срок эксплуатации жёстких дисков составляет всего 5 лет, в течение которых генерируется эквивалент 2,55 кг CO₂ на 1 Тбайт ежегодно. Для ленточных хранилищ этот показатель составляет всего 0,07 кг/год.

При переходе на LTO снизятся и объёмы электронных отходов. Если HDD в среднем работают 5 лет, то ленточные накопители — 10; поэтому их придётся менять вдвое реже. Например, если ЦОД хранит 100 Пбайт данных в течение 10 лет, то использование HDD приведёт к появлению 7,4 т электронных отходов. Если 60 % информации перенести на ленты, отходов станет меньше на 51 % — 3,6 т. Таким образом, по ряду параметров ленточные накопители будут предпочтительнее HDD ещё минимум десятилетие.

Источник изображения: Brad Johns Consulting

Финансовая выгода такого подхода тоже очевидна. По оценкам Fujifilm, хранение 100 Пбайт обойдётся в $17 707 468, тогда как при переносе 60 % данных на ленты стоимость хранения снизится до $9 476 339. И если крупные операторы активно закупают LTO, то для многих других верная оценка того, какие именно данные являются «холодными», является непростой и дорогой задачей — это одна из причин медленного отказа от HDD в пользу ленточных решений в малых ЦОД.

Тем не менее, будущее ленточных накопителей остаётся под вопросом. Хотя у них пока имеется конкурентное преимущество перед жёсткими дисками, уже ведутся разработки накопителей нового типа. Впрочем, технологии LTO тоже не стоят на месте. Так, в начале года Western Digital предложила новый тип накопителей — высокоинтегрированный LTO-картридж в корпусе HDD.

Некоторые эксперты считают, что жизненный цикл жёстких накопителей подходит к концу. В их числе Шон Розмарин (Shawn Rosemarin), вице-президент по исследованиям и разработкам в подразделении по работе с клиентами (Customer Engineering) компании Pure Storage, заявивший, что после 2028 года жёсткие диски больше продаваться не будут из-за их плохой энергоэффективности и ограниченности применения, а также снижения стоимости флеш-накопителей.

Розмарин подчеркнул, что главным фактором падения конкурентоспособности жёстких дисков по сравнению с SSD станет высокий расход электроэнергии, а не снижение стоимости SSD или появление DFM ёмкостью 300 Тбайт собственной разработки Pure. Он отметил, что даже новейшие технологии магнитной записи с энергетической поддержкой, позволяющие значительно увеличить плотность записи, не спасут ситуацию.

Фото: Pixabay/FilipFilipovic

Производители HDD придерживаются другого мнения. Ещё в 2021 году Seagate заявила, что SSD не станут убийцами жёстких дисков. Мнения VAST и Infinidat по этому поводу заметно отличаются. Если VAST считает, что низкий уровень IOPS приведёт к ограничению использования ёмких HDD в хранилищах данных петабайтного масштаба, то Infidat отвечает, что это «должно быть шутка». Согласно оценкам Gartner, к 2026 году на долю SSD придётся 35 % от общего объёма поставок накопителей корпоративного класса (в Эбайт), что это делает маловероятным прогноз Розмарина.

«3 % мирового энергопотребления приходится на ЦОД, — приводит слова гендиректора Pure Розмарин. — Примерно треть от этого приходится на хранение. Почти всё это — HDD. Если отказаться от HDD и перейти на флеш-память, мы сможем, по сути, снизить энергопотребление на 80–90 %, увеличив плотность [хранения] на порядок в условиях, когда цены на NAND продолжают падать. Становится очевидным, что HDD уходят в прошлое».

Изображение: Pure Storage

Розмарин также отметил проблемы с поставками электроэнергии, доступность которой придётся учитывать при создании или расширении ЦОД — компаниям придётся выбирать между энергоэффективными SSD или ёмкими HDD. Скачок в развитии ИИ-технологий увеличил потребность в хранилищах, добавил Розмарин, что, по его словам, усугубляет проблему с точки зрения того, сколько данных смогут хранить провайдеры в связи с грядущим повышением спроса на электроэнергию.

Следует отметить, что Pure Storage является конкурентом производителей жёстких дисков, поэтому заявление её топ-менеджера необходимо оценивать с учётом этого факта. На данный момент массового перехода на флеш-память не наблюдается — ни один из гиперскейлеров пока не объявил о таком шаге. «Если же кто-то из них это сделает, то это будет сигналом того, что Pure Storage не одинока в своём убеждении », — пишет Blocks & Files.

Классические ленточные накопители устроены так, что в картридже хранится только катушка с лентой, а головки и вся лентопротяжная механика отделены. Компания Western Digital предлагает кардинально изменить эту концепцию. Компания опубликовала ряд новых патентов (11393498, 20200258544 и 11081132), описывающих конструкцию высокоинтегрированного ленточного накопителя, устроенного подобно традиционным жёстким дискам.

Новый ленточный накопитель WD в HDD-корпусе. Внизу плата с обычным интерфейсом SAS. Источник здесь и далее: Western Digital

Концепция предусматривает не только перенос всех компонентов в единый корпус, подобно HDD, но и заимствует некоторые элементы у жёстких дисков: так, патент описывает конструкцию подвеса головок, устроенную аналогично HDD. Внешне тип ленточных накопителей механически и электрически не будет отличаться от обычных жёстких дисков. Совпадают и размеры корпуса — 147 × 102 × 26 мм, что даст возможность устанавливать накопители в обычные LFF-отсеки.

WD предлагает использовать HDD-подобные узлы

Такая конструкция сделает накопитель дороже и не столь универсальным, нежели обычные картриджи LTO, но позволит повысить надёжность, а удельная стоимость хранения данных всё равно окажется ниже, нежели на HDD — $4 за 1 Тбайт против $20 у жёсткого диска. При этом не стоит забывать о возможности модификации уже имеющихся HDD-массивов. Проблема с низкой скоростью случайного доступа к данным останется на месте, что, впрочем, можно компенсировать буфером достаточного объёма на базе флеш-памяти. Зато общий объём сможет достигнуть 100+ Тбайт.

Размеры нового накопителя WD в сравнении с картриджем LTO

При растущей популярности ленточных систем у операторов облачных платформ новинка WD вполне может увидеть жизнь, хотя компании, продвигающие технологию LTO — HPE, IBM и Quantum — могут отреагировать на неё и негативно. Напомним, что в планах консорциума LTO уже заложено развитие технологии вплоть до 14-го поколения с объёмом картриджа до 576 Тбайт несжатых данных.

Western Digital анонсировала технологию OptiNAND, которая, по её словам, полностью меняет архитектуру жёстких дисков и вместе с ePMR открывает путь к созданию накопителей ёмкостью более 20 Тбайт (от 2,2 Тбайт на пластину) даже при использовании CMR — вплоть до 50 Тбайт во второй половине этого десятилетия. OptiNAND предполагает интеграцию индустриального UFS-накопителя серии iNAND непосредственно в HDD. Но это не просто ещё один вариант NAND-кеша.

Увеличение ёмкости одной пластины происходит благодаря повышению плотности размещения дорожек, что, правда, на современном этапе развития жёстких дисков требует различных ухищрений: заполнение корпуса гелием, использование продвинутых актуаторов, применение новых материалов, требующих энергетической поддержки записи (MAMR, HAMR и т.д.). Вместе с тем механическая часть накопителей не столь «тонка» и подвержена различным колебаниям, которые могут повлиять на запись и считывание столь плотно упакованных дорожек.

При производстве жёстких дисков делается калибровка и учёт этих ошибок в позиционировании головки (RRO, repeatable run out), а данные (речь идёт о гигабайтах) обычно записываются непосредственно на пластины, откуда и считываются во время работы накопителя. В случае OptiNAND эти мета-данные попадают во флеш-память, позволяя высвободить место. Правда, пока не уточняется, насколько это значимо на фоне общей ёмкости пластины.

Второй важный тип мета-данных, который теперь попадает в iNAND, — это информация о произведённых операциях записи. При повышении плотности размещения риск того, что запись на одну дорожку повлияет на данные в соседней, резко увеличивается. Поэтому, опираясь на данные о прошлых записях, жёсткий диск периодически перезаписывает данные соседних дорожек для повышения сохранности информации.

В старых накопителях одна такая операция приходилась примерно на 10 тыс. записей, в современных — на менее, чем на 10 записей. Причём учёт ведётся именно на уровне дорожек. iNAND же позволяет повысить точность отслеживания записей до секторов, что, в свою очередь, позволяет разнести операции перезаписи в пространстве и времени, снизив общую нагрузку на накопитель и повысив плотность размещения дорожек без ущерба для производительности, поскольку надо тратить меньше времени на «самообслуживание».

Наконец, быстрая и ёмкая UFS (вплоть до 3.1) позволяет сохранить в 50 раз больше данных и мета-данных из DRAM в сравнении с жёсткими дисками без OptiNAND в случае аварийного отключения накопителя и в целом повысить его производительность, причём в независимости от того, включено ли кеширование записи или нет. Кроме того, новый слой памяти позволяет лучше оптимизировать прошивку под конкретные задачи — будут использоваться 162-слойные TLC-чипы от Kioxia, которые можно настроить в том числе на работу в режиме SLC.

Western Digital планирует использовать OptiNAND в большинстве серий своих жёстких дисков, предназначенных для облаков и гиперскейлеров, корпоративных нужд (Gold), систем видеонаблюдения (Purple) и NAS (Red). Первые образцы 20-Тбайт накопителей (CMR + ePMR) с OptiNAND уже тестируются избранными клиентами компании. А вот о потребительских решениях пока ничего сказано не было.

Вчера был опубликован релиз спецификаций NVMe 2.0. Из скромного протокола для блочных устройств хранения данных, использующих PCI Express, NVMe эволюционирует в один из самых важных и универсальных протоколов для хранилищ практически любого типа. Новые спецификации будут способствовать развитию экосистемы устройств NVMe: SSD, карт памяти, ускорителей и даже HDD.

Вместо базовой спецификации для типовых PCIe SSD и отдельной спецификации NVMe-over-Fabrics (NVMe-oF), версия 2.0 изначально разработана как модульная и включает целый ряд отдельных стандартов: базовый набор (NVMe Base), отдельные наборы команд (NVM, ZNS, KV), спецификации транспортного уровня (PCIe, Fibre Channel, RDMA, TCP) и спецификации интерфейса управления (NVMe Management Interface). Вместе они определяют то, как программное обеспечение хоста взаимодействует с накопителями и пулами хранения данных через интерфейсы PCI Express, RDMA и т.д.

Базовая спецификация теперь охватывает и локальные устройства, и NVMe-oF, но является намного более абстрактной и не привязанной к реальному миру — было изъято столько всего, что её уже недостаточно для определения всей функциональности, необходимой для реализации даже простого SSD. Реальные устройства должны ссылаться ещё как минимум на одну спецификацию транспортного уровня и на одну спецификацию набора команд. В частности, для типовых SSD, к которым все привыкли, это означает использование спецификации транспорта PCIe и набора команд блочного хранилища.

Три стандартизированных набора команд (блочный доступ, ZNS и Key-Value) охватывают области применения от простых твердотельных накопителей с «тонкими» абстракциями над базовой флеш-памятью до относительно сложных интеллектуальных накопителей, которые берут на себя часть задач по управлению хранением данных, традиционно выполнявшихся программным обеспечением на хост-системе. При этом различным пространствам имен, расположенным за одним контроллером, дозволено поддерживать разные наборы команд.

В NVMe 2.0 также добавлен стандартный механизм управления пулами хранения данных, который позволяет более тонко управлять нагрузкой в зависимости от производительности, ёмкости и выносливости конкретных устройств. Иерархия пулов также была расширена ещё одним уровнем доменов, внутри которых теперь существуют группы, где, в свою очередь, находятся отдельные наборы NVM-устройств.

Будущие наборы команд, например для вычислительных накопителей (computational storage), все еще находятся в стадии разработки и пока не готовы к стандартизации, но новый подход NVMe 2.0 позволит легко добавить их при необходимости. В принципе, в состав NVMe мог бы войти и стандарт Open Channel, но отрасль считает, что парадигма зонированного хранения обеспечивает более разумный баланс, и интерес к Open Channel SSD ослабевает в пользу ZNS-решений.

Из прочих изенений в NVMe 2.0 можно отметить поддержку 32-бит и 64-бит CRC, новые правила безопасного отключения устройств в составе общих хранилищ (при доступе через несколько контроллеров), более тонкое управление правами доступа — можно разрешить чтение и запись, но запретить команды, меняющие настройки или состояние накопителя — и дополнительные протоколы, касающиеся обновления прошивок.

Также в NVMe 2.0 появилась явная поддержка жёстких дисков. Хотя маловероятно, что HDD в ближайшее время перейдут на использование PCIe вместо SAS или SATA, поддержка таких носителей означает, что в будущем предприятия смогут унифицировать свои SAN c помощью NVMe-oF и отказаться от старых протоколов, таких как iSCSI.

В целом, NVMe 2.0 приносит не та уж много новых функций, как это было с прошлыми версиями. Однако сама реорганизация спецификации поощряет итеративный подход и эксперименты с новыми функциями. Так что в ближайшие несколько лет, вероятно, обновления будут менее масштабными и станут выходить чаще.