«Умными» SSD уже никого не удивишь. Но компания Seagate предлагает пойти ещё дальше. Этот крупный производитель средств хранения данных заключил с Лос-Аламоской национальной лабораторией (LANL) соглашение о сотрудничестве, одной из целей которого может стать создание «вычислительных» HDD.

На деле соглашение о совместных исследованиях и разработке (Cooperative Research and Development Agreement, CRADA), разумеется, охватывает намного более широкий спектр задач. В частности, это поиск эффективных методов оптимизации систем хранения данных в характерных для HPC-задач сценариях, нередко генерирующих огромные объёмы данных.

Источник изображения: pixabay.com

Как отметил представитель LANL, в серьёзных научных симуляциях задача может не просто потребовать порядка 1 Пбайт RAM, но ещё и записывать выходные данные аналогичного объёма в течение длительного периода времени. Именно поэтому LANL активно ищет методы оптимизации, в том числе рассматривается перенос функций аналитики на вычислительные мощности накопителей.

Определённые успехи уже достигнуты: так, LANL и SK Hynix доказала возможность переноса некоторых функций обработки данных на SSD-контроллеры. А соглашение с Seagate ставит целью создание универсальной архитектуры вычислительных накопителей, пригодной для реализации не только в SSD, но даже в традиционных механических HDD.

Seagate Exos 2X18: жёсткий диск с двумя актуаторами. Источник: Seagate

В частности, на такую архитектуру можно будет возложить задачи помехоустойчивого кодирования со стирающим кодом (erasure coding), а точнее, восстановление (de-erasure) данных, обычно требующее не только времени на чтение, но и на обработку силами CPU. При этом должна вырасти скорость доступа, а затраты энергии и тепловыделение, наоборот, должны уменьшиться.

Как отметила Seagate, речи о воплощении подобной технологии в ПО для объектных хранилищ CORTX или дисках Exos пока не идёт — это пока исключительно исследовательский проект. Стоит дополнить, что основой вычислительных накопителей Seagate могут стать процессоры с архитектурой RISC-V: два таких дизайна компания разработала ещё в 2020 году.

В своё время Dropbox стал одним из первых крупных провайдеров облачных услуг, активно внедрявшим жёсткие диски с SMR-записью, что позволило увеличить плотность размещения данных. А сейчас компания присматривается к HDD с HAMR-записью, просчитывая влияние этой технологии на свои ЦОД.

В одном из последних постов в своём блоге компания поделилась некоторыми мыслями насчёт внедрения HAMR, технологии, обещающей жёсткие диски объёмом 30 Тбайт уже в ближайшем будущем, а в более отдалённом — 100 Тбайт и более. Дабы обеспечить предсказуемый уровень производительности и поддержать на должном уровне качество обслуживания (QoS), Dropbox планирует изменить конструкцию фирменных серверов и внести ряд изменений в инфраструктуру ЦОД.

Источник изображений здесь и далее: Dropbox

Одним из наиболее важных тезисов является вопрос влияния вибраций на качество функционирования HAMR HDD. В новых дисках существенно возрастёт плотность записи, а значит, вопрос точного позиционирования головок встанет острее. Характерные для серверных стоек вибрации, генерируемые вентиляторами систем охлаждения и блоками головок HDD в режиме поиска дорожки, могут негативно отразиться на производительности.

Таким образом, задача Dropbox заключается в минимизации вибраций, передаваемых на корпуса HDD. Для этого компания активно изучает спецификации OCP HDD Dynamics и планирует внести соответствующие изменения в конструкцию серверов седьмого поколения, включая снижение шума вентиляторов системы охлаждения. Для вибрационных тестов будет использована спецификация OCP HDD Acoustical Surrogate.

Другой важной проблемой высокоплотных HDD является снижение удельной производительности на случайных операциях (IOPS/Тбайт) по мере роста ёмкости накопителей. Минимально приемлемый уровень варьируется, но при падении ниже этого показателя (например, 5 IOPS/Тбайт) диск больше не может соответствовать требованиям к качеству обслуживания.

Для борьбы с этим можно либо снижать ёмкость задействованных HDD, либо использовать модифицированные прошивки, либо внедрять SSD-кеширование, либо применять HDD с более высокими показателями I/O, что ведёт к дополнительным затратам. Одним из вариантов решения проблемы является выпуск моделей с двумя актуаторами. Рассматривает возможность их применения и Dropbox. Ещё одна альтернатива — использование погружных СЖО, которые уже изучают Iceotope и Meta✴. Их применение потенциально позволит снизить уровень вибрации, хотя с точки зрения именно охлаждения их использование пока не слишком оправдано.

Есть и другие проблемы: так, для обеспечения плотности хранения свыше 6 Пбайт/узел компании придётся перестроить архитектуру сети, дабы поддержать на приемлемом уровне производительность при чтении и восстановлении данных. Тем не менее, в седьмом поколении фирменных серверов Dropbox всё же намеревается решить все проблемы и внедрить использование HDD с HAMR.

Компания Synology, по сообщению ресурса NAS Compares, в скором времени выведет на рынок новое семейство жёстких дисков HAT3300 Plus, разработанных специально для NAS. Накопители подходят для хранилищ, содержащих от одного до восьми отсеков. Устройства имеют LFF-исполнение, а для подключения служит интерфейс SATA-3. Применена традиционная магнитная запись CMR.

Серия HAT3300 Plus включает модели ёмкостью 4, 6, 8 и 12 Тбайт. Первые три имеют заполнение воздухом, четвёртая — гелием. У младшей версии скорость вращения шпинделя составляет 5900 RPM, объём буферной памяти — 64 Мбайт. У модификаций на 6 и 8 Тбайт шпиндель вращается со скоростью 5400 RPM, у варианта ёмкостью 12 Тбайт — 7200 RPM. У всех трёх HDD объём буфера равен 256 Мбайт.

Источник изображения: NAS Compares

Новинки рассчитаны на нагрузку до 180 Тбайт в год. Максимальная установившаяся скорость передачи данных варьируется в диапазоне 202–208 Мбайт/с. Накопители оснащены фирменной прошивкой, обеспечивающей стабильную работу в круглосуточном режиме. Срок гарантии — три года. Средняя заявленная наработка на отказ (MTBF) — 1 млн часов.

Компания Future Market Insights, по сообщению ресурса StorageNewsletter, обнародовала прогноз по развитию глобального рынка HDD до 2029 года. Аналитики полагают, что отрасль продолжит расти, а самыми востребованными жёсткими дисками останутся устройства для сетевых хранилищ.

По оценкам, в 2022 году объём мирового HDD-рынка достиг $38,49 млрд. В 2029-м, как ожидается, эта величина составит до $80,87 млрд. Таким образом, считают специалисты Future Market Insights, значение CAGR (среднегодовой темп роста в сложных процентах) в течение рассматриваемого периода окажется на уровне 11,2 %. По итогам 2022 года крупнейшим рынком сбыта HDD в североамериканском регионе оставались США. Согласно прогнозам, до 2029-го показатель CAGR здесь составит 7,5 %. В Китае величина CAGR в течение рассматриваемого периода окажется выше — 8,7 %.

Источник изображения: Future Market Insights

Аналитики полагают, что производители HDD сохранят тенденцию выпуска устройств нового поколения с увеличенной ёмкостью каждые два–три года. Решение для хранилищ, на которые сейчас, по разным оценкам, приходится от 31 % до 40 % в общем объёме поставок, продолжат пользоваться наибольшим спросом. Модели вместимостью 1 Тбайт и более до 2029 года будут занимать около 75 % в суммарных продажах: в этой категории величина CAGR составит 13,6 %. Накопители с портом USB, удерживающие сейчас примерно треть рынка, продолжат пользоваться популярностью. В сегменте HDD для настольных ПК значение CAGR в 2022–2029 гг. прогнозируется на уровне 12,3 %.

На официальном сайте Western Digital, как обнаружил ресурс Tom’s Hardware, появилась страничка первого двухактуаторного (с двумя блоками головок) жёсткого диска компании — Ultrastar DC HS760. Официального пресс-релиза по этому поводу компания пока не выпустила, да и полные спецификации новинки пока что не выложены в общий доступ. Тем не менее, некоторые сведения со страницы продукта почерпнуть можно.

Это третья по счёту платформа на базе OptiNAND. Данная технология позволяет перенести часть мета-данных с пластин на флеш-память, а также задействовать «умное» кеширование ArmorCache, повышающее быстродействие накопителя без ущерба для сохранности данных в случае потери питания. Ultrastar DC HS760 базируется на более ранней платформе Ultrastar DC HC560 с одним актуатором, девятью 2,2-Тбайт пластинами (ePMR), CMR-записью и HelioSeal-упаковкой. Таким образом, ёмкость (20 Тбайт), форм-фактор (LFF, 7200RPM) и интерфейс (SAS) остались прежними.

Изображение: Western Digital

А вот скорость работы накопителя благодаря двум независимым блоками головок выросла: до двух раз на последовательных операциях (50/50) и до 1,7 раз на случайных операциях (70/30). При этом они могут быть энергоэффективнее дисков с одним блоком более чем на треть (до 37%). Заявленный уровень надёжности составляет 2,5 млн MTBF; срок ограниченной гарантии — 5 лет. А вот расчётный уровень нагрузки в сравнении с Ultrastar DC HC560 ниже — 500 вместо 550 Тбайт/год. Логически накопитель представлен как пара 10-Тбайт LUN. Как и первые в своём роде двухактуаторные Seagate MACH.2 новинки Western Digital рассчитаны в первую очередь на гиперскейлеров и облачных провайдеров.

Классические ленточные накопители устроены так, что в картридже хранится только катушка с лентой, а головки и вся лентопротяжная механика отделены. Компания Western Digital предлагает кардинально изменить эту концепцию. Компания опубликовала ряд новых патентов (11393498, 20200258544 и 11081132), описывающих конструкцию высокоинтегрированного ленточного накопителя, устроенного подобно традиционным жёстким дискам.

Новый ленточный накопитель WD в HDD-корпусе. Внизу плата с обычным интерфейсом SAS. Источник здесь и далее: Western Digital

Концепция предусматривает не только перенос всех компонентов в единый корпус, подобно HDD, но и заимствует некоторые элементы у жёстких дисков: так, патент описывает конструкцию подвеса головок, устроенную аналогично HDD. Внешне тип ленточных накопителей механически и электрически не будет отличаться от обычных жёстких дисков. Совпадают и размеры корпуса — 147 × 102 × 26 мм, что даст возможность устанавливать накопители в обычные LFF-отсеки.

WD предлагает использовать HDD-подобные узлы

Такая конструкция сделает накопитель дороже и не столь универсальным, нежели обычные картриджи LTO, но позволит повысить надёжность, а удельная стоимость хранения данных всё равно окажется ниже, нежели на HDD — $4 за 1 Тбайт против $20 у жёсткого диска. При этом не стоит забывать о возможности модификации уже имеющихся HDD-массивов. Проблема с низкой скоростью случайного доступа к данным останется на месте, что, впрочем, можно компенсировать буфером достаточного объёма на базе флеш-памяти. Зато общий объём сможет достигнуть 100+ Тбайт.

Размеры нового накопителя WD в сравнении с картриджем LTO

При растущей популярности ленточных систем у операторов облачных платформ новинка WD вполне может увидеть жизнь, хотя компании, продвигающие технологию LTO — HPE, IBM и Quantum — могут отреагировать на неё и негативно. Напомним, что в планах консорциума LTO уже заложено развитие технологии вплоть до 14-го поколения с объёмом картриджа до 576 Тбайт несжатых данных.

Компания TrendFocus, по сообщению ресурса Blocks & Files, подвела итоги исследования глобального HDD-рынка в IV квартале 2022 года. Поставки значительно сократились как в штучном выражении, так и в плане общей отгруженной ёмкости. Сильнее всего пострадал корпоративный сегмент.

Сообщается, что в период с октября по декабрь включительно поставки HDD сократились более чем на 40 % в штучном выражении по сравнению с последней четвертью 2021-го. Суммарная ёмкость реализованных устройств в годовом исчислении снизилась на 25–33 %. По итогам квартала на долю Seagate пришлось 43 % в общей массе поставленных HDD. Ещё 35 % составила продукция Western Digital, примерно 22 % — решения Toshiba.

Источник изображения: pixabay.com

Отгрузки SFF-накопителей корпоративного класса оказались на уровне 1,6 млн штук. Это на 54 % меньше прошлогоднего результата, когда поставки оценивались в 3,5 млн единиц. Однако по сравнению с III кварталом 2022 года, когда было реализовано 1,52 млн устройств, отмечен рост около 5 %.

Источник изображения: Blocks & Files

В сегменте Nearline-накопителей спад, как сообщается, составил 42 % в годовом исчислении и примерно 25 % в квартальном. Итоговый результат — от 10 до 11 млн штук. Это худший показатель с 2017 года. Суммарная вместимость таких устройств, отгруженных в IV квартале 2022 года, оценивается в 165–170 Эбайт.

По оценкам, поставки LFF-накопителей для десктопов и потребительской электроники оказались на уровне 12,5 млн штук, сократившись на 40 % в годовом исчислении и на 4 % в квартальном. За квартал было реализовано 11,3 млн SFF-устройств для портативных компьютеров и электроники: это на 40 % меньше в годовом исчислении, но на 15 % больше в квартальном.

Исследование, проведённое Future Market Insights, говорит о том, что глобальный рынок HDD в 2022 году достиг объёма приблизительно $38,5 млрд. В течение ближайших лет, по мнению аналитиков, отрасль будет демонстрировать устойчивый рост, что объясняется продолжающимся развитием облачных платформ и ЦОД.

Отмечается, что из-за постоянно нарастающих объёмов генерируемых данных магнитные накопители остаются наиболее предпочтительным вариантом для долгосрочного резервного копирования и архивирования информации. Это будет способствовать дальнейшему увеличению продаж HDD в мировом масштабе.

Источник изображения: pixabay.com

Так, согласно прогнозам, в период с 2022 по 2029 год показатель CAGR (среднегодовой темп роста в сложных процентах) составит 11,2 %. В результате, к концу рассматриваемого периода продажи HDD достигнут в денежном исчислении $80,9 млрд. Крупнейшие производители продолжат анонсировать накопители нового поколения каждые 2–3 года, а также будут внедрять передовые технологии записи.

Устройства для систем хранения, доля которых в настоящее время превышает 40 %, останутся самыми продаваемыми на мировом рынке. Такие HDD, по мнению экспертов, будут демонстрировать двузначный рост в процентах в течение прогнозируемого периода. Продажи накопителей ёмкостью 1 Тбайт и более в совокупности составят 75 % от общего объёма поставок HDD. Решения с USB-портом, которые в настоящее время составляют более 13-й части от общего объёма продаж, продемонстрируют устойчивый рост. Увеличению продаж HDD также будут способствовать географическая экспансия, партнёрские соглашения и создание платформ резервного хранения данных с «воздушным зазором».

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

Источник изображения: Meta/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

Verity ES, основанная компанией Revert, занимающейся утилизацией и ликвидацией корпоративного оборудования, предложила решение, позволяющее владельцам серверов и СХД с большим числом накопителей не только надёжно стереть с них все данные в случае необходимости, но и сэкономить. По словам главы обеих компаний, сертифицированное и патентованное ПО Verity ES позволяет навсегда и быстро стереть данные на самых различных устройствах и типах накопителей.

Verity ES напомнила о себе после обвинений IT-гигантов в том, что они отправляют миллионы HDD и SSD на физическое уничтожение вместо удаления данных и отправки на повторное использование, чем оказывают крайне негативное воздействие на экологию, не только увеличивая объёмы электронного мусора, но и объёмы выбросов при производстве новых накопителей. Делают они это в первую очередь из-за страха утечки данных. Известно, что финансовые последствия небрежного уничтожения конфиденциальных данных могут быть чрезвычайно тяжёлыми.

Изображение: Michael Schwarzenberger/Pixabay

Так, в начале года американский банк Morgan Stanley заключил мировое соглашение и согласился выплатить компенсацию в размере $60 млн для урегулирования коллективного иска, поданного от имени 15 млн клиентов. Ранее он уже был оштрафован ещё на $60 млн из-за неспособности вывести должным образом из эксплуатации собственные дата-центры. Из-за ошибочных действий банка данные его клиентов не были должны образом удалены со списанных вместе с остальным оборудованием жёстких дисков, которые затем попали к неустановленным третьим лицам. На данной операции банк сэкономил всего $100 тыс.

При этом существующие системы утилизации, предусматривающие физическое уничтожение самих накопителей, не только вредны для окружающей среды, но и, в теории, не гарантируют бесповоротного удаления всех данных, особенно если речь идёт об SSD. По словам Verity ES, её решение позволяет даже сэкономить с учётом того, что некоторые ЦОД уничтожают более 500 тыс. накопителей ежегодно. По данным компании, одному из клиентов благодаря сохранению работоспособности обработанных накопителей удалось получить остаточную стоимость в размере $2,7 млн — это около 36 тыс. HDD и SSD, которые можно использовать или перепродать.

Изображение: Filip Filipović/Pixabay

При этом утверждается, что ПО конкурентов не смогло полностью уничтожить информацию. Решение Verity ES в три захода стирает данные, записывая информацию поверх уже имеющейся. Всё это осуществляется исключительно на оборудовании клиента, причём производительность процесса регулируется, а параллельно можно обрабатывать более 500 накопителей — наиболее эффективный метод уничтожения на каждом устройстве и для каждого типа информации определяется автоматически. Обеспечивается соблюдение локальных требований к уничтожению данных для более чем 25 стран. При этом компания избегает утверждений о том, что уровень успешного уничтожения данных всегда составляет 100 %.

По словам представителя Revert, на стирание информации с одного накопителя на 8 Тбайт обычно уходит до 70 часов, на 18 Тбайт — до 6,5 дней. На полную проверку качества удаления требуется ещё 20 часов. Поддерживаются SATA/SAS HDD/SSD и NVMe SSD (в том числе M.2). В компании подчёркивают, что физическое уничтожение накопителей обычно обходится в $15–20/шт. и не гарантирует полного уничтожения информации. Кроме того, такой способ наносит ущерб окружающей среде, а в случае, если утилизация поручается третьей стороне, не исключён риск перепродажи накопителей вместо их уничтожения.