Объём мирового рынка внешних СХД корпоративного класса во II квартале 2023 года составил $5,029 млрд, что на 14 % меньше по сравнению с результатом за II четверть 2022-го. Такие данные, как сообщает ресурс Blocks & Files, приводятся в исследовании Gartner, с которым ознакомились аналитики Wells Fargo.

Спрос на первичные хранилища в денежном выражении упал на 15 % год к году, на вторичные — на 7 %. Решения для резервного копирования и восстановления данных также показали отрицательную динамику: −20 %.

Источник изображения: Wells Fargo

Отмечается, что в общем объёме поставок на решения на базе HDD и гибридные системы пришлось 47,6 % выручки; при этом в годовом исчислении продажи сократились на 21 %. Таким образом, массивы All-Flash обеспечили 52,4 % от всех денежных поступлений, или приблизительно $2,635 млрд.

В сегменте All-Flash крупнейшим поставщиком является Dell с выручкой около $569 млн, но продажи этой компании во II квартале 2023-го сократились на 21 %. На второе место вырвалась Huawei, сумевшая нарастить выручку на 33 % — до $440 млн. Замыкает тройку NetApp, у которой продажи уменьшились на 16 % год к году — до $389 млн. Далее следуют IBM ($375 млн; плюс 10,3 % в годовом исчислении), Pure Storage ($369 млн; минус 10 %), НРЕ ($183 млн; минус 25 %) и Hitachi ($90 млн; плюс 12,5 %).

Китайская корпорация Huawei анонсировала распределённую All-Flash СХД OceanStor Pacific 9920. Решение подходит для использования в различных приложениях обработки и хранения структурированных и неструктурированных данных. Узел выполнен в формате 2U. В зависимости от модификации применяются два процессора Huawei Kunpeng 920 или Intel Xeon Scalable. Максимальный объём оперативной памяти на узел составляет 512 Гбайт, 768 Гбайт или 1 Тбайт.

Говорится, что система OceanStor Pacific 9920 обеспечивает эффективный доступ к информации в таких сценариях, как пулы виртуальных и облачных ресурсов, базы данных, высокопроизводительные вычисления, ИИ-приложения и аналитика больших данных. Возможна установка до 12 накопителей LFF с интерфейсом SAS или до 25 решений SFF NVMe. «Сырая» ёмкость варьируется от 38,4 до 92,16 Тбайт.

Источник изображения: Huawei

СХД может оснащаться портами 10GbE, 25/100GbE (RoCE) или 100 Гбит/с InfiniBand. СХД предоставляет различные интерфейсы доступа: NFS, SMB, POSIX, MPI-IO, HDFS, S3, iSCSI и OpenStack Cinder. Реализовано автоматическое параллельное восстановление данных со скоростью 2–4 Тбайт/час. Диапазон рабочих температур — от +5 до +35 °C.

Среди поддерживаемых функций можно выделить SmartThin (интеллектуальное динамическое выделение емкости), SmartDedupe & SmartCompression (интеллектуальные дедупликация и сжатие), SmartQoS (интеллектуальный контроль уровня обслуживания), SmartAuditlog (интеллектуальный журнал аудита), HyperSnap (мгновенные снимки), HyperClone (функция клонирования), HyperMetro (разнесённые массивы в режиме Active–Active), HyperReplication (удаленная репликация) и DIF (защита целостности данных).

Как сообщает Blocks & Files со ссылкой на исследование Gartner, в I квартале 2023 года объём поставок All-Flash СХД вырос на 4 % до $2,523 млрд, что составляет немного больше половины (50,4 %) всего рынка СХД в денежном выражении. Однако по сравнению с предыдущим кварталом он снизился на 22 %. На долю All-flash массивов (AFA) приходилось 31 % от всего объёма поставленной ёмкости, что значительно больше показателей предыдущего квартала (18,2 %) и аналогичного квартала в 2022 году (16,8 %).

По оценкам аналитика Wells Fargo Аарона Рейкерса (Aaron Rakers), выручка Dell от All-Flash СХД выросла на 17 % в годовом исчислении и на 12 % по сравнению с предыдущим кварталом, в то время как выручка HPE в этом сегменте тоже увеличилась на 17 % по сравнению с прошлым годом. А вот выручка Pure Storage снизилась на 10 % в годовом исчислении и на 24 % по сравнению с предыдущим кварталом, что привело к снижению её доли на рынке AFA с 17,7% год назад до нынешних 15,4 %.

Источник: Gartner (via Blocks & Files)

Исследование не содержит подробного анализа доли других поставщиков. По данным Blocks & Files, рыночная доля NetApp упала с 22 % в I квартале 2022 года до 16 % в отчётном квартале. Доля Pure Storage также сократилась, хотя и не так значительно, что означает сокращение разрыва компании с NetApp. IBM, с другой стороны, догоняет Huawei и постепенно увеличивает разрыв с HPE. В числе компаний, увеличивших долю доходов в годовом исчислении, оказались Dell EMC, IBM, Huawei, HPE. Также выросла доля категории «Другие». В целом и NetApp, и Pure Storage уступили долю рынка другим игрокам.

Согласно данным Gartner, объём рынка внешних СХД составляет чуть более $5,005 млрд (рост год к году — 1 %). Доходы от первичных хранилищ увеличились по сравнению с прошлым годом на 1 %, в то время как вторичные хранилища и резервное копирование и восстановление принесли доход на 4 % и 9 % больше соответственно. Доходы от продаж гибридных и дисковых хранилищ снизились на 2 % по сравнению с прошлым годом. Общая ёмкость поставленных внешних СХД увеличилась на 24 % год к году, при этом ёмкость вторичных хранилищ увеличилась на 70 %, бэкап-хранилищ — на 18 %, первичных хранилищ — на 3 %.

Компания IBM пополнила семейство флеш-хранилищ FlashSystem новой двухконтроллерной (Active-Active) моделью начального уровня 5045, пришедшей на смену модели 5035. Новинка получила продвинутые методы защиты данных от кибервымогателей и поддерживает ряд возможностей, доступных в более дорогих моделях.

В рамках технологии IBM Safegurad Copy (SGC) новое хранилище поддерживает неизменяемые снапшоты, причём в той же области, где располагаются и основные данные. Эти резервные копии могут использоваться для быстрого восстановления данных без необходимости обращения к отдельному бэкап-массиву, облаку или ленточной библиотеке.

Источник: IBM

Функция IBM Storage Sentinel отвечает за регулярное сканирование снимков с помощью ИИ-алгоритимов, обученных на специфических паттернах конкретных типов нагрузок, что позволяет быстрее обнаружить возможное злонамеренное изменение данных. В настоящее время поддерживаются сценарии Epic (Cache/Iris), SAP HANA и Oracle.

Так работает IBM Safeguard Copy. Источник: Barry Whyte blog

Хранилище 5045 поддерживает интерфейсы 10/25GbE для iSCSI, FC16 и SAS-3. Базовое шасси имеет высоту 2U, в зависимости от конфигурации может предложить сырую ёмкость от 46,1 (12 × 3,84 Тбайт SAS-3 SFF SSD) до 153,6 Тбайт (10 × 15,36), дополненных 32 или 64 Гбайт кеша. Поддерживается организация массивов DRAID1/5/6, кластеризация и дедупликация. Также реализовано сжатие данных, впрочем, без аппаратного ускорения.

С помощью дисковых полок количество накопителей в системе можно увеличить до 504, что даст 7,74 «чистых» Пбайт. Производительность достаточно высока — 1,2 млн IOPS на случайных операциях, максимальная линейная скорость 12 Гбайт/с при времени отклика не более 70 мкс. Стоимость стартует с отметки $34300 за версию с 25 Тбайт полезного пространства, 50 Тбайт обойдутся уже в $54200, а за 100 Тбайт придется выложить $81000.

Компания Infortrend анонсировала All-Flash СХД EonStor GS 4048U в форм-факторе 4U. Допускается установка 48 SFF-накопителей U.2 NVMe SSD (PCIe 4.0). Поддерживается формирование массивов RAID 0, RAID 1, RAID 3, RAID 5/5F, RAID 6/6F, RAID 10, RAID 30, RAID 50, RAID 60. Применены два контроллера, а суммарная вместимость может превышать 700 Тбайт.

Устройство несёт на борту 48 Гбайт памяти DDR4 с возможностью расширения до 384 Гбайт. СХД может быть оснащена интерфейсами FC16/32, 10/25GbE, 100GbE с RDMA, SAS-3. Заявленный показатель IOPS достигает 1100 тыс. Говорится о совместимости с платформами Windows Server 2019/2016/2012 R2/2012/2008 R2/2008, Windows Hyper-V, Red Hat Enterprise Linux, SUSE Linux Enterprise, Sun Solaris, macOS X, VMware, Citrix XenServer, OpenStack Cinder.

Источник изображения: Infortrend

Реализованы компрессия данных и дедупликация. Поддерживаются протоколы CIFS/SMB (2.0/3.0), NFS 2/3/4, AFP (3.1.12), FTP/FXP, WebDAV, FC, iSCSI, SAS и RESTful API. Возможна интеграция с Amazon S3, Microsoft Azure, Alibaba Cloud, Google Cloud, Baidu Cloud, Tencent Cloud, OpenStack, Wasabi и облаком «Яндекса». При использовании модулей расширения количество накопителей можно довести до 896 штук, а в составе кластера могут быть задействованы до 3584 накопителей.

Питание обеспечивают два блока мощностью 1300 Вт с сертификатом 80 PLUS Titanium. Габариты составляют 449 × 176 × 530 мм. Диапазон рабочих температур простирается от 0 до +40 °C.

Компания Pure Storage, специализирующаяся в области создания All-Flash СХД, анонсировала на мероприятии Accelerate 2023 обновление массивов FlashArray//E, //X и //C, а также представила фирменные флеш-модули объёмом 75 Тбайт (QLC + NVRAM) и 36 Тбайт (TLC + NVRAM).

Решения Pure Storage состоят из трёх ключевых компонентов — контроллеров, шасси и модулей DirectFlash (DFM). Последние являются специализированными SSD, совместимыми только с системами Pure Storage. Столь глубокая интеграция способствует снижению числа проблем, связанных с независимыми поставщиками SSD, а также способствует повышению энергоэффективности.

Компания приводит любопытные сравнительные данные: так, 1 Пбайт требует для около 500 Вт при использовании HDD ёмкостью 20 Тбайт, а для обычных TLC SSD эта цифра стартует с отметки 726 Вт. Однако технологии, используемые в модулях DFM, позволяют существенно понизить этот показатель — до 300-400 Вт в предыдущих моделях и до 210 Вт в новых, ёмкостью 75 Тбайт.

Узлы FlashArray//E, //X и //C (слева направо). Здесь и далее источник: Pure Storage

Компания не собирается останавливаться на достигнутом и уже располагает тестовой версией модуля ёмкостью 150 Тбайт, которая должна увидеть свет уже в следующем году, а в 2026 году компания намеревается достигнуть отметки 300 Тбайт. Новые модули имеют интерфейс PCIe 4.0, однако поддержка этого стандарта есть не во всех шасси компании. Похоже, Pure Storage хочет в следующем большом обновлении платформ перейти уже на использование PCIe 5.0.

Pure Storage всерьёз атакует рынок систем хранения данных на базе HDD или HDD-SSD. Новым оружием стали массивы FlashArray//E, которые производитель описывает как компактные и сравнительно небольшие решения ёмкостью от 1 до 4 Пбайт. Стоимость хранения при условии трехгодичного контракта составляет всего $0,20/Гбайт. Также Pure Storage упирает на более высокую надёжность DFM — как в сравнении с HDD, так и с обычными SSD. Правда, поддержки S3-доступа нет.

Обновления получили контроллеры FlashArray//X и FlashArray//C R4. Четвёртая версия подразумевает использование новейших процессоров Intel Xeon Sapphire Rapids. По сравнению с предыдущим вариантом R3 контроллеры серии R4 обеспечивают на 40–48 % более высокую производительность на Вт, и к тому же, в пересчёте на занимаемое в стойке пространство на 1 Тбайт ёмкости новинки стали компактнее на 51 % и 36 % соответственно.

Новинки поддерживаютускорители DirectCompress Accelerator для сжатия данных на лету. Теперь они будут устанавливаться не только в FlashArray//XL, но и в достаточно крупные модели FlashArray//X и //C (//X90, //X70, //C90, //C70). Благодаря поддержке PCIe 4.0 на полной скорости заработали интерфейсы FC64 и 100GbE, естественно, с поддержкой NVMe-over-TCP/FC и RoCE. Таже появилась защита Auto-on SafeMode и новый вариант SLA.

AWS представила инстансы I4i со сверхбыстрым хранилищем. Новинки используют Intel Xeon Ice Lake-SP и NVMe-накопители Nitro SSD, разработанные самой Amazon. I4i обеспечивают снижение задержки операций ввода-вывода до 60 % (разброс тоже ниже на 75 %) по сравнению с инстансами I3, а также до 30 % лучшее соотношение цены и производительности. Благодаря использованию сразу нескольких компонентов Nitro, все физические ресурсы узлов доступны инстансам практически полностью.

I4i «предназначены для минимизации задержки и максимизации количества транзакций в секунду (TPS) для рабочих нагрузок, которым требуется очень быстрый доступ к наборам данных среднего размера в локальном хранилище. Сюда входят транзакционные базы данных, такие как MySQL, Oracle DB и Microsoft SQL Server, а также базы данных NoSQL: MongoDB, Couchbase, Aerospike, Redis и т.д.». Они также подходят для рабочих нагрузок, требующих высокую производительность вычислений в пересчёте на Тбайт хранилища, таких как аналитика данных и поисковые системы.

Узлы с Nitro SSD (Изображение: AWS)

У всех новинок частота всех ядер в турборежиме составляет 3,5 ГГц; есть поддержка AVX-512 и Intel Total Memory Encryption. Для особо ресурсоёмких задач предлагается инстанс I4i.32xlarge: 128 vCPU, 1 Тбайт RAM (с NUMA), сетевое подключение 75 Гбит/с, 40-Гбит/с доступ к EBS-томам и восемь локальных Nitro SSD суммарной ёмкостью 30 Тбайт. Nitro SSD имеют продвинутую прошивку, отвечающую за реализацию многих функций, включая телеметрию и диагностику на лету, а также управление хранилищем на уровне инстанса для повышения надёжности и обеспечения стабильного уровня производительности.

Инстансы I4i уже доступны в регионах AWS US East (Северная Виргиния), US East (Огайо), US West (Орегон) и Европа (Ирландия) по запросу и в качестве спотовых и зарезервированных. Доступны планы Savings, а также выделенные инстансы и выделенные хосты. Клиентам рекомендуется использовать последние AMI, включающие текущие драйверы ENA и поддержку NVMe 1.4.

Комплексные программно-аппаратные решения одного производителя практически всегда превосходят похожие по параметрам, но более разнородные системы. Высокая степень интеграции и продуманная многоуровневая оптимизация всех компонентов не только позволяют добиться более высоких технических показателей, но и существенно упрощают и удешевляют внедрение и поддержку такого оборудования. Компанию Huawei можно назвать лидером в области таких решений, и особенно ярко это проявилось в шестом поколении СХД OceanStor Dorado.

Их Huawei позиционирует как СХД высшего класса, обладающие не только высочайшей производительностью, но и надёжностью класса минимум «шесть девяток», то есть 99,9999%. Достаточно привести лишь один факт: Dorado 18000 V6 остаётся работоспособной при выходе семи контроллеров из восьми в каждой стойке, а также легко переживает одновременный выход из строя трёх накопителей в массиве. Для сравнения, классический RAID6 может пережить потерю лишь двух накопителей в массиве.

По результатам тестирования, проведённого Storage Performance Council в октябре 2020 года, СХД Huawei OceanStor Dorado 18000 V6 признана быстрейшим в мире флеш-хранилищем. На случайных операциях данное решение способно развивать 21 млн IOPS. Не удивительно, что разработками Huawei заинтересовались крупные финансовые организации, нуждающиеся не просто в надёжных, но и быстрых системах хранения данных. Уже 8 из 20 крупнейших мировых банков пользуются системами OceanStor Dorado и этот «клуб» будет только расти. Компания разместила на своём сайте подробный вебинар, посвящённый особенностям шестого поколения СХД OceanStor Dorado.

Высочайший уровень производительности OceanStor Dorado 18000 V6 обуславливается монолитностью и отлаженностью платформы, которая целиком построена на высокинтегрированных между собой собственных разработках Huawei в области процессоров, ускорителей и сетевых контроллеров. «Умные технологии» в шестом поколении Dorado начинаются уже на уровне отдельного накопителя.

Платформа Dorado V6 целиком базируется на собственных разработках Huawei

Такие SSD сами следят за износом фонда ячеек NAND, используют продвинутые методы коррекции ошибок LDPC и SmartFSP 3.0 и обеспечивают базовый уровень надёжности, поскольку контроллер Hi1812e работает с NAND как с динамическим RAID-массивом. Такие накопители на 20% долговечнее обычных и на 50% отзывчивее в плане задержек.

В качестве основного процессора используется Kunpeng 920, 48-ядерный чип с архитектурой ARMv8.2, имеющий набор движков-ускорителей и собственные контроллеры SAS 3.0 и 100GbE (с RoCE, конечно). Четыре таких процессора умещаются в 1U-шасси. Им может помогать устанавливаемый дополнительно ИИ-ускоритель Ascend 310, отвечающий за обслуживание массива NVMe-накопителей и оптимизацию дисковых кешей.

Унифицированная симметричная архитектура обеспечивает предсказуемый и постоянный уровень производительности

За сеть отвечает чип ASIC Hi1822, который полностью совместим с RoCE и NVMe-oF. Адаптеры на базе этого чипа могут иметь различную конфигурацию портов — от двух 25GbE SFP28 до двух 100GbE QSFP28 — и обеспечивают латентность всего лишь 80 мкс против 160 мкс у конкурентов. В дисковых полках Dorado 18000 V6 таких адаптеров несколько, заменять их можно без остановки системы.

Даже контроллер управления (BMC) у СХД Huawei свой, Hi1710. Высокая интеграция всех программмно-аппаратных компонентов системы (а кто ещё может лучше знать, как задействовать весь потенциал «железа», кроме самих разработчиков) обеспечивает не только высокую производительность и надёжность, но и быстрое восстановление системы при сбоях — десятки минут для OceanStor Dorado V6 против нескольких часов у обычных СХД.

Распределённая архитектура OceanStor Dorado V6

Архитектурно OceanStor Dorado 18000 V6 представляет собой симметричную распределённую меш-сеть, в которой на уровне стоек контроллеров все компоненты соединены со всеми, что и обеспечивает беспрецедентный уровень надёжности. Компания называет эту технологию SmartMatrix. С «умными» дисковыми полками бэкенды контроллеров общаются посредством NVMe-oF, а с внешней сетью — либо через NVMe-oF/RoCE (100 Гбит/с на порт), либо через NVMe-oF/FC 32G.

У Dorado V6 нет привилегированных контроллеров, что упрощает балансировку нагрузки

Huawei вполне справедливо считает, что за сочетанием NVMe-oF и RoCE лежит будущее высокопроизводительных систем хранения данных. Данные технологии к настоящему моменту хорошо проработаны и полностью описываются стандартами, которые обеспечивают гибкость и взаимозаменяемость элементов инфраструктуры. Некоторые производители всё ещё поддерживают SAS, но время старых дисковых стандартов уходит.

Технология Huawei FLASHLINK отвечает за распределение вычислительных ресурсов

Симметрия архитектуры СХД данной серии выражена в том числе и в том, что все логические тома (LUN) не привязаны к главному контроллеру (ownership), вместо этого они «нарезаются» системой на сегменты (shards в терминологии Huawei), которые равномерно распределяются по всем активным в системе в настоящий момент контроллерам. Сами контроллеры работают с едиными пулами кеша и SSD, из которого и черпают необходимые ресурсы.

За распределение обработки сегментов по процессорным ядрам отвечает фирменная технология FLASHLINK, которая работает в динамическом режиме: высокоприоритетные задачи получают больше ядер из выделенной группы. При этом каждое ядро выполняет IO-запросы только своей назначенной задачи, чтобы избежать конфликтов.

Глубокая интеграция ускорителей экономит процессорное время и ускоряет перестройку массивов

Дисковые полки Dorado V6 имеют свой «интеллект» и не загружают CPU контроллеров низкоуровневыми задачами, а это позволяет, по словам разработчиков, повысить производительность СХД на 30% по сравнению с классическими архитектурами с «глупыми» полками. Этот же подход существенно ускоряет процесс восстановления данных — Huawei говорит о двукратном превосходстве в скорости, при этом влияние этого процесса на производительность СХД минимально и не превышает 5% против десятков процентов у СХД классической архитектуры.

Более того, архитектура Dorado V6 такова, что производительность дисковых массивов в ней не зависит от типа используемого RAID и всегда одинаково высока как в простом режиме RAID10, так и в куда более сложных в плане нагрузки на контроллеры режимах RAID-6 или RAID-TP.

Модельный ряд и позиционирование СХД Huawei OceanStor Dorado

Что касается более высокоуровневых программных компонентов, то в серии Dorado V6 все сложные процессы, от драйвера NVMe и управления пулом ресурсов до клиентских дополнений выполняются в пространстве пользователя (user space), что позволяет избежать лишних задержек, так как обращений в пространство ядра практически нет.

За NVMe и RDMA over Converged Ethernet — будущее

В настоящее время Huawei предлагает заказчикам СХД нового поколения в двух вариациях: Dorado 8000 V6 и Dorado 18000 V6. Отличаются они только количеством модулей в максимальной комплектации (ну и габаритами, массой, количеством ядер в процессорах контроллера). 18000 V6 поддерживает до 32 контроллеров и до 32 Тбайт пула кеширования. Оба варианта могут работать с фронтендами 10/25/40/100GbE RoCE или FC-8/16/32G, поддерживая протоколы FC, iSCSI, NFS и CIFS.

Каждый блок контроллеров может иметь до 28 IO-модулей и до 96 сетевых портов. Максимальное количество SSD в системе также одинаково и составляет 6400. Они могут работать в разных режимах RAID, включая фирменный RAID-TP, способный вынести одновременный отказ трёх накопителей. Максимальный объём флеш-хранилища составляет 98,3 Пбайт для модели Dorado 8000 V6, а у Dorado 18000 V6 он достигает 196,6 Пбайт.

Поскольку речь идёт о комплексных системах, способных обеспечить доступностью класса «шесть девяток» (99,9999%) и производительность на уровне свыше 20 млн IOPS при непревзойдённом уровне надёжности, стоимость конечной реализации вырабатывается в процессе проработки сертифицированными партнёрами Huawei проекта, создаваемого под нужды конкретного заказчика. Ознакомиться с OceanStor Dorado 8000/18000 V6 можно на сайте Huawei, там же можно найти подходящего партнёра для разработки законченного решения с учётом нужд заказчика.

Перефразируя старую поговорку: люди делятся на тех, кто ещё не делает бэкапы, на тех, кто уже делает, и на тех, кто делает их правильно. Хотя, казалось бы, с начала пандемии первая категория должна стремительно уменьшаться, это происходит не везде, несмотря на совершенно неприличные для современной IT-индустрии — как по активности злоумышленников, так и по беспомощности жертв — атаки на бизнес любого размера.

Впрочем, даже в тех индустриях, где резервное копирование делать привыкли, есть области с особыми требованиями. Это в первую очередь финансовые институты, энергетика, телекоммуникации, управление производством, ретейл и т.д. Во всех этих областях минута простоя обходится более чем $1 млн, а в случае финансовых учреждений эта цифра достигает почти $6,5 млн.

Huawei OceanProtect X8000 и X9000

По оценкам экспертов, отсутствие катастрофоустойчивости, важнейшим элементом которой является именно резервное копирование, в более чем половине случае приводит к банкротству в течение 2-3 лет после первого падения IT-систем. А причин такого падения масса — от природных бедствий и человеческого фактора до неумышленного (сбой оборудования) или умышленного (атака) вмешательства в работу систем.

Вместе с тем в последние годы поменялись и сами данные, и требования к работе с ними. Никого уже не удивляет необходимость поддержки надёжности в семь «девяток», резкий рост объёмов «горячих» и «тёплых» данных и постепенный переход от петабайтных хранилищ к экзабайтным, а также изменение самой сути хранимой и обрабатываемой информации — структурированные данные становятся всё менее заметными на фоне растущих как снежный ком неструктурированных.

Всё это кардинальным образом меняет требования и к «боевым» СХД, и в особенности к системам резервного копирования. Без бэкапа «тёплых» данных кое-где уже не обойтись, но такие СХД должны обладать уникальным набором характеристик: достаточно высокое быстродействие, причём не только на получение, но и на отдачу данных; повышенная надёжность; универсальность, то есть работа и с SAN, и с NAS; масштабируемость по ёмкости и производительности.

Ровно те же требования предъявляются и к основным СХД, однако для задач бэкапа нужно соблюсти ещё два очень важных условия. Во-первых, доступное пространство должно значительно превышать ёмкость резервируемых СХД, чего, не раздувая размеры системы, можно добиться лишь правильным использованием дедупликации и компрессии, которые при этом должны происходить на лету и минимально влиять на производительность. Во-вторых, такая система должны быть выгоднее, чем просто установка дубля основной СХД.

И у Huawei есть именно такое уникальное решение. Весной компания анонсировала новую серию СХД с говорящим названием OceanProtect. Наиболее интересными в ней являются модели X9000 и X8000, относящиеся к высокому и среднему сегменту соответственно. «Хитрость» в том, что основой для них является всё та же современная OceanStor Dorado, которую лишили части некритичных для задач резервного копирования функций и оснастили исключительно SAS SSD.

И, конечно, добавили ряд специфичных для работы с бэкапом оптимизаций. Например, в OceanProtect наряду с RAID-5/6 доступен и фирменный массив RAID-TP, сохраняющий работоспособность при потере до трёх накопителей сразу. Однако в данном случае данные агрегируются в длинные непрерывные блоки в кеше, сливаются воедино и записываются с использованием RoW (redirect-on-write) целыми страйпами.

Такой подход отчасти связан с используемыми в OceanProtect алгоритмами дедупликации и компрессии, которые вместе позволяют достичь коэффициента сжатия вплоть до 55:1. Для этого используется несколько техник. В частности, мета-данные выявляются и отделяются от остальных, подвергаясь только компрессии. Для основных же данных используется динамически подстраиваемая системой дедупликация с сегментами переменной длины. После неё данные снова анализируются и делятся на те, которые хорошо подвергаются компрессии и для которых используются стандартные алгоритмы сжатия, и на те, которые просто так сжать не удастся.

Контроллер Huawei OceanProtect X9000

Для последних применяется фирменный алгоритм сжатия, который, к слову, является детищем российского подразделения исследований и разработок компании — Huawei регулярно проводит конкурс по созданию именно таких алгоритмов среди отечественных вузов, так что некоторые наработки попадают в столь заметные продукты. Сжатые данные побайтно выравниваются для компактности и отправляются на запись. Таким образом достигается и эффективное использование дискового пространства, и снижение нагрузки на накопители.

Контроллер Huawei OceanProtect X8000

Повышение надёжности СХД достигается несколькими механизмами на различных уровнях. Так, непосредственно внутри SSD из чипов памяти формируются массивы RAID 4. Сами SSD представляются системе не как «монолиты», а в виде групп RAID 2.0+ из блоков фиксированного размера. Это позволяет не только повысить надёжность без потери производительности, но и сбалансировать нагрузку, выровнять износ и значительно сократить время на пересборку массивов.

Дисковая полка Huawei OceanProtect X8000/X9000

Для подключения дисковых полок используются 4-портовые (Mini-SAS) интерфейсные модули SAS-3, для контроллеров — 25/100GbE с RDMA, а для хостов — модули FC8/16/32 и 10/25/40/100GbE с RDMA. Ethernet-контроллеры поддерживают разгрузку стека TCP/IP, избавляя CPU от лишней нагрузки. Посадочных мест для модулей достаточно для того, чтобы объединить контроллеры с резервированием подключения без использования внешнего коммутатора. Для SAN доступна поддержка Fibre Channel и iSCSI, а для NAS — NFSv3/4.1, SMB/CIFS 2.0/3.0 и NDMP.

Дисковый бэкенд и IO-фронтенд подключаются к контроллерам по схеме «каждый-с-каждым» с дополнительным резервированием, да и сами контроллеры провязаны между собой по той же схеме. Таким образом формируется полноценная mesh-сеть из всех компонентов и линков. Это даёт всё те же отказоустойчивость, производительность и сбалансированность. Ну и поддержку горячей замены или обновления (что программного, что аппаратного) практически любого из компонентов системы без её остановки.

На программном уровне доступны различные варианты репликации и работы со снапшотами, «умные» квоты и классы обслуживания (по скорости, IOPS и задержке), расширенная система мониторинга, прогнозная аналитика по состоянию системы в целом и отдельных её компонентов, в том числе по производительности и ёмкости. Для задач безопасности доступно шифрование на уровне дисков, безопасное затирание данных по международным стандартам, а также аппаратный RoT, формирующий цепочку доверия для всего ПО.

Huawei OceanProtect X9000

Всё вышесказанное относится к обеим моделям, X8000 и X900. Но различия между ними, конечно, есть. У OceanProtect X9000 в отдельном 4U-шасси находятся четыре контроллера Active-Active, каждый из которых может иметь до четырёх CPU и до 1 Тбайт памяти для кеширования. Система сохраняет работоспособность при выходе из строя трёх из четырёх контроллеров. На шасси приходится 28 интерфейсных модулей и четыре БП, которые являются общими для всех. Можно объединить два шасси, то есть получить восемь контроллеров, связанных между собой 100GbE-подключениями.

Huawei OceanProtect X8000

OceanProtect X8000 объединяет в 2U-шасси два контроллера Active-Active, 25 накопителей SAS-3 и два БП. Каждый контроллер имеет до 2 CPU, до 512 Гбайт памяти для кеширования и шесть интерфейсных модулей. Можно объединить два шасси (четыре контроллера) посредством 25GbE-подключений. Дисковые полки одинаковые для обеих моделей — 2U-шасси на 25 накопителей с четырьмя портами Mini-SAS и двумя БП. Пока что доступны только накопители объёмом 3,84 и 7,68 Тбайт, но в будущем появятся и более ёмкие модели.

В серии OceanProtect есть и СХД попроще. Так, модель A8000 похожа на X8000, но имеет более скромные показатели производительности и предлагает только 10/25GbE-интерфейсы. А линейка Huawei DPA использует уже SATA-накопители и 1/10GbE-подключения. В будущем появится и серия оптических библиотек OceanArchive для «холодных» данных. Таким образом, продукты компании покроют все ключевые задачи в этом сегменте. Huawei ожидает, что рынок СХД для резервного копирования вырастет к 2025 году до $14,7 млрд и рассчитывает «отъесть» от него примерно половину.

Сервис Transfer Appliance, доступный в ряде регионов США, ЕС и Сингапуре, позволяет клиентам просто и безопасно перенести петабайты данных из их корпоративных ЦОД и других мест эксплуатации в Google Cloud. Сервис основан на одноимённой специализированной All-Flash СХД, которую клиент может запросить в Google Cloud Console, чтобы перенести на него свою информацию. На днях компания анонсировала новую версию Transfer Appliance.

Google Cloud проверяет потребности заказчика, такие как мощность и необходимая ёмкость, и отправляет полностью укомплектованное устройство, включая все необходимые кабели. Доступные для заказа ёмкости находятся в диапазоне от 40 до 300 Тбайт. Имеются также две базовые модификации Transfer Appliance: на 100 и 480 Тбайт. Благодаря встроенным средствам дедупликации и сжатия данных потенциально можно перенести до 1 Пбайт. Кроме того, предприятия могут выбрать вариант исполнения — для монтажа в стойку или автономное устройство.

Как только устройство прибывает к заказчику, его можно смонтировать как общий ресурс NFS и приступить к копированию данных. Затем устройство запечатывается для защиты от несанкционированного доступа при траспортировке и отправляется обратно Google. Перед переездом данные шифруются (AES-256), а клиент создаёт пароль и секретную фразу для их дешифровки. Это не только защищает информацию, но и позволяет соблюсти отраслевые стандарты ISO, SOC, PCI и HIPAA.

По прибытии устройства в Google специалисты компании осуществляют обратные операции, которые для краткости они называют «регидратацией». О её успешном завершении Google сообщает заказчику как правило в течении 1-2 недель. После миграции клиентам становятся доступны средства для анализа данных BigQuery и Vertex AI.

Google рекомендует предприятиям использовать сервис Transfer Appliance в тех случаях, когда для загрузки данных в облако через Интернет потребуется более недели, или когда необходимо перенести более 60 Тбайт данных. Ещё один вариант использования устройства — сбор данных в полевых условиях и на подвижных объектах, таких как корабли. По прибытии в порт их можно легко перенести в облако для последующей обработки или архивирования.

Следует отметить, что сервис особенно полезен в условиях недостаточной пропускной способности каналов передачи данных или отсутствия возможности подключения к Интернет. Несмотря на то, что данная концепция не нова и компании десятилетиями отправляли данные на физические устройства для архивирования и аварийного восстановления, она не утратила своей актуальности и сегодня. Аналогичные решения есть у всех крупных облачных провайдеров.