Компания Intel анонсировала четвёртое поколение серверных процессоров Xeon Scalable под кодовым именем Sapphire Rapids. Его особенностям посвящена отдельная заметка, отметим лишь, что новые Xeon отличаются высокой универсальностью благодаря полноценной поддержке AVX-512, расширений AMX и наличию ряда интегрированных ускорителей — QAT, DSA, DLB и IAA.

Часть производителей серверов анонсировала обновление модельного ряда ещё в конце прошлого года, а часть решила дождаться официального анонса Intel. Так, HPE переименовала серию серверов Apollo 4000 в Alletra 4000; в новой серии дебютировало пока две модели, Alletra 4110 и 4120, и обе построены именно на базе Sapphire Rapids.

Несмотря на компактные габариты (1U) Alletra 4110 обладает серьёзными возможностями как в области процессорных мощностей, неся на борту два новых Xeon (вплоть до 48-ядерных Platinum 8648) с 3 Тбайт RAM, так и в области хранения данных с 20 отсеками EDSFF E3.S (суммарно до 307,2 Тбайт). Последние подключены к шине PCI Express 5.0 и обеспечивают совокупную скорость обмена данными до 315 Гбайт/с. В другом варианте используется двухуровневая корзина на 20 накопителей формата SFF. Благодаря расширенным возможностям Sapphire Rapids новинка отлично подойдет для систем машинного обучения, СУБД, а также в качестве узла гиперконвергентной инфраструктуры.

HPE Alletra 4110 в версии 20EDSFF. Здесь и далее источник изображений: HPE

Вариант Alletra 4110 с 20 накопителями SFF

Платформа Alletra 4120 — замена Apollo 4200 Gen10 и дополнение Apollo 4200 Gen10 Plus. Она использует корпус высотой 2U, в котором может быть установлено 1 или 2 контроллера на базе новых Xeon (до Platinum 8648) с общим объёмом оперативной памяти до 6 Тбайт. Дисковая система, как и у предшествующих моделей, здесь гибридная: корзины в передней части могут вмещать либо 24 диска формата LFF, либо 48 более компактных SFF, в задней же части устанавливается ещё 4 LFF, 12 EDSFF или 6 SFF-накопителей.

HPE Alletra 4120, вариант с 24 полноразмерными накопителями LFF

При этом поддерживаются диски с интерфейсами SAS-4, SATA-3 и NVMe PCIe 5.0; для последних обеспечивается пропускная способность до 225,6 Гбайт/с. Предельная ёмкость дисковой системы составляет 734,4 Тбайт при использовании SAS-дисков. Сервер хорошо подходит для любых задач, связанных с хранением больших объёмов данных, от хранилища наборов данных машинной аналитики до задач архивации и защиты ценной информации.

Гибкость конфигурирования подсистемы хранения данных новинка унаследовала у Apollo 4200 Gen10 Plus

Обе новинки HPE поддерживают концепцию Zero Trust. За удалённое управление отвечает фирменная технология HPE iLO 6. В случае подключения к облачной платформе HPE GreenLake применяется пятифакторная модель аутентификации. Доступны новинки станут во II квартале 2023 года.

Компания QNAP Systems анонсировала первые NAS модельного ряда 2023 года: дебютировали решения TBS-574X и TS-AI642, выполненные на аппаратных платформах Intel Alder Lake-P и Rockchip соответственно. Каждая из этих систем, как утверждается, обладает уникальными особенностями.

Модель TBS-574X — это первое сетевое хранилище QNAP типа All-Flash, которое поддерживает NVMe-накопители E1.S с «горячей» заменой. В основу положен процессор Intel Core i3-1220P (8 E-ядер, 2 P-ядра; 12 потоков; до 3,3/4,4 ГГц; 12 Мбайт L3-кеш), работающий в тандеме с 16 Гбайт RAM. Возможна установка пяти модулей E1.S толщиной до 15 мм. Максимальная суммарная вместимость превышает 30 Тбайт в конфигурации 5 × 7,68 Тбайт. Говорится о поддержке 2.5GbE/10GbE, а также о наличии двух портов USB4 и интерфейса HDMI с возможностью вывода изображения в формате 4K.

В свою очередь, устройство TS-AI642 является одним из самых производительных Arm-хранилищ QNAP. «Сердцем» стал чип Rockchip RK3588 с квартетами ядер Cortex-A76 и Cortex-A55 с частотой 2,2 и 1,8 ГГц соответственно. В состав изделия входит нейропроцессорный модуль (NPU) с быстродействием до 6 TOPS. Есть шесть отсеков для накопителей, 4К-интерфейс HDMI, контроллер 2.5GbE и слот PCIe 3.0 для карты расширения 10GbE.

Источник изображения: QNAP Systems

Устройство TBS-574X подходит для интенсивных нагрузок по обработке видеоматериалов. У данной модели каждый из слотов для накопителей оснащён адаптером E1.S ↔ M.2 2280, что обеспечивает гибкость использования. Версия TS-AI642 подойдёт для ИИ-приложений, в частности, видеонаблюдения, а также распознавания лиц.

Компания Meta✴ намерена пересмотреть концепцию ряда проектов по созданию новых ЦОД с целью их адаптации под ИИ-нагрузки, сообщает DataCentre Dynamics. Это подразумевает расторжение контрактов с некоторыми нынешними подрядчиками и изменение сроков строительства дата-центров.

В начале февраля 2022 года сообщалось, что Meta✴ продолжит увеличивать инвестиции в ЦОД и сетевую инфраструктуру. В частности, компания намеревалась потратить €1 млрд на строительство дата-центра в Испании для обслуживания метавселенной. Позднее стало известно, что Meta✴ была вынуждена отказаться от планов по развёртыванию в Нидерландах крупнейшего в Европе кампуса ЦОД. Тем не менее, в отчёте за III квартал компания подтвердила намерение и далее инвестировать средства в развитие инфраструктуры.

Источник изображения: Meta✴

Теперь же говорится, что компания намерена кардинально изменить подход к строительству ряда новых дата-центров. Речь идёт об 11 проектах, находящихся на стадии разработки и планирования. Сообщается, что для поддержки масштабных ИИ-нагрузок требуется другой подход к архитектуре ЦОД, нежели тот, который использовался для поддержки работы обычных онлайн-сервисов Meta✴. Речь, в частности, идёт о применении СЖО для повышения энергетической эффективности и снижения уровня шума.

Meta✴ уже приостановила работы над двумя объектами в своем кампусе в Оденсе (Дания). Контракт с генеральным подрядчиком Aarsleff в рамках этого проекта расторгнут. Соответствующий договор стоимостью $343 млн был подписан 3 августа 2022 года с запланированным сроком исполнения в 2025 году. Уже были выполнены земляные и бетонные работы, а также проложены километры кабельных траншей. Как теперь сложится дальнейшая судьба проекта, не ясно. Но специалисты говорят, что Meta✴, вероятно, сосредоточит усилия на ЦОД нового поколения с жидкостным охлаждением.

UPD: Meta✴ временно приостановила начатое весной этого строительство ещё одного крупного дата-центра (83,6 тыс м²) в Темпле (Техас, США), сообщив, что проект отменён не будет, но дизайн ЦОД будет пересмотрен. Также компания остановила уже начатые работы по расширению кампуса ЦОД в Алабаме до 325 тыс. м² и строительство $800-млн ЦОД в Айдахо.

Компания Exascend анонсировала SSD семейств SI3 и SE3 на основе чипов флеш-памяти 3D TLC. Изделия используют интерфейс SATA-3, а вместимость варьируется от 120 Гбайт до 7,68 Тбайт. Новинки доступны в разных форм-факторах — М.2 и SFF.

Накопители серии SI3 отличаются расширенным диапазоном рабочих температур — от -40 до +85 °C. Они подходят для таких областей, как телекоммуникации, периферийные вычисления, аэрокосмические и транспортные системы. Устройства предлагаются в вариантах исполнения M.2 2280, 2260, 2242, а также mSATA и SFF. Заявленная скорость последовательного чтения информации достигает 550 Мбайт/с, скорость последовательной записи — 535 Мбайт/с. Показатель IOPS при произвольном чтении данных блоками по 4 Кбайт составляет до 85 000, при произвольной записи — до 70 000.

Источник изображений: Exascend

Решения семейства SE3 (М.2 2280 и SFF), в свою очередь, оптимизированы под корпоративные нагрузки. Диапазон рабочих температур простирается от 0 до +70 °C. Скорость последовательного чтения и записи — до 550 и 535 Мбайт/с соответственно. Значение IOPS в зависимости от модификации варьируется от 80 000 до 95 000 при чтении и от 16 000 до 50 000 при записи.

Для устройств заявлена поддержка TCG Opal, шифрования AES-256, средств управления питанием Power Tuning и технологии оптимизации производительности SuperCruise. Величина MTBF достигает 2 млн часов. На накопители серий SI3 и SE3 предоставляется гарантия сроком три и пять лет соответственно.

Индийская телекоммуникационная компания Bharti Airtel и американский технологический гигант Meta✴ объявили о заключении соглашения о сотрудничестве с целью укрепления цифровой экосистемы Индии. В рамках сотрудничества Airtel совместно с Meta✴ и Saudi Telecom Company (STC) выполнит прокладку следующего сегмента подводного кабеля 2Africa Pearls до станции (CLS) Airtel в Мумбаи.

2Africa — самая протяжённая в мире подводная кабельная система, которая после добавления сегмента Pearls, как ожидается, обеспечит быстрый интернет-доступ для почти 3 млрд человек. После запуска в 2023–2024 гг. кабель обеспечит перекрёстное соединение между 33 странами в Африке, на Ближнем Востоке и Европе через 46 наземных станций. В проекте участвуют Telecom Egypt, China Mobile International, MTN GlobalConnect, Orange, STC, Vodafone и West Indian Ocean Cable Company (WIOCC).

Источник изображения: 2Africa

Airtel и Meta✴ планируют совместно инвестировать в сетевую инфраструктуру и цифровые решения в Индии для продвижения CPaaS-решений (коммуникационная платформа как услуга) в стране. Наземная станция Bharti Airtel в Мумбаи также является отправной точкой для кабельных систем SEA-ME-WE 4 и Europe India Gateway (EIG). В этом районе есть ещё две станции, одна из которых принадлежит Reliance Globalcom, а вторая — Tata Communications.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

Источник изображения: Meta/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

Компания SMART Modular Technologies анонсировала накопители семейства DC4800, предназначенные для дата-центров, систем периферийных вычислений, гиперконвергентных инфраструктур и оборудования корпоративного класса. Новинки будут доступны в вариантах исполнения U.2 и E1.S.

В основу изделий, как утверждается, положены инновационный контроллер и ПО с улучшенной архитектурой. Применены микрочипы флеш-памяти 3D TLC; обмен данными осуществляется через интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4).

В серию вошли модели вместимостью 1,92, 3,84 и 7,68 Тбайт. Заявленная скорость последовательного чтения информации достигает 7100 Мбайт/с, скорость последовательной записи — 4600 Мбайт/с. Значение IOPS при произвольном чтении и записи данных по 4 Кбайт — до 1 490 000 и 180 000 соответственно. Задержка при произвольном чтении равна 80 мкс, при произвольной записи — 15 мкс.

Источник изображения: SMART Modular Technologies

Говорится о соответствии стандарту Open Compute Project (OCP) 1.0, поддержке TCG Opal 2.0 и о возможности шифрования данных по алгоритму AES с 256-битным ключом. Значение MTBF превышает 2 млн часов. Диапазон рабочих температур — от 0 до +70 °C. Энергопотребление в активном режиме составляет менее 13 Вт. Более подробную информацию о накопителях можно найти на этой странице.

Компания Kioxia анонсировала твердотельные накопители CM7 корпоративного класса, оптимизированные для использования в высокопроизводительных и высокоэффективных серверах, а также системах хранения данных. Уже начаты отгрузки устройств некоторым заказчикам.

Изделия серии CM7 доступны в двух вариантах исполнения: EDSFF E3.S и SFF толщиной 15 мм. Задействован интерфейс PCIe 5.0 (спецификация NVMe 2.0): утверждается, что по сравнению с накопителями предыдущего поколения производительность увеличилась в два раза.

Заявленная скорость чтения информации достигает 14 Гбайт/с; скорость записи не уточняется. Заказчики смогут выбирать между устройствами с разным уровнем надёжности: 1 DWPD (полных перезаписей в сутки) и 3 DWPD. В первом случае вместимость достигает 30,72 Тбайт, во втором — 12,80 Тбайт.

Источник изображения: Kioxia

Накопители CM7 имеют двухпортовую конструкцию. Среди поддерживаемых функций названы SR-IOV, CMB, Multistream writes, SGL. Говорится о поддержке TCG-Opal в соответствии со стандартом FIPS 140-3. Наконец, упомянуты средства обеспечения безопасности Flash Die Failure Protection.

Компания Meta✴ приступила к расширению кампуса дата-центров DeKalb в штате Иллинойс (США), которые, как предполагается, будут применяться для дальнейшего развития метавселенной. Для того, чтобы разработать материал для новых построек, Meta✴ прибегла к помощи искусственного интеллекта — специально подобранные «зелёные» компоненты позволят частично заменить традиционный бетон.

Цемент является основой множества современных строительных материалов, применяемых в промышленных масштабах — по имеющейся статистике на его производство приходится порядка 8 % всех углеродных выбросов в мире. Для того, чтобы создать более приемлемую для экологии альтернативу, Meta✴ объединила усилия с Университетом Иллинойса в Урбане-Шампейне (UIUC), Массачусетским технологическим институтом (MIT) и IBM.

Источник изображения: tech.fb.com

При участии системы искусственного интеллекта была обработана база данных со сведениями о характеристиках и компонентах бетонов. В результате проведённой работы была подобрана смесь летучей золы и шлака, способная частично заменить классический цемент. Полученные данные были переданы поставщику бетона — компании Ozinga, которая оптимизировала смесь исходя из своего опыта и доступности материалов, сохранив при этом необходимую прочность.

Новый «зелёный» бетон, по оценкам Meta✴, обеспечивает на 40 % меньший углеродный выброс при создании. Помимо двух уже строящихся зданий для кампуса будут построены ещё три с использованием новых технологий. По имеющимся сведениям, новую смесь уже применили при строительстве второстепенных объектов. Общая площадь зданий ЦОД составит более 222 тыс. м².

Источник изображения: tech.fb.com

Как и многие штаты, Иллинойс предложил в 2019 году налоговые льготы на ЦОД-оборудование для привлечения операторов. Meta✴ так и не воспользовалась данными преимуществами, но от послаблений при расчётах налога на собственность не отказалась. После введения объектов в эксплуатацию новые ЦОД не только будут способствовать расширению метавселенной, но и обеспечат работой более 200 человек.

На момент первого анонса проекта Meta✴ обещала, что кампус будет использовать 100 % возобновляемой энергии, а строения получат золотой сертификат Leadership in Energy and Environmental Design (LEED) за экологическую безопасность конструкции. Общий объёмы инвестиций в кампус в Иллинойсе составят более $1 млрд. Ранее сообщалась, что Meta✴ активно наращивает инвестиции в строительство ЦОД и сетевую инфраструктуру по всему миру.

Meta✴ (ранее Facebook✴) анонсировала новый крупномасштабный исследовательский кластер — ИИ-суперкомпьютер Meta✴ AI Research SuperCluster (RSC), предназначенный для ускорения решения задач в таких областях, как обработка естественного языка (NLP) с обучением всё более крупных моделей и разработка систем компьютерного зрения.

На текущий момент Meta✴ RSC состоит из 760 систем NVIDIA DGX A100 — всего 6080 ускорителей. К июлю этого года, как ожидается, система будет включать уже 16 тыс. ускорителей. Meta✴ ожидает, что RSC станет самым мощным ИИ-суперкомпьютером в мире с производительностью порядка 5 Эфлопс в вычислениях смешанной точности. Близкой по производительность системой станет суперкомпьютер Leonardo, который получит 14 тыс. NVIDIA A100.

Изображения: Meta✴

Meta✴ RSC будет в 20 раз быстрее в задачах компьютерного зрения и в 3 раза быстрее в обучении больших NLP-моделей (счёт идёт уже на десятки миллиардов параметров), чем кластер Meta✴ предыдущего поколения, который включает 22 тыс. NVIDIA V100. Любопытно, что даже при грубой оценке производительности этого кластера он наверняка бы попал в тройку самых быстрых машин нынешнего списка TOP500.

Новый же кластер создаётся с прицелом на возможность обучения моделей с триллионом параметров на наборах данных объёмом порядка 1 Эбайт. Именно такого объёма хранилище планируется создать для Meta✴ RSC. Сейчас же система включает массив Pure Storage FlashArray объемом 175 Пбайт, 46 Пбайт кеш-памяти на базе систем Penguin Computing Altus и массив Pure Storage FlashBlade ёмкостью 10 Пбайт. Вероятно, именно этой СХД и хвасталась Pure Storage несколько месяцев назад, не уточнив, правда, что речь шла об HPC-сегменте.

Итоговая пропускная способность хранилища должна составить 16 Тбайт/с. Meta✴ RSC сможет обучать модели машинного обучения на реальных данных, полученных из социальных сетей компании. В качестве основного интерконнекта используются коммутаторы NVIDIA Quantum и адаптеры HDR InfiniBand (200 Гбит/с), причём, судя по видео, с жидкостным охлаждением. Каждому ускорителю полагается выделенное подключение. Фабрика представлена двухуровневой сетью Клоза.

Meta✴ также разработала службу хранения AI Research Store (AIRStore) для удовлетворения растущих требований RSC к пропускной способности и ёмкости. AIRStore выполняет предварительную обработку данных для обучения ИИ-моделей и предназначена для оптимизации скорости передачи. Компания отдельно подчёркивает, что все данные проходят проверку на корректность анонимизации. Более того, имеется сквозное шифрование — данные расшифровываются только в памяти узлов, а ключи регулярно меняются.

Однако ни о стоимости проекта, ни о потребляемой мощности, ни о физическом местоположении Meta✴ RSC, ни даже о том, почему были выбраны узлы DGX, а не HGX (или вообще другие ускорители), Meta✴ не рассказала. Для NVIDIA же эта машина определённо стала очень крупным и важным заказом.