Российская компания Gagar>n, занимающаяся производством оборудования корпоративного класса и ПО, анонсировала OCP-серверы «Оракул Gen 3» и «Простор Gen 1», которые, как утверждается, подходят для решения широкого спектра задач. В основу новинок, разработанных в России, положена аппаратная платформа Intel.

Модель «Оракул Gen 3» может применяться для построения горизонтально-масштабируемых систем хранения и обработки данных. Сервер выполнен в формате 2OU и может размещаться в шкафу стандарта OCP Rack v2. Устройство способно нести на борту два процессора Intel Xeon поколения Ice Lake-SP (до 40 ядер; TDP до 270 Вт) и 32 модуля оперативной памяти DDR4-3200 суммарным объёмом до 8 Тбайт.

Доступны три слота PCIe 4.0 x16, а также по одному разъёму PCIe 4.0 x8 и OCP 3.0 x16. Основная подсистема хранения данных включает до восьми SFF-накопителей U.2 NVMe/SATA на передней панели с поддержкой горячей замены. Кроме того, в зависимости от модификации допускается дополнительная установка 24 изделий формата SFF с интерфейсом SAS/SATA или 16 накопителей SFF U.2/NVMe или же 12 накопителей LFF с интерфейсом SAS/SATA. Есть и два коннектора M.2 PCIe.

Источник изображений: Gagar>n

В свою очередь, сервер «Простор Gen 1» стандарта 2OU комплектуется двумя процессорами Intel Xeon Cascade Lake-SP (до 28 ядер; TDP до 205 Вт). Предусмотрены 12 слотов для модулей DDR4-2933 суммарным объёмом до 1,5 Тбайт. Есть по одному разъёму PCIe 3.0 x16 и OCP 2.0 x16.

Возможна установка до четырёх накопителей SFF NVMe SSD с поддержкой горячей замены, а также до 16 изделий SFF NVMe SSD или LFF SAS/SATA HDD. Плюс к этому доступен один коннектор М.2. Система подходит для организации файлового, блочного и объектного хранения.

Серверы оснащены сетевым портом 1GbE RJ-45 и портами USB 3.0 Type-A. Применяются вентиляторы охлаждения диаметром 80 мм. Заявлена совместимость с платформами РОСА, Red OS, Astra Linux, ALT Linux, Red Hat, VMware и др.

Широко анонсированная программа импортозамещения в области ИТ-технологий хотя и приносит свои плоды, но сталкивается с серьёзными проблемами. Тем не менее, российские производители стараются освоить и использовать современные архитектуры и технологии. Так, компания Delta Computers представила первый в России OCP-сервер, работающий с процессорами Intel Xeon Sapphire Rapids и Emerald Rapids.

Новинка, получившая имя Delta Serval, поддерживает установку двух CPU. А стандартное шасси 2OU вмещает два узла, так что в максимальной конфигурации можно получить сразу 256 ядер. Поддержка наиболее современных процессорами Intel позволяет использовать Serval в самых высоконагруженных сценариях — для крупномасштабных баз данных, ИИ и HPC. А соседство в одной OCP-стойке с Delta Sprut, который допускает установку 8 двухслотовых ускорителей или же 16 однослотовых, ещё больше расширяет возможности Serval.

С точки зрения базовых технических характеристик всё аналогично другим решениям с разъёмом LGA 4667. Поддерживается установка 60-ядерных Sapphire Rapids и 64-ядерных Emerald Rapids с TDP до 350 Вт. Доступно 32 слота дя модулей памяти DDR5-4800/5200/5600 суммарный объёмом до 8 Тбайт.

Источник изображений: Delta Computers

В качестве основной шины используется PCI Express 5.0: один слот OCP 3.0 + либо пара x16 (HHHL), либо один x16 и два x8 (все HHHL). Возможна установка либо восьми U.2 NVMe SSD высотой 7 мм, либо четырёх высотой 15 мм. Выведены порты USB 3.0, mini-VGA и 1GbE RJ45.

Есть у Delta Serval и важное отличие от западных решений — он работает под управлением разработанных собственными силами Delta BIOS и Delta BMC. Это позволяет гарантировать дополнительный уровень безопасности. Обе прошивки включены в реестр Минцифры РФ, а Delta BMC сертифицирована ФСТЭК на соответствие четвёртому уровню доверия. Сам Delta Serval уже внесён в реестр радиоэлектронной продукции Министерства промышленности и торговли Российской Федерации.

Корпорация Intel, по сообщениям сетевых источников, расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, поддерживающих ресурсоёмкие задачи, в частности, приложения ИИ.

В проекте принимают участие компании Kenmec и Auras Technology. Кроме того, Intel сотрудничает с Тайваньским институтом промышленных исследований (ITRI): стороны намерены сформировать новую лабораторию для сертификации технологий охлаждения НРС-систем на соответствие международным стандартам.

Источник изображения: Intel

Инициатива Intel предусматривает создание первого в отрасли открытого решения для развёртывания полноценных систем иммерсионного (погружного) охлаждения. Кроме того, будет предложен эталонный дизайн такой платформы. Предполагается, что технология поможет поднять производительность ЦОД. Intel говорит о разработке модульной системы охлаждения на основе сверхтекучей жидкости, которая обеспечит возможность отвода тепла от компонентов мощностью 1500 Вт и более.

Новая СЖО, как ожидается, будет внедряться в тайваньских и международных дата-центрах. Отмечается, что ЦОД, ориентированные на задачи ИИ, требуют всё большей плотности размещения компонентов при повышении энергоэффективности и надёжности. Во многом достижение этих показателей зависит от возможностей систем охлаждения.

Kenmec уже предлагает ряд продуктов для жидкостного охлаждения — от блоков распределения охлаждающей жидкости (CDU) до специализированных стоек Open Rack version 3 (ORv3). Причем некоторые такие решения уже сертифицированы Intel.

Компания Delta Computers объявила о выпуске первой отечественной аппаратной OCP-платформы для ИИ-ускорителей — решения под названием Delta Sprut. Это специализированный модуль расширения (JBOG), допускающий подключение дополнительных PCIe-устройств к вычислительным узлам.

Модуль Delta Sprut, выполненный в форм-факторе 2OU поддерживает интерфейс PCIe 4.0. Имеются четыре разъёма PCIe 4.0 x16 с возможностью установки четырёх карт HHHL или двух изделий FHFL мощностью до 350 Вт. Говорится о совместимости с вычислительными узлами Delta Tioga Pass и Delta Bright Lake. Допускается подключение к двум хостам.

Источник изображений: Delta Computers

Модуль Delta Sprut позволяет в режиме каскадирования подключать к одному вычислительному блоку до восьми GPU двойной или до 16 GPU стандартной высоты, что, как утверждается, устанавливает рекорд плотности в 160 GPU в одном OCP-шасси. В частности, могут быть задействованы ускорители NVIDIA А100 и NVIDIA H100, а также AMD Instinct. Для устройств NVIDIA поддерживается попарное объединение мостами NVLink.

Среди ключевых областей применения Delta Sprut названы системы ИИ и машинного обучения, платформы класса ChatGPT, HPC и 3D VDI. Имеется возможность расширения подсистемы хранения на базе Delta Argut — до 120 U.2-накопителей NVMe SSD. Модульная конструкция упрощает доступ ко всем его компонентам: для обслуживания не требуются инструменты. Ожидается, что в январе 2024 года Delta Sprut войдёт в реестр Минпромторга РФ.

Сегодня на наших глазах в мире процессоростроения происходит серьёзная смена парадигм: от унифицированных архитектур общего назначения и монолитных решений разработчики уходят в сторону модульности и активного использования специфических аппаратных ускорителей. Разумеется Arm не осталась в стороне — на мероприятии 2023 OCP Global Summit компания рассказала о новой инициативе Arm Total Design.

Эта инициатива должна помочь как создателям новых процессоров за счёт ускорения процесса разработки и снижения его стоимости, так и владельцам крупных вычислительных инфраструктур. Последние всё больше склоняются к специализации и дифференциации в процессорных архитектурах новых поколений, но ожидают также энергоэффективности, дружественности к экологии и как можно более низкой совокупной стоимости владения.

Источник изображений здесь и далее: Arm

В основе инициативы Arm лежит анонсированная ещё в августе на HotChips 2023 процессорная платформа Arm Neoverse Compute Subsystem (CSS). Neoverse CSS N2 (Genesis) представляет собой готовый набор IP-решений Arm, включающий в себя процессорные ядра, внутреннюю систему интерконнекта, подсистемы памяти, ввода-вывода, управлениям питанием, но оставляющий место для интеграции партнёрских разработок — различных движков, ускорителей и т.п.

По сути, речь идёт о почти готовых процессорах, не требующих длительной разработки процессорной части с нуля и всех связанных с этим процессом действий — верификации, тестирования на FPGA, валидации дизайна и многого другого. По словам Arm такой подход позволяет сэкономить разработчикам до 80 человеко-лет труда инженеров.

Дизайн Neoverse CSS N2 довольно гибок: финальный процессор может включать в себя от 24 до 64 ядер Arm, работающих в частотном диапазоне 2,1–3,6 ГГц. Предусмотрено по 64 Кбайт кеша инструкций и данных, а вот объёмы кешей L2 и L3 настраиваются и могут достигать 1 и 64 Мбайт соответственно. Ядра реализуют набор инструкций Arm v9 и содержат по два 128-битных векторных блока SVE2. Имеется поддержка инструкций, характерных для ИИ-задач и криптографиии.

Подсистема памяти может иметь до 8 каналов DDR5, а возможности ввода-вывода включают в себя 4 блока по 16 линий PCIe или CXL. Также возможно объединение двух чипов CSS N2 в едином корпусе, что даёт до 128 ядер на чип. В качестве внутреннего интерконнекта используется меш-сеть Neoverse CMN-700.

В дизайне Neoverse CSS N2 имеются и вспомогательные ядра Cortex-M7. Они работают в составе блоков System Control Processor (SCP) и Management Control Processor (MCP), то есть управляют работой основного вычислительного массива, в том числе отвечая за его питание и тактовые частоты.

Инициатива Arm Total Design расширяет рамки Neoverse Compute Subsystem: речь идёт о создании полноценной экосистемы, обеспечивающей эффективную коммуникацию между партнёрами программы Neoverse CSS и предоставление им полноценного IP-инструментария и EDA, созданных при участии Cadence, Rambus, Synopsys и др.

Также подразумевается поддержка ведущих производителей «кремния» и разработчиков прошивок, в частности, AMI. В число участников проекта уже вошли такие компании, как ADTechnology, Alphawave Semi, Broadcom, Capgemini, Faraday, Socionext и Sondrel. Ожидается поддержка от Intel Foundry Services и TSMC, позволяющая говорить об эффективной реализации необходимых для мультичиповых решений технологий AMBA CHI C2C и UCIe.

Будучи объединённым под одной крышей инициативы Arm Total Design, такой конгломерат ведущих разработчиков и производителей микроэлектроники и системного ПО для него, сможет в кратчайшие сроки не просто создавать новые процессоры, но и гибко отвечать на вызовы рынка ЦОД и HPC, наделяя чипы поддержкой востребованных технологий и ускорителей.

В качестве примера можно привести совместный проект Arm, Socionext и TSMC, в рамках которого ведётся разработка универсального чиплетного процессора, который в различных вариантах компоновки будет востребован гиперскейлерами, поставщиками инфраструктуры 5G/6G и разработчиками периферийных ИИ-систем.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) рассказала о планах по внедрению жидкостного охлаждения в своих ЦОД. Речь идёт об использовании гибридной системы AALC (Air-Assisted Liquid Cooling), предусматривающей совмещение компонентов воздушного охлаждения и жидкостного контура.

Отмечается, что по мере развития машинного обучения и метавселенных всё острее встаёт проблема эффективного отвода тепла от оборудования. Дело в том, что внедряемые алгоритмы требуют больших вычислительных мощностей, что приводит к увеличению энергозатрат. Система AALC предназначена для охлаждения серверов в ЦОД, которые изначально могли быть и не спроектированы под использование СЖО. Отметим, что QCT уже представила аналогичное, полностью интегрированное решение.

Источник изображений: Meta✴

AALC совместима со стойкой Open Rack v3 (ORV3), которая, впрочем, может интегрироваться и с другими вариантами СЖО. Система AALC в исполнении Meta✴ использует водоблоки для самых горячих компонентов, которые подключаются к отдельной стойке с помпами и прочим оборудованием. На задней панели или двери стойки располагается теплообменник, позволяющий охлаждать жидкость за счёт воздуха, циркулирующего в ЦОД. Прототипы решения справляются с охлаждением оборудования мощностью до 40 кВт на стойку.

ORV3 также предлагает общую архитектуру стойки и подсистемы питания для устранения разрыва между нынешними и будущими ЦОД. Обеспечивается широкий спектр вариантов использования, включая поддержку Grand Teton. Модуль питания для общей на всю стойку шины 48 В DC не имеет жёстко определённого расположения и может устанавливается в любом месте стойки, что обеспечивает гибкость конфигурации. При этом он может быть не один, так что пиковая мощность может достигать 30 кВт на стойку.

Усовершенствованный ИБП обеспечивает работу в течение 4 мин. при мощности 15 кВт (против 1,5 мин. у решения предыдущего поколения). Этот блок также может монтироваться в любом месте стойки, а дополнительно возможно применение второго резервного блока. Всё это позволит Meta✴ уже сейчас развёртывать в ЦОД высокоплотную инфраструктуру для ИИ и иных требовательных к питанию и охлаждению решений.

В ходе саммита OCP (Open Compute Project) анонсирована открытая спецификация Caliptra 0.5, призванная повысить безопасность процессоров, ускорителей, накопителей и практически любых систем-на-чипе (SoC). Речь идёт об аппаратной реализации технологии Root of Trust (RoT). Она предназначена для проверки целостности и подлинности прошивок и другого встроенного, а также системного программного обеспечения.

RoT гарантирует, что только доверенное ПО может исполняться на чипе. Отмечается, что традиционно средства RoT отделены от SoC и обычно обеспечиваются материнской платой. Однако новые бизнес-модели, предполагающие периферийные и облачные вычисления, предъявляют повышенные требования к обеспечению безопасности. Спецификация Caliptra 0.5 как раз и решает данную проблему.

Источник изображений: Caliptra

В разработке решения приняли участие AMD, Google, Microsoft и NVIDIA. Спецификация будет поддерживаться различными аппаратными изделиями следующего поколения — CPU, GPU, SSD, NIC и иные ASIC. Отмечается, что Caliptra 0.5 RTL (IP-блоки на базе RISC-V с необходимой обвязкой) распространяется через CHIPS Alliance (Common Hardware for Interfaces, Processors and Systems) — консорциум, который работает над созданием целого спектра открытых решений для SoC и высокоплотных упаковок чипов.

«Существует потребность в улучшенной прозрачности и согласованности низкоуровневой аппаратной безопасности. Мы открываем исходный код Caliptra вместе с нашими партнёрами для удовлетворения этих потребностей», — отмечает Microsoft. Также компания совместно с Google, Infineon и Intel представила Project Kirkland, направленный на создание защищённого канала связи между CPU и TPM с использованием программных средств.

Источник: Microsoft

Спецификация Caliptra 0.5 доступна здесь для оценки. На основе отзывов будет выработан окончательный стандарт, отвечающий различным потребностям в зависимости от варианта использования. Кроме того, доступен исходный код, что поможет членам сообщества интегрировать решение в свои микросхемы. Говорится также, что выход спецификации знаменует собой важный шаг вперёд в сторону общеотраслевого сотрудничества в области информационной безопасности.

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

Изображение: Qarnot (via DataCenterDynamics)

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.

В России неподалёку от Рязани, на территории индустриального парка «Рязанский», началось строительство нового завода по производству серверов. Проект реализуется совместным предприятием, созданным «Яндексом», группой компаний «ЛАНИТ», разработчиком компьютерной техники Gigabyte и банком ВТБ.

На заводе будет выпускаться оборудование под торговой маркой Openyard. В частности, планируется организовать производство серверов, систем хранения данных, шлюзов и компонентов умных устройств.

Участники проекта на начальном этапе вложат в новую производственную площадку более миллиарда рублей. Пуско-наладочные работы намечены на третий квартал следующего года: их выполнят специалисты Gigabyte. Первый сервер со сборочных линий должен сойти до конца 2022-го.

«Первая очередь будет включать производственные линии, лаборатории и тестовые зоны. Здесь будут выполняться все операции, начиная от поверхностного монтажа компонентов и заканчивая испытаниями готовой продукции», — говорится в сообщении.

Фото: Яндекс

Производимые в Рязани серверы будут спроектированы на основе разработок и технологий «Яндекса». Отмечается, что выбор места для строительства завода продиктован хорошей транспортной доступностью, наличием необходимых коммуникаций и близостью учебных заведений, которые готовят профильных специалистов.