Компания GigaIO объявила о заключении соглашения по созданию инфраструктуры для специализированного ИИ-облака TensorNODE, которое создаётся провайдером TensorWave. В составе платформы будут применяться ускорители AMD Instinct MI300X, оснащённые 192 Гбайт памяти HBM3.

Основой TensorNODE послужат мини-кластеры SuperNODE, дебютировавшие летом уходящего года. Особенность этого решения заключается в том, что оно позволяет связать воедино 32 и даже 64 ускорителя посредством распределённого интерконнекта на базе PCI Express.

TensorWave будет использовать FabreX для формирования пулов памяти петабайтного масштаба. На первом этапе в начале 2024 года платформа TensorNODE объединит до 5760 ускорителей Instinct MI300X в одном домене. Таким образом, при решении сложных задач можно будет получить доступ более чем к 1 Пбайт памяти с любого узла. Это, как отмечается, позволит обрабатывать даже самые ресурсоёмкие нагрузки в рекордно короткие сроки.

Источник изображения: GigaIO

В течение следующего года планируется развернуть несколько систем TensorNODE. Архитектура GigaIO обеспечит улучшенную гибкость по сравнению с традиционными решениями: инфраструктуру можно будет оптимизировать «на лету» для удовлетворения как текущих, так и будущих потребностей в области ИИ и больших языковых моделей (LLM).

Отмечается, что TensorNODE полностью базируется на ключевых компонентах AMD. Помимо ускорителей Instinct MI300X, это процессоры EPYC Genoa. Облако TensorWave обеспечит снижение энергозатрат и общей стоимости владения благодаря исключению из конфигурации избыточных серверов и связанного с ними сетевого оборудования.

Компания iKS-Consulting опубликовала результаты исследования рынка коммерческих ЦОД в России. В нём отмечено, что пессимистические прогнозы экспертов подтвердились лишь частично, и отрасль ЦОД в России в 2022 году не снизила обороты, а прирастила число введенных стойко-мест на 10,8 % год к году. На конец исследуемого периода число стойко-мест в России составило 58,3 тыс. По итогам 2023 года ожидается прирост на 20,9 % — до 70,1 тыс. стойко-мест.

После ухода из страны ведущих западных брендов и введения санкций привычную систему поставок оборудования через дистрибьюторов заменила система параллельного импорта с переходом на оборудование российских и китайских производителей, что привело к увеличению сроков поставок и необходимости вносить изменения в проекты. Вместе с тем сократились зарубежные инвестиции в строительство ЦОД, цикл возврата которых составляет до 10 лет, что привело к проблемам с поиском финансирования.

Динамика роста числа стойко-мест в РФ, тыс. ед. (Источник здесь и далее: iKS-Consulting)

«Несмотря на обозначенные проблемы, игроки рынка продолжают строить новые ЦОД», — отметили в iKS-Consulting. В 2023 году аналитики ожидают вывод на рынок колокации большого количества новых стойко-мест, в первую очередь рассчитанных на крупных клиентов — есть даже выделенные операторские залы на несколько сотен стойко-мест. Благодаря этому, как полагают в iKS-Consulting, в Московском регионе на ближайшие годы будет ликвидирован дефицит стойко-мест, наблюдавшийся последние годы.

Абсолютный прирост числа стойко-мест в ЦОД РФ (тыс. шт.)

В исследовании также отмечено, что последние пять лет продолжается рост концентрации рынка с резким увеличением доли лидеров в 2020 году после слияния двух крупнейших российских коммерческих дата-центров – «Ростелеком-ЦОД» и DataLine. Этому также способствует более динамичный рост крупных дата-центров по сравнению с увеличением рынка ЦОД. В 2020–2022 гг. наблюдался рост количества слияний и поглощений.

Доля ТОП-5 ЦОД на российском рынке (по количеству стойко-мест), %

iKS-Consulting отмечает выход рынка коммерческих ЦОД в России на стадию зрелости и его рост в денежном выражении на 25 % на фоне всеобщей цифровизации. Аналитики также отметили рост интереса к рынку коммерческих ЦОД со стороны инвесторов, представляющих технопарки, девелоперские компании, предприятия промышленности и энергетики и обладающих компетенциями в определённых аспектах, связанных со спецификой своей деятельности и касающихся строительства ЦОД.

Вместе с тем наблюдается нехватка высококвалифицированного персонала и команд по строительству и управлению ЦОД. Активное строительство новых дата-центров привело к дефициту опытных строителей и организаций, специализирующихся на проектировании, возведении и оснащении дата-центров, в связи чем высококлассные специалисты могут переходить из одного ЦОД в другой. Впрочем, рост рынка это не останавливает.

Динамика подведённой электрической мощности коммерческих ЦОД в России

По количеству введённых в эксплуатацию стойко-мест по-прежнему безусловным лидером является группа компаний «Ростелеком»/«РТК-ЦОД», на долю которой к концу 2022 года приходилось 15640 стойко-мест. При выполнении заявленных планов на конец 2023 года оператором будет введено 21,4 тыс. стойко-мест. На втором месте по результатам 2022 года была компания DataPro c долей 10,5 % (6131 стойко-место). Замыкала тройку лидеров компания IXcellerate с долей 9,3% (5443 стойко-места), но благодаря вводу новой площадки MOS 5 на территории южного кампуса она может в конце 2023 года выйти на вторую позицию.

Лидеры по подведенной электрической мощности, 2023 г., МВА

В 2021–2022 гг. аналитиками было отмечено резкое увеличение мощности благодаря открытию новых кампусов компаний IXcellerate, DataPro и других. В 2018–2020 гг. мощность коммерческих ЦОД увеличивалась на 40–55 МВт в год, но в ближайшие два–три года подведённая мощность будет увеличиваться на 110–130 МВт ежегодно. Лидерами по подведённой мощности являются дата-центры «Ростелеком-ЦОД» и IXcellerate с суммарной долей на рынке по этому показателю около 43%. На пятёрку лидеров, также включающую 3data, DataPro и МТС, приходится 62 % рынка.

На протяжении последних двух лет правительством РФ было подготовлено несколько инициатив, связанных с поддержкой развития ЦОД. Как передаёт iKS-Consulting, участники рынка полагают, что реализация комплекса мер поддержки отрасли стимулирует внутренний спрос на инфраструктуру хранения и обработки данных и повысит инвестиционную привлекательность отрасли. При этом они надеются, что государство не будет усиливать регулирование отрасли, чтобы она и далее развивалась по рыночным законам.

Оператор дата-центров Digital Edge, действующий в азиатско-тихоокеанском регионе, проводит испытания специализированного робота в ЦОД Narra 1 в Маниле (Филиппины). Как сообщает Datacenter Dynamics, прототип предназначен для сопровождения клиента по территории объекта.

По словам представителя компании, Nora используется для регистрации и своеобразного «эскорта» клиентов. Робот сопровождает посетитетелй до их серверных стоек. Поддерживается распознавание лиц для идентификации и голосовое управление. Считается, что благодаря роботу у персонала ЦОД освободится время для выполнения более сложных и насущных задач. Digital Edge и Threadborne анонсировали совместное строительство Narra 1 в 2021 году, а в этом году ЦОД начал работу. Объект рассчитан на 2200 стоек и 10 МВт мощности.

Источник изображения: Digital Edge

Судя по всему, Nora — это адаптированный робот Temi 3. Модель высотой около метра весит 12 кг и представляет собой «умного» робота-помощника, оснащённого многочисленными камерами, лидаром, микрофонами и динамиками, а также сенсорным дисплеем. Робот может передвигаться со скоростью до 1 м/с и способен проработать на одном заряде до восьми часов — зарядка осуществляется автономно, с помощью специальной док-станции.

Это не единственный проект, предусматривающий использование роботов для автоматизации некоторых задач в ЦОД. Например, Digital Realty, Novva, Oracle, Kio и Scala применяют робособак для патрулирования и сбора данных. В NTT Data представили «торс на колёсах» с роботизированными руками. Модель применяется в 15 дата-центрах и может проверять уровень влажности, температуру и прочие показатели, а также выполнять несложные задания. Над собственным роботом работает и подразделение NTT Comms.

Управление генерального инспектора (OIG) Министерства энергетики США провело проверку ЦОД Национальной лаборатории Ок-Ридж, на базе которой работают передовые суперкомпьютеры, в том числе — первая в мире экзафлопсная система Frontier. Как сообщает The Register, результаты оставляют желать лучшего.

В сентябре прошлого года в OIG поступило заявление о необходимости проверки качества обслуживания и калибровки оборудования (в первую очередь речь температурных датчиках и автоматике систем охлаждения) на площадке лаборатории, расположенной в Теннеси. Лаборатория занимается проектами в области атомной энергетики и обеспечения национальной безопасности. Доклад по результатам проверки связан с ЦОД на площадке Ок-Ридж. В одном из кампусов находится центр Oak Ridge Leadership Computing Facility (OLCF), управляющий суперкомпьютером Frontier.

Фото: ORNL

Инспекция проводилась с января по сентябрь 2023 года и подтвердила данные поступившего регулятору заявления. Согласно докладу OIG, в заявлении сообщалось, что программа калибровки не соответствовала нормам, а предохранительные клапаны (PRV) в ЦОД или совсем не обслуживались, или обслуживались недобросовестно. Сбой работы клапанов мог привести к повышению давления выше допустимых пределов, что потенциально могло нанести вред как оборудованию, так и персоналу. Как сообщают в OIG, поскольку инфраструктура не обслуживалась должным образом, этом могло ограничить доступность вычислительных ресурсов и поставить под угрозу выполнение целей миссии лаборатории.

Управление вычислительными мощностями лаборатории выполняет некоммерческая организация UT-Battelle, созданная в 2000 году исключительно для контроля над площадкой Ок-Ридж в интересах Министерства энергетики при сотрудничестве с Университетом Теннесси и некоммерческим Мемориальным институтом Баттеля.

Фото: ORNL

В OIG заявляют, что программа обслуживания UT-Battelle не соответствовала необходимым требованиям. В самой UT-Battelle сообщили регулятору, что регулярная калибровка не нужна, поскольку каждый элемент оборудования калибруется при установке, а позже системы ЦОД постоянно контролируются субподрядчиком с помощью ПО, уведомляющего об инцидентах. В OIG подчёркивают, что хотя такая практика разрешена, всё ПО должно контролироваться с помощью специальной программы обеспечения качества, описывающей, каким именно образом соблюдаются требования к безопасности.

Однако лаборатория не смогла предоставить таких документов — в UT-Battelle фактически не знают, предоставляет ли ПО корректные данные. Кроме того, UT-Battelle не проверяла вовремя все воздушные клапаны, а почти половина клапанов для воды и теплоносителя не была протестирована и/или обследована в соответствиями с инструкциями. В некоторых случаях тесты проводили в соответствии с рекомендациями производителя, а не принятыми в лаборатории правилами. UT-Battelle заявляет, что процедура проверки сейчас пересматривается.

Изображение: AMD

В отчёте OIG подчёркивается, что в 2020 году уже проводилась аналогичная проверка, выявившая буквально те же проблемы. Хотя в некоторых аспектах положение улучшилось, требуются дальнейшие меры для приведения дел в порядок. При этом в UT-Battelle полностью признали правомерность рекомендаций и согласились разработать план обеспечения качества для мониторингового ПО и обеспечить работу и обслуживание PRV-клапанов в соответствии с актуальными процедурами и требованиями.

Компания IonQ объявила о том, что её квантовые компьютеры Forte стали впервые доступны клиентам на платформе Amazon Braket в рамках программы бронирования Braket Direct. Таким образом, заказчики могут резервировать мощности различных квантовых систем по своему выбору и использовать их в удобное для себя время.

Amazon Braket — это полностью управляемый сервис квантовых вычислений, предназначенный для ускорения научных исследований и разработки ПО в соответствующей сфере. Платформа предоставляет все необходимые инструменты для создания, тестирования и запуска квантовых алгоритмов в облаке AWS.

Источник изображения: IonQ

IonQ предоставляет на базе Amazon Braket доступ к системе Forte с 29 алгоритмическими кубитами (AQ) на базе оптических ловушек ионов. Forte представляет собой универсальную машину на основе шлюзов, использующую ионизированные атомы иттербия. Внутренние состояния двух идентичных атомов составляют один кубит. Вычислительные задачи выполняются путём программирования последовательности лазерных импульсов, с помощью которых реализуется каждая из операций квантовых вентилей.

Утверждается, что 29-кубитный комплекс Forte на сегодняшний день является самым высокопроизводительным коммерческим квантовым компьютером IonQ. По программе Braket Direct клиенты платят только за период использования ресурсов системы. Пользователи могут взаимодействовать с командами разработчиков приложений IonQ, связываясь с ними напрямую через Amazon Braket. Отмечается, что IonQ — единственная компания, чьи квантовые компьютеры доступны через облака Amazon Braket, Microsoft Azure и Google Cloud, а также посредством API.

Компания Yotta Data Services объявила о заключении соглашения о сотрудничестве, в рамках которого планируется развёртывание облачной инфраструктуры Shakti Cloud — самой высокопроизводительной в Индии платформы для задач ИИ на основе GPU.

По условиям договора, Yotta закупит крупную партию ускорителей NVIDIA H100. К январю 2024 года планируется ввести в эксплуатацию 4096 ускорителей. Ещё 16 384 ускорителя войдут в состав Shakti Cloud к июню наступающего года. А к концу 2025-го инфраструктура Yotta будет насчитывать 32 768 ускорителей.

Yotta развернёт первый кластер из 16 384 ускорителей на площадке NM1 — это крупнейший в Азии дата-центр класса Tier IV, расположенный в Нави-Мумбаи на западном побережье индийского штата Махараштра. Затем Yotta создаст кластер аналогичного масштаба в D1 — своём новейшем ЦОД гиперскейл-уровня в Грейтер-Нойде недалеко от Дели. Проектная мощность Shakti Cloud составит 16 Эфлопс на операциях ИИ.

Источник изображения: NVIDIA

На базе облака Yotta Shakti Cloud клиентам будут предоставляться различные услуги PaaS. Заказчики смогут обучать большие языковые модели (LLM), запускать ресурсоёмкие ИИ-задачи и другие рабочие нагрузки. Ожидается, что платформа поможет удовлетворить растущий спрос на услуги НРС со стороны исследовательских лабораторий, корпоративных пользователей и стартапов.

Кроме того, Yotta намерена использовать решения NVIDIA InfiniBand для формирования GPU-кластеров, предназначенных для поддержания масштабных проектов, связанных с инференсом, обучением крупных ИИ-моделей и пр. В целом, партнёрство с NVIDIA поможет Индии укрепить позиции на стремительно растущем мировом рынке ИИ.

Компания Kioxia анонсировала SSD корпоративного класса RM7 в формате SFF, оснащённые интерфейсом SAS-3. Новинки будут предлагаться в том числе в составе серверов HPE ProLiant Gen11, которые выполнены на процессорах Intel Xeon Sapphire Rapids.

Накопители RM7 — это часть программы Kioxia под названием Life After SATA («Жизнь после SATA»). Эти относительно недорогие решения, как утверждает разработчик, обеспечивают более высокие показатели IOPS (операций ввода/вывода в секунду) в пересчёте на ватт затрачиваемой энергии и на доллар по сравнению с SATA-аналогами.

Источник изображения: Kioxia

Новинки выполнены на основе флеш-чипов BiCS FLASH 3D с технологией TLC. Скорость последовательного чтения информации достигает 1100 Мбайт/с, скорость последовательной записи — 1050 Мбайт/с. Значение IOPS при произвольных чтении и записи данных — до 190 тыс. и 55 тыс. соответственно.

Устройства доступны в модификациях RM7-R с оптимизацией под операции чтения и RM7-V для смешанных нагрузок. В первом случае вместимость варьируется от 960 Гбайт до 7,68 Тбайт, во втором — от 960 Гбайт до 3,84 Тбайт. При этом накопители обладают разным уровнем надёжности — 1 DWPD (полных перезаписей в сутки) и 3 DWPD соответственно. Для устройств доступна опциональная поддержка шифрования SED (Self-Encrypting Device) и функция безопасного удаления информации SIE (Sanitize Instant Erase).

Технический директор компании Pure Storage International Алекс МакМуллан (Alex McMullan), по сообщению ресурса Blocks & Files, полагает, что стремительное развитие ИИ вынудит операторов дата-центров ускорить переход на хранилища на основе SSD. А это приведёт к вытеснению традиционных HDD.

По мере роста спроса на приложения ИИ увеличивается потребность в серверах, оборудованных GPU-ускорителями и другими специализированными решениями. Однако такие изделия обычно имеют большое энергопотребление, что сокращает общий бюджет питания для других компонентов.

По словам МакМуллана, операторы ЦОД могут добиться экономии энергозатрат путём перехода с HDD на SSD. Pure Storage полагает, что после 2028 года дата-центры откажутся от закупок новых жёстких дисков из-за их плохой энергоэффективности и ограниченности применения.

Источник изображения: Pure Storage

Pure Storage в ближайшие годы намерена выпустить твердотельные накопители проприетарного формата DFM (Direct Flash Module) вместимостью до 100 Тбайт, а в 2026-м, как ожидается, появятся устройства на 300 Тбайт. Вместе с тем в сегменте HDD к 2026 году может быть преодолена планка только в 50 Тбайт. Таким образом, применение традиционных HDD станет попросту нецелесообразным: один SSD позволит хранить в несколько раз больше информации при одновременном снижении энергопотребления, высвобождении дополнительного места в стойке и сокращении требований к охлаждению.

Таким образом, полагает МакМуллан, операторы ЦОД, столкнувшись с ограничениями бюджета электроэнергии, предпочтут флеш-накопителеи высокой ёмкости обычным жёстким дискам. Технический директор Pure Storage также отметил, что внедрение флеш-памяти PLC (пять бит информации на ячейку) в накопителях для дата-центров маловероятно из-за низкого срока службы и сложностей, связанных с работой контроллера. Более того, по словам МакМуллана, даже применение чипов QLC в накопителях большой ёмкости для ЦОД может оказаться затруднительным. А поэтому более предпочтительным вариантом выглядит память TLC.

Компания Vertiv, поставляющая оборудование для ЦОД, в том числе энергетические решения и системы охлаждения, объявила о заключении окончательного соглашения по покупке фирмы CoolTera, базирующейся в Великобритании. Финансовые условия сделки не раскрываются.

CoolTera была основана в 2016 году. Компания поставляет продукты и компоненты СЖО для дата-центров. Это, в частности, блоки распределения охлаждающей жидкости (CDU), коллекторы, сети вторичного хладагента и пр. Vertiv и CoolTera на протяжении трёх лет являются технологическими партнерами. Компании сообща реализовали ряд проектов по внедрению своих решений в ЦОД и вычислительных комплексах по всему миру.

Источник изображения: Vertiv

По условиям договора, Vertiv получит в своё распоряжение набор активов CoolTera, включая определенные контракты, патенты, товарные знаки и интеллектуальную собственность дочерней структуры приобретаемой фирмы. Ожидается, что сделка будет закрыта в IV квартале 2023 года при условии получения необходимых разрешений.

Vertiv отмечает, что покупка укрепит положение компании в сегменте систем охлаждения для ЦОД с высокой плотностью размещения оборудования. Речь идёт в том числе о платформах для задач ИИ. Говорится также, что CoolTera располагает командой высококвалифицированных инженеров в области СЖО.

Компания Gartner опубликовала прогноз по глобальному рынку полупроводниковой продукции на ближайшие годы. Аналитики отмечают, что возросший спрос на GPU-ускорители для решения ИИ-задач в 2023 году не смог компенсировать сокращение отрасли из-за сложной макроэкономической ситуации и переизбытка компонентов.

В 2023-м, по оценкам, объём мирового рынка полупроводниковых изделий составит около $534 млрд. Таким образом, падение окажется на уровне 10,9 % по сравнению с предыдущим годом. Аналитики говорят, что сокращение объясняется в том числе уменьшением затрат на оборудование со стороны гиперскейлеров и операторов дата-центров.

Источник изображения: Gartner

Наибольшее падение ожидается в сегменте чипов памяти из-за переизбытка производства. В 2023 году выручка в данном сегменте, как ожидается, снизится на 38,8 %. По направлению NAND прогнозируется уменьшение продаж на 38,8 % в годовом исчислении — до $35,4 млрд в 2023-м. В течение следующих трёх–шести месяцев цены на чипы NAND достигнут два.

Но уже в 2024-м начнётся восстановление полупроводниковой отрасли. Прогнозируется, что рынок в целом покажет рост на 16,8 % — до $624 млрд. В сегменте памяти продажи поднимутся на 66,3 % год к году. В частности, в области NAND ожидается прибавка на уровне 49,6 % — до $53 млрд. Изделия DRAM принесут $87,4 млрд, что будет соответствовать росту на 88 % по сравнению с 2023 годом.

В 2025 году, по мнению Gartner, объём мировой полупроводниковой отрасли достигнет $721 млрд — плюс 15,5 % по отношению к 2024-му. Говорится также, что на фоне развития ИИ к 2027 году более 20 % новых серверов будут комплектоваться специализированными ускорителями.