Компания HPE объявила о заключении соглашения с Глобальным научно-информационным вычислительным центром Токийского технологического института (Япония) о создании нового суперкомпьютера под названием TSUBAME4.0. Полностью ввести эту систему в эксплуатацию планируется весной 2024 года. TSUBAME4.0 будет применяться для обучения больших ИИ-моделей и запуска ресурсоёмких приложений в области аналитики данных.

В основу суперкомпьютера ляжет платформа HPE Cray XD6500, которая, как утверждается, обеспечивает высокую производительность и специализированные возможности при выполнении нагрузок, связанных с моделированием, а также ИИ. Заявленное пиковое быстродействие TSUBAME4.0 составит 66,8 Пфлопс (FP64). В случае вычислений половинной точности (FP16) показатель достигнет 952 Пфлопс — это в 20 раз больше по сравнению с мощностью суперкомпьютера предыдущего поколения TSUBAME3.0.

Источник изображения: HPE

Вычислительный комплекс TSUBAME4.0 получит 240 узлов, оснащённых двумя процессорами AMD EPYC Genoa, четырьмя ускорителями NVIDIA H100 и 768 Гбайт основной памяти. Говорится о высокой плотности размещения аппаратных компонентов, что позволит уменьшить занимаемую площадь в дата-центре. Задействован 400G-интерконнект NVIDIA Quantum-2 InfiniBand. Отмечается, что в целом архитектура TSUBAME4.0 аналогична системам TSUBAME предыдущих поколений. Благодаря этому возможно использование ранее созданных программных решений, что поможет ускорить реализацию новых НРС-проектов.

Японская телекоммуникационная корпорация Nippon Telegraph and Telephone (NTT), по сообщению ресурса Datacenter Dynamics, планирует на протяжении пяти лет инвестировать 8 трлн иен (приблизительно $59 млрд) в развитие перспективных направлений. В их числе названы дата-центры, ИИ-платформы и пр.

Отмечается, что из указанной суммы не менее 1,5 трлн иен (около $11 млрд) пойдут на расширение или модернизацию инфраструктуры ЦОД. Цифровой бизнес, в который входят ИИ-решения и роботизированные системы, получит на развитие 3 трлн иен ($22 млрд).

По оценкам самой NTT, указанные инвестиции позволят в финансовом году, который завершится в марте 2028-го, повысить показатель EBITDA (прибыль до вычета процентов, налогов и амортизационных отчислений) примерно на 20 % по сравнению с предыдущим финансовым годом. Это означает прибыль на уровне 4 трлн иен (приблизительно $29,4 млрд).

Источник изображения: NTT

Сообщается, что в июне текущего года NTT сформирует новую компанию для коммерциализации своей технологии Innovative Optical and Wireless Network (IOWN). Концепция IOWN базируется на использовании оптических коммуникаций, что позволит повысить пропускную способность сетей, уменьшить задержки и энергопотребление. В целом, как ожидается, планируемые вложения помогут NTT укрепить положение на рынке и значительно улучшить финансовые показатели деятельности.

Японская Japan Renewable Energy Corporation (JRE) сообщила о достижении стабильной работы центра обработки данных, полностью обеспечиваемого электричеством, получаемым с помощью солнечных элементов питания, и охлаждаемого водой из скважины.

Ещё до анонса проекта японские власти рассказали о готовности регионов предложить место для размещения ЦОД подальше от Токио в рамках плана по децентрализации ЦОД — сейчас 60 % из них расположены в сейсмоопасном и уязвимом для цунами районе вблизи Токио, что грозит возможными перебоями в работе сервисов. В июне 2022 года было объявлено о реализации совместного проекта JRE и Morgenrot в префектуре Нагано возле солнечной электростанции, принадлежащей JRE.

JRE Nagano Omachi Solar Power Plant. Источник изображения: JRE

Микро-ЦОД контейнерного типа был создан компанией Mirait Corporation и введён в эксплуатацию в декабре 2022 года. ЦОД оптимизирован для ИИ- и HPC-нагрузок. В нём размещено 40 GPU-серверов с ускорителями AMD и NVIDIA. Система охлаждения ЦОД не предусматривает использования ХФУ-хладагентов и потребляет лишь воду из близлежащей скважины. Комплекс имеет PUE на уровне 1,1 и обеспечивает нулевые выбросы CO₂ (без учёта выбросов при строительстве и производстве оборудования).

Ресурсами серверов управляет компания Morgenrot, предоставляющая облачный сервис M:CPP (Morgenrot Computing Power Pool). Для Morgenrot это не первый реализованный проект «зелёного» ЦОД — компания имеет схожие мощности с питанием возобновляемой энергией по всему миру. Известно, что солнечная электростанция JRE Nagano Omachi Solar Power Plant имеет установленную мощность 2442 кВт и, как ожидается, сможет выдавать 3,5 млн кВт·ч ежегодно.

По оценкам IT-гиганта NTT, в Токио имеется 5 млн точек доступа (ТД) Wi-Fi — в 20 раз больше, чем на деле требуется городу. Как сообщает The Register, японская компания предложила необычное решение — дать возможность сторонним пользователям платно подключаться к частным ТД, а для авторизации использовать блокчейн-технологии. Это, как ожидается, позволит обеспечить связью японскую столицу без новых точек Wi-Fi и даже дополнительных базовых станций 5G.

Источник изображений: NTT

В рамках предложенной схемы пользователи получат возможность подключаться к любой участвующей в проекте беспроводной сети с авторизацией с помощью Ethereum Proof of Authority. Благодаря этому, можно будет подключаться к частным ТД, которые обычно не слишком загружены. Оператор будет получать деньги (процент от оплаты подключения), пользователь — доступ в интернет, а информация о подключениях будет сохранена в блокчейне.

NTT предоставляет технологии, обеспечивающие использование сетевыми узлами блокчейн-реестра, а также систему управления нагрузкой на точки доступа. Тесты уже проводились на сетях с разными администраторами. В NTT считают, что благодаря её технологии Токио уже может обойтись без развёртывания новых точек доступа Wi-Fi или частных 5G-сетей. Более того, сети можно будет масштабировать без большого увеличения энергопотребления, а спектр станет не только чище, но и использование его будет эффективнее.

Впрочем, нюансов в реализации технологии NTT в масштабе многомиллионного города может быть немало. Это и надёжная изоляция чужеродного трафика от «домашнего», и высокая безопасность подобных сетей как для владельца ТД, так и для «гостей», и корректная балансировка нагрузки, и общая эффективность данной схемы на практике. Подробности нового проекта будут обнародованы в середине мая на конференции Tsukuba Forum, ежегодно проводимой NTT.

В Центре вычислительных наук Университета Цукубы (University of Tsukuba; префектура Ибараки, Япония), по сообщению HPC Wire, началась эксплуатация HPC-комплекса Pegasus, спроектированного компанией NEC. Это, судя по всему, один из последних суперкомпьютеров, который получит большой объём памяти Optane Pmem, производство которой было остановлено Intel.

Система объединяет 120 узлов NEC LX 102Bk-6 на основе одного процессора Xeon Platinum 8468 поколения Sapphire Rapids (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт), работающего в тандеме со 128 Гбайт оперативной памяти DDR5-4800, дополненных 2 Тбайт памяти Optane PMem 300 (Crow Pass). Любопытно, что по умолчанию часть Optane-памяти отведена под XFS-том (fsdax), но по желанию пользователи могут выбрать и другой режим работы. Кроме того, в состав каждого из узлов входят один PCIe-ускоритель NVIDIA H100.

Источник изображения: Университет Цукубы

Также каждый узел имеет по два накопителя NVMe SSD на 3,2 Тбайт (7 Гбайт/с), а объединены они 200G-интерконнектом Quantum-2 InfiniBand. Дополняет HPC-комплекс гибридное хранилище на базе DDN ES200NV/ES7990X/SS9012, объединяющее NL-SAS HDD вместимостью 18 Тбайт (7200 об/мин) и 1,92-Тбайт NVMe SSD. Суммарная доступная ёмкость составляет приблизительно 7,1 Пбайт, а скорость обмена данными — порядка 40 Гбайт/с.

Источник изображения: Университет Цукубы

Кроме того, применены три дополнительных узла NEC LX 124Rk-2 с двумя чипами Xeon Platinum 8468, 256 Гбайт памяти DDR5, накопителем NVMe SSD и InfiniBand-подключением. Быстродействие Pegasus теоретически достигает 6,5 Пфлопс для вычислений двойной точности. Использовать мощности нового суперкомпьютера планируется в таких областях, как астрофизика, климатология, биология, здравоохранение, Big Data и ИИ. В Университете Цукубы есть ещё один необычный суперкомпьютер Cygnus, объединяющий ускорители NVIDIA Tesla и Intel FPGA.

Компании Mitsui и NVIDIA в ходе весенний конференции GTC 2023 анонсировали проект Tokyo-1. Это, как утверждается, первый в мире суперкомпьютер с генеративным ИИ, спроектированный специально для фармацевтической отрасли. Мощности новой системы будут предоставляться японским заказчикам, включая фармацевтические организации и стартапы. HPC-комплекс поможет ускорить разработку передовых лекарственных препаратов благодаря использованию ИИ. Клиенты также смогут запускать на базе Tokyo-1 большие ИИ-модели с помощью ПО и сервисов NVIDIA BioNeMo.

На начальном этапе суперкомпьютер объединит 16 узлов NVIDIA DGX H100, каждый из которых получит восемь ускорителей NVIDIA H100. За работу системы будет отвечать фирма Xeureka, дочерняя структура Mitsui, специализирующаяся на разработке лекарств с помощью ИИ. С течением времени в состав комплекса будут включены дополнительные вычислительные узлы, что позволит поднять его производительность. Ввод суперкомпьютера в эксплуатацию намечен на конец 2023 года.

Источник изображения: NVIDIA

Модели ИИ, работающие на базе Tokyo-1, помогут в создании новых молекулярных структур для лекарственных препаратов. Инициатива также будет включать семинары и обучающие курсы по применению ускоренных вычислений в фармацевтической области. Клиенты смогут получить доступ к выделенному серверу на платформе Tokyo-1, а также воспользоваться технической поддержкой со стороны Xeureka и NVIDIA. Заказчики смогут приобрести программные решения Xeureka для молекулярной динамики, квантовой химии и иных расчётов.

Отмечается, что, используя NVIDIA BioNeMo, исследователи смогут масштабировать ИИ-модели до миллионов и миллиардов параметров в различных приложениях, включая предсказание структуры белка. Крупные японские фармацевтические компании, включая Astellas Pharma, Daiichi-Sankyo и Ono Pharmaceutical, уже заявили о намерении использовать Tokyo-1 при реализации своих проектов.

Японский IT-гигант NTT Data намерен пойти на необычный эксперимент. Как сообщает DataCenter Dynamics, компания совместно с Sekisui Chemical намеревается устанавливать лёгкие солнечные панели на стенах своих дата-центров и офисов в Японии. Демонстрационные испытания начнутся уже со следующего месяца, которые, по словам компании, станут в стране первыми в своём роде.

Если испытания пройдут успешно, компания внедрит подобные решения во всех 16 ЦОД и офисах в Японии в рамках плана по достижению углеродной нейтральности к 2030 году. Чтобы проверить работоспособность схемы, в апреле 2023 года начнётся установка перовскитных солнечных панелей плёночного типа от Sekisui, отличающихся небольшим весом. Будет проверен как метод установки, так и общая энергоэффективность системы, а также безопасность и устойчивость к ветру. Пока компании-партнёры не раскрывают, сколько энергии должны генерировать предлагаемые ими решения, но рассчитывать на то, что панели полностью покроют нужды офисов и ЦОД, не стоит.

Изображение: NEDO/NTT Data

В ходе первой фазы проекта, с апреля 2023 года по март 2024-го, панели будут установлены на стены исследовательского центра Sekisui Chemical. Не исключено, что в результате будет превышена расчётная нагрузка на стены зданий, особенно требующих модернизации. В случае успеха эксперимента, в апреле 2024 года систему попробуют применить на стенах ЦОД NTT Shinagawa TWINS Data Tower. Это позволит партнёрам оценить параметры работы панелей и установить, насколько эффективны подобные элементы в городской среде. На территории данного кампуса NTT тестирует и обслуживание ЦОД роботами.

Возможность использования перовскитных решений рассматривает и японская KDDI для использования в своих базовых станциях совместно с Enecoat Technologies. А в конце прошлого года дубайский дата-центр Moro Hub попал в Книгу рекордов Гиннесса как самый «солнечный», это крупнейший ЦОД в мире по площади, полностью питающийся от энергии солнца.

Сетевые технологии класса 800G продолжают активно внедряться в жизнь. Компания Infinera объявила о намерении модернизировать подводный кабель Unity с помощью новых оптических решений ICE6 800G. Этот кабель соединяет США и Японию, его длина составляет 9620 км. Приёмопередающие станции этой системы расположены в Лос-Анджелесе, штат Калифорния и в городе Чикура неподалёку от Токио.

Источник: Submarine Cable Networks

Кабель Unity был введён в эксплуатацию в 2010 году, запланированная пропускная способность тогда составляла 4,8 Тбит/с при производительности каждой пары волокон на уровне всего 960 Гбит/с. Применение технологии ICE6, включающей в себя использование нескольких поднесущих, упреждающую коррекцию ошибок и высокоинтегрированной фотоники позволит поднять пропускную способность каждой пары волокон до 7,4 Тбит/с. Это сделает Unity одной из самых быстрых систем связи между Азией и Северной Америкой.

Технология Infinera ICE6 позволяет существенно повысить плотность передачи данных. Источник: Infinera

Фотонные трансиверы ICE6 GX, разработанные Infinera, базируются на 7-нм техпроцессе и продвинутых элементах фотоники PIC, оптический движок при этом позволяет одновременно использовать две независимых длины волн. Модернизация Unity позволит продлить срок эксплуатации кабеля на четверть. Таким образом, видно, насколько продвинулись с 2010 года сетевые технологии: скорость выросла на порядок и сегодня реально получить производительность целого межконтинентального кабеля лишь для пары входящих в него волокон.

Необычное решение реализовали на японском острове Хоккайдо. Избыточное тепло дата-центра, использующего для охлаждения талую снежную воду, теперь будут использовать на подшефной ферме, разводящей угрей.

Идея использования лишнего тепла для выращивания продуктов питания не нова. Например, в Норвегии компания Green Mountain использует нагретую оборудованием ЦОД воду для разведения лобстеров и форели. Пока ЦОД White Data Center (WDC) в городе Бибае импортировал мальков угрей и местный персонал будет выращивать их в расположенных на территории ёмкостях. Сопутствующим продуктом станут и грибы — на выращивание тех и других уходит относительно немного времени.

Источник изображения: k10legs/pixabay.com

В ноябре ЦОД организовал саму ферму при поддержке городских властей. В ёмкостях круглый год будет поддерживаться оптимальная температура, в них планируется поселить до 300 000 угрей, которые будут расти в течение семи месяцев, пока не достигнут «коммерческого» веса в 250 г. Такая рыба станет продаваться по всей стране для организации школьного питания. Это будут первые угри, выращенные на Хоккайдо.

Местная серверная инфраструктура охлаждается талой водой из снега, собираемого зимой и используемого круглый год. После того, как оборудование ЦОД охлаждается, нагретая вода поступает в ёмкости рыбной фермы. Ранее оператором ЦОД выступал город Бибай — зимой здесь выпадает много снега.

Охлаждение талой водой вычислительного оборудования впервые предложили ещё в 2008 году, а в 2010 реализовали пилотный проект. С 2014 по 2019 годы Бибай эксплуатировал ЦОД White Data Center, доказывая работоспособность предложенной концепции. Конструкция позволяла экономить до 20 % электроэнергии и с апреля 2021 года ЦОД является коммерческим проектом, выкупленным одним из партнёров — компанией Kyodo News Digital. Ожидается, что проект будет обеспечивать нулевой углеродный выброс.

Источник изображения: Datacenter Dynamics

Пока обслуживается 20 стоек с серверами, в текущем году планируется открытие второго ЦОД на 200 стоек. По словам руководства WDC для следующего ЦОД уже сейчас ведутся эксперименты по выращиванию овощей, рыбы и других морепродуктов с помощью избыточного тепла. Идея использовать для охлаждения талую воду пришлась по душе и другим бизнесам — недалеко аналогичный проект реализовала Kyocera, схожие технологии используются даже на юге Японии, где климат мягче.

Популярность идей машинного обучения и искусственного интеллекта приводит к тому, что многие страны и организации планируют обзавестись HPC-системами, специально предназначенными для этого класса задач. В частности, Токийский университет совместно с Fujitsu модернизировал существующую систему ABCI (AI Bridging Cloud Infrastructure), снабдив её новейшими процессорами Intel Xeon и ускорителями NVIDIA.

Как правило, когда речь заходит о суперкомпьютерах Fujitsu, вспоминаются уникальные наработки компании в сфере HPC — процессоры A64FX, но ABCI имеет более традиционную гетерогенную архитектуру. Изначально этот облачный суперкомпьютер включал в себя вычислительные узлы на базе Xeon Gold и ускорителей NVIDIA V100, объединённых 200-Гбит/с интерконнектом. В качестве файловой системы применена разработка IBM — Spectrum Scale. Это одна систем, специально созданных для решения задач искусственного интеллекта, при этом доступная независимым исследователям и коммерческим компаниям.

Так, 86% пользователей ABCI не входят в состав Японского национального института передовых технических наук (AIST); их число составляет примерно 2500. Но система явно нуждалась в модернизации. Как отметил глава AIST, с 2019 года загруженность ABCI выросла вчетверо, и сейчас на ней запущено 360 проектов, 60% из которых от внешних заказчиков. Сценарии использования самые разнообразные, от распознавания видео до обработки естественных языков и поиска новых лекарств.

Новые узлы ABCI 2.0 заметно отличаются по архитектуре от старых

Как и в большей части систем, ориентированных на машинное обучение, упор при модернизации ABCI был сделан на вычислительную производительность в специфических форматах, включая FP32 и BF16. Изначально в состав ABCI входило 1088 узлов, каждый с четырьмя ускорителями V100 формата SXM2 и двумя процессорами Xeon Gold 6148. После модернизации к ним добавилось 120 узлов на базе пары Xeon Ice Lake-SP и восьми ускорителей A100 формата SXM4. Здесь вместо InfiniBand EDR используется уже InfiniBand HDR.

Стойка с новыми вычислительными узлами ABCI 2.0

Согласно предварительным ожиданиям, производительность обновлённого суперкомпьютера должна вырасти практически в два раза на задачах вроде ResNet50, в остальных случаях заявлен прирост производительности от полутора до трёх раз. На вычислениях половинной точности речь идёт о цифре свыше 850 Пфлопс, что вплотную приближает ABCI к системам экза-класса. Разработчики также надеются повысить энергоэффективность системы путём применения специфических ускорителей, включая ASIC, но пока речь идёт о связке Intel + NVIDIA.

ABCI и сейчас можно назвать экономичной системой — при максимальной общей мощности комплекса 3,25 МВт сам суперкомпьютер при полной нагрузке потребляет лишь 2,3 МВт. Поскольку система ориентирована на предоставление вычислительных услуг сторонним заказчикам, модернизировано и системное ПО, в котором упор сместился в сторону контейнеризации.