Научно-исследовательский центр электронной вычислительной техники (НИЦЭВТ) не слишком известен обывателю. В СССР он занимался созданием компьютеров серии ЕС ЭВМ, и, что бы ни говорили злые языки, работа его сводилась не только к клонированию и адаптации зарубежных систем. Удивительно, но последние машины этой серии были выпущены аж в конце 1990-х годов. В этом же институте были созданы первые отечественные ЭВМ «Стрела».

В XXI веке НИЦЭВТ продолжает заниматься разработкой действительно больших машин (суперкомпьютеров и кластеров) и инфраструктуры для них. На конференции ПаВТ 2016 компания рассказала о своём продукте «Ангара», полное наименование которого звучит как «высокоскоростная сеть для суперкомпьютеров и кластеров» или «межузловая коммуникационная сеть», а среди специалистов такой тип сетей называют просто интерконнектом.

СБИС ЕС8430 – «сердце» «Ангары»

Интерконнект отличается от всех прочих сетей связи повышенными требованиями к различным параметрам соединений и сети в целом: отказоустойчивось, низкие задержки, высокая скорость, высокая интеграция с компонентами узлов кластера, оптимизация под конкретные типы данных и взаимодействий и так далее. В силу своей специфики такие интерконнекты лучше многих других подходят для суперкомпьютеров. Мало иметь большую вычислительную мощь, надо ещё и умело задействовать её, вовремя подавая и забирая информацию, позволяя множеству узлов работать как единое целое. Неудивительно, что крупные разработчики суперкомпьютеров создают и собственные реализации интерконнектов для них.

Сетевой адаптер «Ангара»

Например, в рейтинге TOP500 они обязательно указываются, а в первой десятке свежего списка сейчас лидируют сети Cray и IBM. А об одной из новейших разработок Intel в этой области — Omni Path — мы уже подробно рассказывали в репортаже с SC15. Для любой такой сети важна топология — то, как именно соединяются узлы между собой. Интересующимся можно порекомендовать краткий обзор развития топологий интерконнектов.

«Ангара» поддерживает на текущий момент топологии от одномерной решётки до четырёхмерного тора. «Торы» весьма популярны среди современных производителей суперкомпьютеров, так как для них хорошо проработаны алгоритмы маршрутизации, а сама сеть легко адаптируется к нагрузкам и выдерживает их всплески. Кроме того, такая топология относительно недорога — с ростом числа узлов затраты на интерконнект растут не так стремительно.

Сама же «Ангара» не требует использования коммутаторов и поддерживает до 8 каналов связи с соседними узлами. Сеть может объединять порядка 32 тыс. узлов. Основой «Ангары» является разработанная в НИЦЭВТ СБИС серии ЕС8430, которая на данный момент изготавливается по 65-нм техпроцессу на фабриках TSMC. СБИС содержит 180 млн транзисторов, то есть, по словам разработчиков, по сложности она сравнима с современными CPU — несмотря на то, что в последних число транзисторов исчисляется уже миллиардами, большая часть из них приходится на кеш и другие невычислительные блоки.

ЕС8430 может быть интегрирована с другими решениями (для этого есть наборы SDK/HDK), а НИЦЭВТ предлагает готовое решение в виде PCIe-карты с шестью интерфейсами HDLSP, хотя по желанию заказчика могут быть использованы и другие электрические/оптические среды передачи данных, включая решения для установки в blade-серверы.

Порты адаптера «Ангара»

Для повышения производительности аппаратно реализованы поддержка часто используемых операций, многоядерных CPU (каждое ядро может независимо работать с адаптером), различных вариантов маршрутизации с защитой по отказам отдельных каналов связи и узлов, агрегация пакетов, RDMA. Основной упор при разработке был сделан на совместимость с x86-процессорами.

Тем не менее, в НИЦЭВТ успешно провели испытания «Ангары» в паре с отечественными CPU «Эльбрус» и с GPU (за счёт поддержки GPUDirect), а также с ПЛИС. Таким образом, сеть поддерживает работу с гибридными вычислительными блоками, состоящими из устройств с различными архитектурами. По словам компании, «сеть может применяться в составе вычислительных систем для нужд самых разных заказчиков».

Основная область применения «Ангары» — это, конечно, высокопроизводительные вычисления (HPC). Впрочем, она умеет работать с TCP/IP и может применяться в «классических» ЦОДах или кластерах с модной нынче BigData. Согласно внутренним тестам НИЦЭВТ, «Ангара» заметно лучше ведёт себя при работе с короткими пакетами (да и длинными тоже), чем популярный интерконнект InfiniBand FDR.

В общем и целом «Ангара» является достойным конкурентом зарубежных решений, а по некоторым параметрам и в ряде приложений даже лучше их за счёт выбранной топологии и, как следствие, более низкой стоимости. По словам разработчиков, часто используемая для InfiniBand топология fat tree на практике оказывается слишком дорогой при большом числе узлов. На текущий момент в НИЦЭВТ уже разработана собственная реализация MPI. Сейчас ведутся работы по её оптимизации, что позволит увеличить производительность и эффективность при использовании сети в реальных задачах. Кроме того, идёт работа над адаптацией стороннего ПО.

К сожалению, как и везде в отрасли, ощущается острая нехватка квалифицированных кадров. С целью повышения интереса к «Ангаре» и привлечения аспирантов и преподавателей компания готова открыть низкоуровневые API и предоставить доступ к собственному кластеру «Ангара-К1» для разработки и отладки приложений и бэкендов. Кроме того, с 1 ноября 2015 года тестовый кластер публично доступен для проверки работы ПО на сети «Ангара».

На текущий момент два десятка технологических компаний и научных институтов уже воспользовались этой возможностью, причём многие из них запускали на кластере «тяжёлые» задачи — длительностью более 12 часов и с интенсивным обменом данными по сети. Сейчас ведутся проекты по внедрению «Ангары» для нескольких вычислительных кластеров и поставляются интегрированные решения на базе заказной материнской платы разработки НИЦЭВТ, а в скором времени появятся ещё несколько готовых продуктов на базе СБИС ЕС8430. НИЦЭВТ оказывает услуги по адаптации системного и прикладного ПО для сети «Ангара».

Сейчас ведутся разработки следующего поколения интерконнекта, которое будет лучше текущего и за счёт доработки архитектуры СБИС, и за счёт использования более современных технологий производства и интерфейсов. Второе поколение получит поддержку новых топологий butterfly и dragonfly, улучшение работы MPI и коллективных операций, расширенную поддержку нового «железа» и реконфигурируемых систем на его основе. Появится возможность создавать кастомизированные решения с «Ангарой» и другими чипами на одной подложке.

На фото выше показан опытный образец с кристаллами завода «Микрон» и подложкой НИЦЭВТ. За счёт такого подхода появится возможность быстрого создания разнородных продуктов – от просто адаптера с одним выходом PCIe до сложных многокристальных систем.

А.С. Симонов, к.т.н., АО «НИЦЭВТ»

В дальнейшем будет представлен вариант с СБИС и оптическими трансиверами на одной подложке – это будет промежуточный шаг между вторым и третьим поколением «Ангары», для которого сейчас закладывается научно-техническая база и которое будет активно использовать технологии оптической связи. Опытно-конструкторские работы над третьим поколением начнутся примерно через два с половиной года. Нам же остаётся только пожелать удачи отечественным разработчикам!