C 17 по 20 ноября в США проходит традиционное ежегодное мероприятие Supercomputing Conference (SC), которое можно охарактеризовать как наиболее влиятельное и престижное событие для всей индустрии высокопроизводительных вычислений. Почему такие пафосные характеристики? Да хотя бы потому, что именно тут объявляют изменения за полгода в важнейшем мировом рейтинге суперкомпьютеров TOP500 (второе полугодовое обновление обычно анонсируется на летней конференции ISC аналогичного профиля в Европе).
В прошлом году традиционное ноябрьское мероприятие проходило в Солт-Лейк-Сити, Юта, планы следующего года говорят о Новом Орлеане, Луизиана, а в этом году повезло родине знаменитой команды Broncos, высокогорному городу-герою Денверу, Колорадо: именно здесь, в огромном здании Colorado Convention Center проходит конференция SC'13.
О масштабах мероприятия и вместительности конференц-центра Колорадо можете судить по габаритам этого забавного синего медвежонка, высотой с четырёхэтажный дом (если быть точнее, 40 футов), заглядывающего внутрь здания и в какой-то степени присматривающего за собравшейся публикой: как бы чего не натворили...
Само собой, в этом празднике Мегафлопс принимают участие и российские компании, в том числе компания РСК — ведущий российский разработчик и интегратор суперкомпьютерных решений. РСК давно известна российским и зарубежным специалистам в области HPC своими легендарными энергоэффективными высокопроизводительными вычислительными системами «РСК Торнадо» с системой охлаждения на горячей воде. Компания РСК является постоянным участником крупных отраслевых мероприятий, где регулярно анонсирует новые решения мирового уровня. Напомним, что прошедшим летом в Лейпциге в рамках конференции ISC'13 именно РСК одной из первых объявила об успешной адаптации и внедрении в производство новых сопроцессоров Phi компании Intel.
⇡#PetaStream: официальный анонс и пресс-конференция
Наш сегодняшний репортаж о технологическом прорыве РСК хронологически стартует с пресс-конференции, посвящённой официальному анонсу технологии PetaStream, а затем мы познакомим наших читателей с событиями на выставочном стенде компании. Надо отметить, что кворум, собравшийся на презентацию, был весьма и весьма именитым (и это несмотря на страшнейшую загруженность вечера «нулевого дня», за несколько часов до официального открытия SC'13), достаточно упомянуть, например, Джека Донгарра (Jack Dongarra), основателя и бессменного составителя того самого суперкомпьютерного рейтинга TOP500. Раджив Хазра (Rajeeb Hazra), вице-президент Intel, руководитель подразделений Technical Computing и Architecture Group, также посетил презентацию и лично поздравил представителей РСК с рекордными достижениями.
Мероприятие было составлено из выступлений нескольких докладчиков. Своеобразный тематический вектор презентации задал выступавший первым Майкл Фелдман (Mishael Feldman), глава исследовательской компании Intersect360 Research.
Если вкратце, тезисы этого выступления можно свести к тому, что на пути к условному «экзаскейлу» (Exascale) вычислительной мощности разработчикам предстоит решать как традиционные вопросы увеличения плотности размещения вычислительной мощности с одновременным снижением энергопотребления, так и совершенно новые, такие как, например, повышение эффективности распараллеливания задач, особенно в наступившую эпоху многоядерных процессоров и ускорителей. Затем последовали собственно прогнозы дальнейшего развития индустрии HPC, где основной тенденцией на обозримое будущее было названо массовое внедрение «акселераторов», то есть сопроцессорных вычислительных модулей. Современные системы класса HPC, в обязательном порядке оснащённые ускорителями, сейчас уже можно назвать повсеместным явлением, а в ближайшее время, согласно прогнозам, они составят подавляющее большинство от всех суперкоммпьютеров.
Следующим выступил Стефан Гиллич (Stephan Gillich), глава подразделения Intel Technical Computing по региону EMEA.
Стефан обрисовал взгляд Intel на ключевые вопросы дальнейшего развития индустрии HPC на пути к вычислениям масштаба «экзаскейла», а затем рассказал о базовых программно-аппаратных компонентах современной вычислительной экосистемы.
Напомним, что на конференции SC’13 компания Intel представила новое поколение сопроцессоров Intel Xeon Phi (Knights Landing), которые теперь называют не иначе как «хост-процессоры». В частности, всё идёт к тому, что совсем скоро станет возможным запускать приложения напрямую, а не переносить данные в сопроцессоры.
Далее состоялся собственно анонс новой технологии компании РСК со звучным и говорящим названием PetaStream. Презентацию провёл Алексей Шмелёв, главный операционный директор компании РСК.
Система PetaStream – это новейшее высокопроизводительное решение на базе современных процессоров Intel Xeon и сопроцессоров-акселераторов Intel Xeon Phi с рекордной плотностью размещения пиковой вычислительной мощности до 1 PFLOPS на стойку. Иными словами, петафлопс на площади примерно в один квадратный метр, что практически в пять раз превышает предыдущий рекорд в 211 TFLOPS на стойку, достигнутый на базе суперкомпьютерной архитектуры РСК «Торнадо» прошлого поколения.
Каждая стойка HCR PetaStream – это 1024 вычислительных узла, в сумме потребляющие более 400 кВт энергии. Эффективный отвод тепла от системы обеспечивается благодаря «фирменному» охлаждению горячей водой, при этом представители компании с гордостью подчёркивают, что технология гарантированно обеспечивает отвод тепла от любых современных процессоров и сопроцессоров Intel, включая самые мощные модели, и более того — обладает определённым запасом.
Высокая вычислительная мощность архитектуры PetaStream достигается за счёт использования самых современных технологий распараллеливания вычислений. Каждый узел системы PetaStream включает до восьми модулей на базе системной платы Intel S1600JP, процессора Intel Xeon E5-2600 v2, 60-ядерного сопроцессора Intel Xeon Phi 5120D (возможны варианты использования сопроцессоров других серий), 8 Гбайт памяти GDDR5, до пяти накопителей SSD производства Intel серий S3500 или S3700, а также различные интегрированные адаптеры, например карты Mellanox Connect-IB или адаптеры Intel True Scale, при этом все 1024 модуля объединены в стойке с помощью интерфейса Infiniband FDR. Собственно говоря, каждый модуль PetaStream оснащён двумя слотами PCIe Gen3 x16 для размещения стандартных и нестандартных интерфейсных карт, поэтому система может использовать любые варианты, например до четырех портов Infiniband FDR или QDR, а также интегрированные порты Gigabit-Ethernet. Каждый модуль обеспечивает пропускную способность до 200 Гбит/с (при использовании двухпортовых адаптеров Mellanox Connect-IB).
В сумме каждая стойка может быть оснащена массивом максимум из 640 твердотельных накопителей, управляемых с помощью масштабируемой параллельной файловой системы для обеспечения наивысшей производительности по числу одновременно исполняемых операций считывания/записи. При использовании 800-Гбайт накопителей Intel серий DC S3700 или DC S3500 получается локальная файловая ёмкость до 0,5 Пбайт (петабайта).
В результате каждая стойка обеспечивает обработку порядка 250 тысяч вычислительных потоков, и это, без сомнения, можно назвать значительным шагом к созданию вычислительных архитектур класса «экзаскейл», где потребуется обработка миллионов вычислительных потоков в одном приложении.
Забегая несколько вперёд, хотелось бы отметить ещё один важный момент, разъяснённый мне Алексеем Шмелёвым уже после презентации. Ни для кого не является секретом, что дальнейшее развитие суперкомпьютерных технологий постоянно упирается в масштабируемость. Алексей назвал это «проблемой курицы и яйца»: для того чтобы эффективно использовать многоядерные архитектуры — как мы видим, чем дальше, тем более «многоядерные», — необходимы эффективные приложения с умением качественно распараллеливать задания, а для того чтобы писать такие приложения, необходимы системы с действительно большим количеством этих самых ядер.
Система РСК PetaStream – это не только оптимальное современное решение для пользователей, но и своеобразная находка для разработчиков, которым приходится заниматься созданием приложений для многоядерных систем будущего с массивным распараллеливанием задач. Кстати, именно этим вопросам (и ряду смежных — например методикам оценки производительности) была посвящена ещё одна презентация этого мероприятия, представленная инженером компании Intel Андреем Сёминым.
Система, как говорится, есть — теперь нужно научить потребителей использовать её эффективно.
Однако вернёмся к характеристикам системы PetaStream. Рекордная производительность в 1 PFLOPS в одной компактной стойке – это не только мощные компоненты и эффективное охлаждение, это ещё и чрезвычайно сложная подсистема питания, подводящая впечатляющее количество энергии к столь компактному решению, каким является PetaStream. В качестве наиболее эффективного решения этой проблемы разработчики РСК выбрали набирающую сейчас популярность подсистему распределения питания на базе индустриального стандарта постоянного тока 400 В. Нет нужды объяснять, что подводящие токовые шины при одном и том же энергопотреблении имеют гораздо меньшее сечение при напряжении питания 400 В, чем в случае 40 В и уж тем более 12 В.
В качестве партнёра был выбран максимально надёжный поставщик, компания Emerson Electric. В результате удалось обеспечить гарантированный КПД более 90% и при этом значительно снизить такой важный параметр, как совокупная стоимость владения.
Заканчивая описание, необходимо также отметить, что процессы управления и программно-аппаратного мониторинга системы PetaStream производятся с помощью интегрированного программного стека на базе RSC BasIS, использующего технологию Intel Node Manager Technology и обеспечивающего мониторинг энергопотребления в каждом отдельно взятом узле системы. Система PetaStream поддерживается программным комплектом Intel Cluster Studio XE 2013 для операционной системы Linux, а также рядом специально оптимизированных библиотек.
⇡#PetaStream: стенд РСК на выставке SC'13
Сама по себе выставка Supercomputing'13, надо отметить, зрелище впечатляющее. В одном огромном зале собрались не только все значимые мировые производители суперкомпьютерной техники и компонентов для HPC, но и представители множества научных, исследовательских и учебных заведений. Отличный стенд оборудовало NASA, были стенды и других национальных агентств и министерств США самого разного профиля...
Среди стендов различных американских, японских, китайских, корейских и европейских университетов было приятно увидеть стенд МГУ, а с представителями Южно-Уральского государственного университета можно было пообщаться на стенде РСК. Вот так он был оборудован в этот раз:
А вот и главный экспонат экспозиции — модуль системы PetaStream, а собственно стойку мы, надеюсь, как-нибудь покажем в одном из наших следующих репортажей, благо ждать внедрения новинки у одного из заказчиков РСК, уверен, долго не придётся.
Кроме модуля PetaStream, здесь же, на стенде, демонстрировалась вышеупомянутая подсистема управления питанием Emerson Network NetSure 4015, являющаяся на данный момент неотъемлемым компонентом PetaStream.
Мы попросили рассказать о системе PetaStream Александра Московского, сооснователя и генерального директора РСК. Представляем вашему вниманию эксклюзивное видео специально для читателей 3DNews и Servernews:
В заключение хотелось бы отметить, что, несмотря на непубличный характер выставки (вход в выставочный зал и на все мероприятия конференции обеспечивался строго по бейджам, после аккредитации), посетителей на стенде РСК было очень много. Сотрудники компании постоянно были заняты общением со всевозможными гостями, среди которых были журналисты, потенциальные заказчики и, конечно, интересующиеся инженеры конкурирующих фирм.
Достижение мирового уровня технологий и мирового признания – великое дело. Нам остаётся лишь поздравить весь коллектив РСК с очередным рекордным достижением и пожелать этой достойной отечественной компании дальнейших успехов в исследованиях, производстве и бизнесе.
