О том, что ЦОД «Нагорная» (именно таково официальное название вычислительного комплекса, развёрнутого на территории бывшего завода по производству медной фольги на Электролитном проезде, недалеко от станции метро Нагорная) является ключевым элементом городской IT-инфраструктуры, можно судить по представленному на сайте компании — оператора столичных информационных систем «Электронная Москва» перечню обслуживаемых дата-центром сервисов, число которых переваливает за две сотни. Это московский портал государственных услуг и единая городская медицинская информационно-аналитическая система, электронная запись в первый класс и общегородской электронный дневник, единая почтовая система и система юридически значимого электронного документооборота Правительства Москвы, которые формируют, хранят и обрабатывают большой объем информации различного типа и в различном формате. Также мощности дата-центра задействованы для работы официального городского портала mos.ru, сайта Департамента информационных технологий Москвы, проекта «Активный гражданин», системы моделирования транспортных потоков столицы и прочих проектов, охватывающих все сферы жизнедеятельности мегаполиса. По сути, центр обработки данных «Нагорная» является сердцем практически всех городских IT-систем. Именно поэтому при строительстве ЦОД уделялось максимальное внимание обеспечению его бесперебойного и надёжного функционирования.

⇡#Основные параметры дата-центра

Дата-центр «Нагорная» был введён в эксплуатацию в 2013 году и рассчитан на 6,8 МВт общей нагрузки. Внутри здания ЦОД, площадь которого составляет около 3 000 м², развёрнуты три машинных зала, помещение для приёма и сборки оборудования, склад для его хранения, хладоцентр, лифтовая шахта, станция аварийного пожаротушения с газовыми баллонами, помещение охраны, дежурных инженеров и диспетчерской службы, кроссовая комната, административный блок и зал с дизель-роторными источниками бесперебойного питания (Diesel rotary uninterruptible power supply devices, DRUPS). Также на территории объекта размещены трансформаторная подстанция, топливохранилище на 20 м³ дизельного топлива и площадка для его подвоза. Всё оборудование, инженерная инфраструктура и каналы связи зарезервированы по схеме не ниже чем N+1, что соответствует уровню Tier III по международной классификации и гарантирует доступность дата-центра на уровне не менее 99,982%. ЦОД допускает проведение планового технического обслуживания без остановки оборудования и выдерживает единичный отказ в любой из систем, будь то чиллерная машина, электропитание или канал связи.

Основной машинный зал дата-центра вмещает 250 серверных шкафов, каждый из которых рассчитан на 15 кВт электроэнергии и запитан от двух независимых контуров, что позволяет подключить серверное оборудование с двумя блоками питания. Серверные шкафы сгруппированы в модули — группы по 36 шкафов высотой 47 юнитов и шириной 600 миллиметров, обеспечивающих монтаж 19-дюймового оборудования. В каждом модуле предусмотрено по 6 шкафов шириной 800 мм, предназначенных для установки сетевого оборудования. Все модули оснащены камерами видеонаблюдения и системой контроля и управления доступом (СКУД).

Второй машинный зал предназначен для размещения нестандартного оборудования, габариты которого не позволяют осуществить монтаж в стойку. В основном здесь установлены системы хранения данных, мейнфреймы, большие серверные комплексы с архитектурой RISC, ленточные библиотеки для резервного копирования и прочее оборудование различных производителей — Oracle, IBM, HP и других.

Третий машинный зал представляет собой помещение для размещения телекоммуникационного оборудования операторов связи и интернет-провайдеров. Здесь также установлено оборудование компании «Электронная Москва», имеющей собственные оптические кабельные линии до своих узлов связи на крупнейших точках обмена трафиком, таких как московский коммутационный центр ММТС-9.

⇡#Система охлаждения

Основой системы кондиционирования серверных залов являются пять чиллерных машин хладопроизводительностью 1,1 МВт каждая, объединённых во внешний контур, в котором используется раствор этиленгликоля. В хладоцентре осуществляется теплообмен внешнего контура системы охлаждения с внутренним, в котором в качестве теплоносителя используется очищенная вода. Трассы водопроводных трубопроводов проложены в машинные залы под фальшполом к межрядным кондиционерам, хладопроизводительность которых достигает 25 кВт.

Кондиционирование машинных залов организовано по принципу «холодных» и «горячих» коридоров, которые оборудованы межстоечными кондиционерами, забирающими воздух из «горячих» коридоров и направляющими уже охлаждённый воздух в «холодный». Система кондиционирования полностью автоматизирована (производительность варьируется в зависимости от нагрузки и количества установленного в серверном шкафу оборудования) и позволяет отводить в среднем по 15 кВт тепловой энергии от одной стойки серверного оборудования. Исключение составляет второй машинный зал, в котором в силу конструкции нестандартного оборудования реализовано классическое охлаждение из-под фальшпола.

Немаловажной особенностью системы охлаждения ЦОД «Нагорная» является поддержка технологии Free Cooling, позволяющей экономить значительное количество электроэнергии за счёт использования холодного наружного воздуха для охлаждения.

⇡#Сетевая инфраструктура

Дата-центр связан с крупнейшими операторами связи двумя независимыми волоконно-оптическими кабельными линиями пропускной способностью 960 Гбит/с каждая. Внутренняя сетевая инфраструктура ЦОД построена с учётом возрастающей нагрузки, имеет 100%-й резерв и возможность коммутации на скоростях до 40 Гбит/с. Сетевым ядром вычислительного комплекса является кроссовая комната, в которой установлено 40 шкафов высотой 42 юнита с сетевым оборудованием различных производителей — Cisco Systems, Check Point Software Technologies, Citrix Systems и других.

⇡#Энергообеспечение

Дата-центр посредством заводской сетевой инфраструктуры подключен по 1-й категории электропитания к ТЭЦ-20 с использованием двух независимых силовых кабелей, каждый из которых способен нести полную нагрузку ЦОД. Распределение электрической энергии осуществляется с использованием развёрнутой на территории комплекса трансформаторной подстанции, в которой установлено 7 трансформаторов: два по 1 МВт, предназначенных для второстепенных нужд (освещения и прочей некритичной нагрузки), и пять — по 2,5 МВт.

Для резервирования городских энерговводов предусмотрено резервное питание от DRUPS, за счёт кинетической энергии вращающихся барабанов обеспечивающих автономную работу систем дата-центра на момент запуска дизелей. Время выхода каждой дизель-генераторной установки на рабочий режим составляет 5 секунд, при этом запаса кинетической энергии вращения маховика хватает примерно на 30 секунд. В настоящий момент в системе аварийного энергообеспечения ЦОД задействовано три дизель-генераторных источника бесперебойного питания фирмы Hitec Power Protection мощностью 2,5 МВт каждый, расходующих около 300 литров дизельного топлива в час в режиме дизельного генератора. Предусмотрена установка ещё двух DRUPS, для которых уже смонтировано необходимое оборудование и подготовлены соответствующие площадки. Их ввод в эксплуатацию будет осуществлён по мере достижения полной загрузки вычислительных мощностей ЦОД.

Система пожаротушения

Пожарная безопасность центра обработки данных обеспечивается распределённой системой датчиков задымления и температуры. Для обнаружения раннего возгорания применяется система детектирования возгораний на основе высокочувствительного газового анализатора производства компании Vesda. Она в автоматическом режиме анализирует состав воздуха на предмет наличия продуктов горения и позволяет распознавать очаги возгорания на первых этапах их проявления. Такой подход обеспечивает локализацию пожара в самой начальной стадии. В случае возникновения возгорания в залах с IT-оборудованием выпускается безопасный для людей, оборудования и окружающей среды газ Novec.

⇡#Система безопасности

В ЦОД «Нагорная» реализована многоуровневая система защиты с несколькими периметрами безопасности, включающими: организационные процедуры контроля доступа на территорию бывшего производственного предприятия, на которой расположен дата-центр; контроль входа в здание, круглосуточный видеоконтроль прилегающей территории и периметра; контроль со стороны охраны и дежурной смены, регистрацию входа в машинный зал, а также систему разграничения физического доступа к оборудованию и серверным шкафам.

Пропускной режим на территории центра обработки данных обеспечивается системой контроля и управления доступом, которой оборудованы все двери защищаемого здания и все двери каждого серверного модуля. В комплексе с продуманной политикой разграничения доступа эта система надёжно защищает размещённое в ЦОД оборудование, позволяет минимизировать риск несанкционированного проникновения на территорию объекта и усилить контроль над безопасностью данных.

Таковы основные технические характеристики дата-центра «Нагорная», поддержка и развитие которого осуществляется специалистами принадлежащей Правительству Москвы компании «Электронная Москва». Справедливости ради стоит отметить, что столичное правительство является далеко не единственным потребителем вычислительных мощностей ЦОД. В дата-центре размещаются такие заказчики, как МВД России, МГТС, «АКАДО Телеком» и другие крупные государственные учреждения и коммерческие организации. Площадка открыта для заказчиков любого уровня и предоставляет широкий спектр услуг, от размещения оборудования в стойках (colocation) и предоставления облачных сервисов по моделям SaaS, PaaS, IaaS, DRaaS до подключения к операторам телекоммуникационных услуг и аренды полного комплекса IT-систем. Всю необходимую информацию о доступных услугах можно найти на сайте e-moskva.ru.