Полиция Южной Кореи полагает, что причиной крупного пожара в ЦОД Национальной службы информационных ресурсов (NIRS) 26 сентября, который привёл к отключению около 700 государственных сервисов и потери 858 Тбайт данных, могло стать некорректное отключение питания перед проведением технического обслуживания литий-ионных батарей. Перед переносом АКБ была отключена основная линия питания, однако вспомогательная, как выяснилось, продолжала работу. Аресты предполагаемых виновных продолжаются, сообщает Datacenter Dynamics.

На прошлой неделе полиция арестовала четырёх человек по подозрению в халатности. Представители правоохранительных органов заявляют, что допрошено уже 26 человек, четверо было арестовано, а недавно арестовали пятого. Также проведены обыски в NIRS и трёх компаниях-партнёрах центра, конфискованы различные материалы, в т.ч. проектная документация и журналы работы аккумуляторов.

Свидетели говорят, что основное электропитание было отключено примерно за час до начала пожара, однако вспомогательное питание всё ещё работало. Непосредственно возгорание произошло при попытке перемещения одного из аккумуляторов из зала на пятом этаже в подвал, что потребовало отключения силовых кабелей. Не исключено, что именно поэтому загоревшаяся батарея была заряжена на 80–90 %, тогда как многие производители рекомендуют низкий и средний уровень заряда перед перемещением литий-ионных модулей.

Источник изображения: Adam Wilson/unsplash.com

Представители полиции ссылаются на мнение экспертов, уверенных, что потенциальный ущерб от пожара тем больше, чем выше заряд аккумуляторов. Аккумуляторы ЦОД разберут для дальнейшего изучения, также эксперты проведут эксперименты с идентичными моделями для выяснения причин возгорания. Пожар уничтожил 384 аккумуляторных модулей и 740 единиц IT-оборудования.

По состоянию на минувшую пятницу было восстановлено 217 государственных систем — менее трети от общего числа. Считается, что операторы правительственной системы G-Drive, содержавшей 858 Тбайт информации, потеряли её безвозвратно, поскольку резервных копий не существовало. Примечательно, что спустя несколько дней в том же городе случился ещё один пожар, на этот раз в ЦОД Lotte Innovate. Причиной снова названо возгорание ИБП, причём буквально на следующий день после инспекции пожарной службы.

В Южной Корее продолжаются восстановительные работы в ЦОД Национальной службы информационных ресурсов (NIRS) Южной Кореи в Тэджоне, где 26 сентября произошёл масштабный пожар, который привёл к сбою в работе 647 государственных сервисов, пишет газета The Korea JoongAng Daily. В результате пожара утеряно множество важных данных, для которых не делались бэкапы, так что некоторые подразделения теперь вынуждены по крупицам собирать сохранившуюся информацию.

Как стало известно, из-за пожара было уничтожено правительственное облачное хранилище G-Drive (никак не связано с Google). Утеряно 858 Тбайт данных примерно 750 тыс. госслужащих. Платформа является обязательной для хранения документов и других файлов госслужащих. Каждому сотруднику на эти цели было выделно порядка 30 Гбайт пространства.

По словам NIRS, из-за большой ёмкости и низкой производительности системы внешние резервные копии не создавались, что привело к безвозвратной потере данных. В Министерстве внутренних дел и безопасности Южной Кореи пояснили, что структура G-Drive не позволяет создавать внешние резервные копии, хотя данные большинства систем подлежат резервному копированию в хранилище в этом же ЦОД и на ещё одном физически удалённом объекте.

Источник изображения: Max Kukurudziak/unsplash.com

В свою очередь, Data Center Dynamics со ссылкой южнокорейские СМИ сообщил, что G-Drive была одной из 96 полностью уничтоженных в результате пожара систем. Вместе с тем, у остальных 95 систем сохранились резервные копии данных в онлайн- или офлайн-форматах. Некоторые департаменты не пользовались G-Drive, но те, кто использовал, столкнулись с серьёзными проблемами. Сильнее всего пострадало Министерство управления персоналом, издавшее распоряжение хранить всю документацию исключительно на G-Drive. Сейчас оно собирает все оставшиеся на ПК чиновников файлы, а также почтовые сообщения, официальные документы и даже распечатки.

Министерство внутренних дел и безопасности Южной Кореи отметило, что официальная отчётность также хранится в правительственной системе OnNara и может быть восстановлена после возобновления её работы. «Заключительные отчёты и официальные документы, представленные правительству, также хранятся в OnNara, поэтому это не полная потеря данных», — заявил директор по государственным услугам Министерства внутренних дел и безопасности Южной Кореи.

К прошедшим выходным удалось восстановить лишь 115 из 647 пострадавших сервисов. Ожидается, что полное восстановление займёт около месяца. Правительство заявило, что будут предложены альтернативные варианты на замену наиболее важных сервисов.

Спустя несколько дней после масштабного пожара в дата-центре национального информационно-ресурсного агентства Южной Кореи (NIRS) в Тэджоне (Daejeon), который вызвал сбой в работе 647 государственных сервисов, ещё в одном ЦОД этого города произошёл пожар, сообщает газета The Korea JoongAng Daily.

На этот раз возгорание произошло в дата-центре корейского провайдера Lotte Innovate около 4:59 утра в четверг. Пожарная служба города направила на место происшествия 21 единицу техники и 62 человека личного состава, и к 5:38 утра пожар был потушен. Пострадавших нет, сообщила газета. Под управлением Lotte Innovate находятся четыре ЦОД в Южной Корее. Дата-центр в Тэджоне был введён в эксплуатацию в 2010 году.

Согласно предварительной версии, возгорание произошло в модуле источника бесперебойного питания (ИБП) в машинном зале на первом этаже двухэтажного здания. Предполагается, что причиной возгорания могла стать некондиционная батарея, но окончательные выводы будут сделаны после завершения расследования соответствующих органов.

Источник изображения: Max Kukurudziak/unsplash.com

Второй пожар в ЦОД менее чем за неделю поставил под сомнение эффективность недавних проверок безопасности ЦОД. После пожара в дата-центре NIRS полиция арестовала четырёх человек, а власти и пожарная служба провели экстренные проверки в пяти крупных местных ЦОД, включая и дата-центр Lotte Innovate, где буквально на следующий день после инспекции произошло возгорание. Как сообщает The Korea JoongAng Daily, полиция и пожарная служба планируют допросить сотрудников Lotte Innovate, чтобы установить точную причину пожара и оценить масштаб ущерба.

Власти Южной Кореи предупредили граждан, что на восстановление пострадавших в результате пятничного пожара в дата-центре систем может уйти до месяца, сообщает Datacenter Dynamics. По данным местных госорганов, возгорание аккумуляторов в дата-центре Национальной службы информационных ресурсов (NIRS) в городе Тэджон (Daejeon) в итоге затронуло работу 647 государственных сервисов.

Местный штаб по борьбе с чрезвычайными ситуациями сообщил, что по состоянию на понедельник, 29 сентября 2025 года, была восстановлена работа 73 служб, а на восстановление остальных могут уйти недели. По словам властей, сервисы будут развёрнуты на базе государственно-частного облачного кластера, расположенного в штаб-квартире NIRS в городе Тэгу (Daegu). Предполагается, что на получение необходимой IT-инфраструктуры потребуется две недели, на восстановление работы всех систем — ещё две. Ранее власти заявляли, что на устранение последствий возгорания уйдёт лишь две недели.

Возгорание литиевых аккумуляторов произошло в 20:20 по местному времени в пятницу, 26 сентября в одном из серверных помещений ЦОД. К тушению привлекли 73 пожарных и 70 единиц специальной техники. От ожогов пострадал как минимум один человек. После того, как пожар полностью потушили в субботу, власти инициировали расследование причин. В группу из 20 следователей входят три эксперта по литиевым АКБ — всех специалистов привлекла полиция Тэджона.

Источник изображения: Guido Jansen/unsplash.com

NIRS предоставляет 1,6 тыс. сервисов для граждан в рамках центральной южнокорейской системы госуслуг. Также ведомство выступает поставщиком IT-сервисов для местных и национальных органов власти. Системы компании работают в трёх ЦОД, на площадку в Тэджоне приходится треть мощностей.

Системы, отключившиеся в результате пожара, включают местную службу экстренных вызовов 119, сервисы правительственной электронной почты и др. Не так давно инцидент с критически важными службами произошёл в Австралии. Из-за сбоя при обновлении брандмауэра местным телеком-оператором Optus временно исчезла возможность дозвониться в местный аналог службы «911», в результате чего умерли, как минимум, трое местных жителей.

UPD: полиция арестовала четырёх человек, подозреваемых в халатности на рабочем месте. Пожар начался на пятом этаже ЦОД из-за вспыхнувшей батареи, что в итоге привело к уничтожению 384 батарейных модулей и 740 единиц IT-оборудования. Объект продолжают преследовать неудачи — сегодня на парковке ЦОД загорелся автомобиль, который оперативно потушили.

В пятницу вечером в дата-центре национального информационно-ресурсного агентства Южной Кореи (National Information Resources Service) в Тэджоне (Daejeon) произошёл пожар, что привело к отключению более 70 государственных сервисов, пишет The Korea Times со ссылкой на заявление Министерство внутренних дел и безопасности страны Южной Кореи.

Сообщение о возгорании литиевой батареи в дата-центре агентства на пульт пожарной службы в 20:15 по местному времени. На тушении пожара задействовано 70 машин и 73 пожарных. По данным СМИ, все сотрудники были эвакуированы с места происшествия, один человек получил лёгкие травмы.

Из-за инцидента была приостановлена работа более чем 70 государственных онлайн-сервисов, включая систему мобильной идентификации и онлайн-платформу для подачи жалоб и петиций, сообщило министерство. Также наблюдаются сбои в работе государственной электронной почты и проблемы с доступом ко многим правительственным веб-сайтам.

Источник изображения: MARIOLA GROBELSKA / Unsplash

Премьер-министр Ким Мин Сок (Kim Min-seok) призвал правительство мобилизовать все возможные ресурсы для тушения пожара, а также поручил Министерству внутренних дел и безопасности принять меры для скорейшего восстановления работы онлайн-сервисов.

За последние годы из-за возгорания литий-ионных аккумуляторов произошло несколько масштабных пожаров в ЦОД, что вызывает опасения у экспертов по поводу безопасности использования таких источников питания. Южная Корея уже «прославилась» одним из крупнейших в истории индустрии сбоев ЦОД, причиной которого стало возгорание Li-Ion аккумуляторов.

В минувший четверг в дата-центре Digital Realty PDX11 в технопарке Хиллсборо (Hillsboro) в Орегоне произошёл пожар, который привёл к сбоям в социальной сети X (Twitter) Илона Маска (Elon Musk), которая является одним из арендаторов ЦОД. По предварительным данным, возгорание произошло в помещении, где находились аккумуляторы резервного питания, сообщает Wired. Персонал эвакуировали. На устранение инцидента у пожарных ушло несколько часов, но, к счастью, никто не пострадал.

По словам местных пожарных, пожар начался в помещении, заполненном (предположительно) литий-ионными аккумуляторами. Хотя такие аккумуляторы распространены в современных ЦОД, именно они нередко и становятся причиной возгораний. Малейшая ошибка в контрле температуры, обслуживании или установке способна привести к неконтролируемому перегреву и возгораниям. Хотя пламя не распространилось за пределы аккумуляторного зала, дым был достаточно густым, чтобы вызвать обеспокоенность.

Digital Realty не стала уточнять, кто именно является арендатором её ЦОД. Представители X тоже отказались от комментариев. Впрочем, как сообщает Datacenter Dynamics, с 23 мая в течение нескольких суток в работе X наблюдаются сбои разного масштаба. В официальном аккаунте компания сообщается, что она знает о проблемах и работает над их устранением.

Источник изображения: raquel raclette/unsplash.com

До покупки Маском в 2022 году социальная сеть использовала в США три ЦОД: в Сакраменто, Портленде и Атланте. В случае отказа одного дата-центра трафик можно было перенаправить на другие. В конце 2022 года Маск принял неоднозначные меры по сокращению расходов и закрыл площадку в Сакраменто. В результате всего через несколько дней случился крупный сбой, доказавший, что система стала хрупкой — компания поспешила перенести нагрузки в Портленд и Атланту. В итоге дата-центр NTT GDC в Сакраменто достался Tesla. Кроме того, Маск какое-то время отказывался оплачивать услуги облаков Google и Oracle, а поставщик серверов Wiwynn подал к X иск за неоплату счетов и несоблюдение условий контракта.

Пожары в дата-центрах — явление не такое уж уникальное. В сентябре 2024 года Alibaba Cloud пострадала от пожара в ЦОД в Сингапуре, от большого пожара в своём время пострадал ЦОД OVHCloud в Страсбурге. Один из крупнейших в истории индустрии инцидентов тоже оказался связан с Li-Ion аккумуляторами, безопасность которых вызывает всё больше вопросов. Основными же причинами отключений ЦОД по-прежнему являются человеческие ошибки и сбои в электроснабжении.

Катастрофический пожар, произошедший во вторник на прошлой неделе в сингапурском дата-центре Digital Realty, всё ещё осложняет работу облачных операторов. The Register, в частности, сообщает, что к полноценной работе не может приступить облачный регион Alibaba Cloud — в компании ждут, когда просохнет оборудование, чтобы попытаться восстановить данные.

Согласно данным Alibaba Cloud, миграция и восстановление данных в повреждённом ЦОД SIN11 идёт по плану. Работа облачных сервисов постепенно восстанавливается. В компании подчеркнули, что часть оборудования по-прежнему находится в небезопасной и заблокированной зоне дата-центра. О возможном затоплении ряда помещений пожарные предупредили оператора заранее. Некоторое оборудование требует тщательной просушки до того, как можно будет попытаться запустить его без дополнительной угрозы целостности данных. На их восстановление уйдёт некоторое время. Из-за сбоя Alibaba Cloud, как выяснилось, пострадали и различные сервис-провайдеры, включая Lazada и ByteDance.

Источник изображения: Adam Wilson/unsplash.com

Причиной пожара, вероятно, стало возгорание Li-Ion элементов ИБП. Сообщалось, что для тушения и охлаждения АКБ пришлось задействовать пожарного робота, поскольку аккумуляторы могли повторно воспламениться, взорваться и выделить токсичные вещества. Ситуация усугублялась тем, что АКБ находились на третьем этаже четырёхэтажного ЦОД. Хотя современные нормы Сингапура предписывают размещать ИБП на первом этаже, объект Digital Realty ввели в эксплуатацию задолго до принятия этих норм. Это единственный из трёх кампусов Digital Realty в Сингапуре, созданный на основе уже имеющейся инфраструктуры. Ещё два были возведены с нуля.

Источник изображения: Daan Mooij / Unsplash

Как сообщает Alibaba Cloud, к вечеру злополучного вторника всё ещё звучала пожарная сигнализация, а некоторое сетевое оборудование функционировало со сбоями из-за высоких температур. Клиентов предупредили о возможных сбоях во всех зонах доступности данного облачного региона. В среду большинство облачных сервисов восстановили работу в результате переноса части нагрузок. В пятницу было объявлено, что часть оборудования находится «в стадии безопасной миграции». В субботу уже проводилась подготовка к установке оборудования, включая его сушку.

От грандиозного пожара в своём время пострадал ЦОД OVHCloud в Страсбурге, долгое время оператор разбирался многочисленными претензиями пользователей. В самом Сингапуре после крупного сбоя дата-центра Equinix в прошлом году власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

Эксперты Uptime Institute, по сообщению NetworkWorld, предупреждают о возможной опасности использования литий-ионных батарей в ЦОД. По мнению экспертов, такие накопители энергии повышают риск возгорания.

В течение последнего времени сразу несколько крупных дата-центров пережили масштабные пожары. Так, в марте 2021 года огонь уничтожил ЦОД французской компании OVHcloud в Страсбурге. Возгорание также произошло на площадке иранской Telecommunication Infrastructure Company (TIC). Кроме того, пожар привёл к самому масштабному в мире сбою ЦОД Kakao: этот инцидент был вызван воспламенением аккумуляторов. Возгорание батарей спровоцировало проблемы в дата-центре Cyxtera и в ЦОД Maxnod.

Изображение: SK On

Как отмечает консалтинговая фирма Frost & Sullivan, в настоящее время Li-Ion аккумуляторы широко используются в источниках бесперебойного питания. Ожидается, что к 2025 году на них будет приходиться 38,5 % рынка батарей для ЦОД против 15 % в 2020-м. Такие накопители энергии обладают рядом преимуществ по сравнению со свинцово-кислотными батареями — они компактнее, проще в обслуживании и имеют более продолжительный срок эксплуатации. Обратной стороной медали является повышенная вероятность воспламенения.

Источник: Uptime Institute

По оценкам Uptime Institute, примерно 7 % сбоев в ЦОД происходит в связи с пожарами. Причём Li-Ion аккумуляторы крайне плохо поддаются тушению традиционными средствами. Они горят интенсивнее, дольше и при более высокой температуре, нежели свинцово-кислотные изделия. Поэтому такие элементы в случае возгорания могут нанести ЦОД колоссальный ущерб.

Отмечается, что даже если оборудование в дата-центре не пострадает непосредственно от огня, дым и продукты горения, попавшие в серверы, в перспективе могут спровоцировать преждевременные отказы. Поэтому, считают специалисты, операторам ЦОД следует сопоставлять выигрыш в энергоэффективности от внедрения литий-ионных батарей с рисками возгорания и сопутствующими убытками.