Нарушение работы четырёх подводных кабелей к западу от побережья Африки привело к перебоям с интернетом на всём континенте. По данным Bloomberg, кабели West Africa Cable System, MainOne, South Atlantic 3 и ACE пострадали в четверг или пятницу, что сказалось на работе местных мобильных операторов и интернет-провайдеров. Причина до сих пор не установлена.

В первую очередь пострадал запад Африки, больше всего — Кот-д'Ивуар, Либерия и Бенин. Критические проблемы возникли и в Гане, Нигерии и Камеруне. Появились сообщения и о перебоях со связью в Южной Африке. По другим данным, связь обрывалась также в Сенегале и Португалии, из-за чего телеком-операторам пришлось потрудиться над восстановлением работоспособности сетей. В прошлом году West African Cable System наряду с South Atlantic 3 пострадали после подводного оползня. На ремонт повреждённой инфраструктуры ушло около месяца.

Источник изображения: Ryan O'Shea/unsplash.com

Примечательно, что не прошло и месяца с тех пор, как три оптоволоконных кабеля оборвали в Красном море, предположительно якорем повреждённого грузового судна. Акватория Красного моря является критически важным маршрутом для телекоммуникационных магистралей, связывающих Европу с Азией и Африкой. Из-за обрыва трафик пришлось направить по другим маршрутам, в том числе вдоль западного африканского побережья. Проблемы со связью в любой части континента означают рост нагрузки на оставшуюся инфраструктуру.

Крупнейшие в Африке операторы беспроводной связи MTN Group Ltd. и Vodacom Group Ltd. заявили, что сбои в работе подводных кабелей негативно сказались на качестве услуг. Vodacom сообщала, что проблемы связи Африки с Европой сохраняются, в том числе и у других бизнесов. Например, Microsoft объявила о перебоях в работе облачных сервисов, включая Microsoft 365, причём речь идёт не только о западном, но и о восточном побережье Африки. Пострадал и островной Маврикий, местной Mauritius Telecom Ltd. тоже пришлось перенаправлять трафик.

В понедельник появились подтверждения сообщений о повреждении телекоммуникационных кабелей, пролегающих по дну Красного моря, сообщило агентство AP News со ссылкой на официальные источники. Некоторые эксперты возлагают вину за это на йеменских хуситов, периодически подвергающих обстрелам проходящие мимо побережья Йемена суда, но те отрицают эти обвинения.

По данным гонконгской компании HGC Global Communications, были повреждены кабели Asia-Africa-Europe 1 (AAE-1), Europe India Gateway (EIG), а также Seacom и TGN-Gulf, являющиеся в данном случае единой кабельной системой. В HGC Global Communications сообщили, что повреждения затронули 25 % трафика, проходящего через Красное море. HGC перенаправила часть трафика до Европы через материковый Китай и США.

Источник изображения: Seacom

Seacom сообщила Associated Press, что «первоначальное тестирование показывает, что повреждённый сегмент находится в пределах йеменской морской юрисдикции в южной части Красного моря», и что трафик перенаправлен на другие маршруты, хотя некоторые сервисы всё же были отключены. В свою очередь Tata Communications, входящая в индийский конгломерат и обслуживающая кабель Seacom-TGN-Gulf, сообщила AP, что она «предприняла немедленные и соответствующие меры по исправлению положения» сразу после его повреждения.

Источник изображения: HGC Global Communications

Не исключено, что кабели могли быть непреднамеренно повреждены якорями, в том числе спущенными с кораблей, выведенных из строя в результате атак. Тем более, что глубина Красного моря на отдельных участках не превышает 100 м. В частности, этой версии придерживаются в Seacom, хотя с точностью говорить об этом можно будет после того, как на место прибудет ремонтное судно. Хуситы предупредили, что кораблям-кабелеукладчикам, заходящим в территориальные воды Йемена, необходимо разрешение «в связи с беспокойством о безопасности».

Сейчас через Красное море проложено 14 подводных кабелей и планируется проложить ещё шесть, сообщил Тим Строндж (Tim Stronge), эксперт по подводным кабелям. «По нашим оценкам, более 90 % коммуникаций между Европой и Азией проходят по подводным кабелям в Красном море, — сказал он. — К счастью, операторы связи встроили в систему высокую степень резервирования — через Красное море проходит множество кабелей».

По данным многочисленных источников, несколько подводных кабелей, вероятно, повреждены в Красном море у побережья Йемена. Datacenter Dynamics сообщает, что ряд СМИ уже возложил вину на йеменские хуситские силы. На ремонт, как считается, может уйти до восьми недель. О возможности проблем такого рода эксперты начали говорить ещё в конце прошлого года.

Один из операторов кабелей подтвердил нарушение инфраструктуры в регионе, но отказался называть точную причину произошедшего. По данным СМИ, повреждения получили сразу четыре кабеля: AAE-1, Seacom, Europe India Gateway (EIG) и TGN. Правда, Seacom и TGN фактически представляют собой единую кабельную систему, операторами которой выступают Seacom и Tata Communications.

Источник изображения: Ian Simmonds/unsplash.com

NetBlocks подтвердила перебои с интернетом в Джибути (на противоположном от Йемена берегу), где сходятся множество подводных кабелей. Seacom также подтвердила проблемы в системе Seacom/TGN, но воздержалась от обвинений какой-либо из сторон. Предполагается, что пострадал сегмент, ведущий из Момбасы (Кения) в Зафарану (Египет). Сейчас компания пытается оценить возможность ремонта в регионе. В компании подтвердили, что место обрыва имеет важное значение из-за обстановки в регионе — операции по обслуживанию и ремонту здесь сейчас затруднены.

В Seacom утверждают, что трафик, предназначавшийся для Европы и других регионов, был автоматически перенаправлен другими маршрутами — по кабельным системам Equiano (фактически в обход Африки), PEACE и WACS. Большую роль играет наличие и наземной инфраструктур. Сервисы клиентам будут предоставляться, но возможно увеличение задержек.

Источник изображения: TeleGeography

По словам некоторых экспертов, судовладельцы, располагающие оборудованием для укладки кабелей, не горят желанием заниматься ремонтом в зоне конфликта. Страховые компании тоже вряд ли согласятся обслуживать корабли, которые попытаются работать в йеменских водах. Кроме того, специализированных судов мало и все они забронированы на месяцы вперёд.

На сегодня Азию с Европой через Красное море связывают 17 кабельных систем разной степени готовности. Как и Суэцкий канал в Египте, Баб-эль-Мандебский пролив является «бутылочным горлышком» между Ближним Востоком и Африкой. В районе Красного моря средняя глубина составляет около 490 м, а на некоторых участках — и вовсе 100 м. Другими словами, повредить кабели могут даже слабо оснащённые участники регионального конфликта.

Банковская группа DBS из Сингапура урезала премию генеральному директору на 30 %. По данным The Register, руководитель, а также его соратники понесли ответственность за сбои цифровых систем организации в 2023 году. Совет директоров принял решение, что компенсация главе и прочим членам управляющего комитета группы должна быть снижена в качестве наказания за допущение «серии цифровых сбоев в течение года».

Генеральный директор группы Пиюш Гупта (Piyush Gupta) признал, что топ-менеджеры, включая его самого, несут ответственность за сбои и подчеркнул, что подобные меры являются хорошим элементом управления бизнесом. Впрочем, несмотря на уменьшение собственных доходов, Гупта по-прежнему остался в большом плюсе — годовая премия составила $4,14 млн, а всего, согласно отчёту компании, он заработал за 2023 год приблизительно $11,5 млн.

Источник изображения: Meriç Dağlı/unsplash.com

Сокращение премий для топ-менеджеров стало ответом на перебои октября 2023 года, когда в течение приблизительно двух дней пользователи полностью или частично потеряли доступ к банковским приложениям. Клиенты и вендоры не могли осуществлять платежи в городе-государстве, почти всецело полагающемся на цифровые финансовые системы — были сорваны миллионы транзакций. Позже выяснилось, что сбои были вызваны техническими проблемами в системе охлаждения ЦОД, причём DBS не смогла нормально переключиться на резервный ЦОД из-за неправильной конфигурации сети.

Гневом обычных пользователей и бизнес-клиентов дело не ограничилось — Валютное управление Сингапура (MAS) выписало банку огромные штрафы и на шесть месяцев запретила DBS сокращать филиалы и сеть банкоматов, усилило контроль над IT-системами компании, а также введи другие санкции. Кроме того, власти Сингапура теперь намерены жёстко отрегулировать деятельность ЦОД и облаков, приравняв их к объектам критической инфраструктуры.

В DBS сообщили, что уже потратили около $60 млн на улучшение технологий и повышение надёжности своей банковской системы. Например, $18,6 млн ушло на консультантов и найм новых топ-менеджеров, включая специалистов по аудиту и управлению рисками. Ожидается, что это позволит избежать перебоев банковских систем, сформировать альтернативные каналы для обработки платежей и поддержания других финансовых инструментов в случае возможных накладок. И, конечно, это позволит сократить время восстановления работоспособности после инцидентов.

Компания Rackspace Technology, провайдер облачных услуг, продолжает нести финансовые потери в связи с атакой программы-вымогателя, происшедшей в конце 2022 года. Как сообщает ресурс Dark Reading, потери Rackspace из-за этого инцидента приблизились к $12 млн.

Киберинцидент, напомним, случился в начале декабря 2022-го. Масштабный сбой произошёл из-за задержек с установкой патчей для уязвимостей в ПО. В течение нескольких недель Rackspace не могла справиться с последствиями вторжения и, в конечном итоге, приняла решение навсегда отключить свою службу Microsoft Exchange. В связи с кибератакой против компании подан коллективный иск. Ранее говорилось, что расходы Rackspace на устранение последствий кибератаки составят приблизительно $10,8 млн.

Источник изображения: Rackspace

Однако теперь стало известно, что сумма окажется больше. Причем есть вероятность, что в дальнейшем компания продолжит нести расходы в связи с инцидентом, поскольку судебные разбирательства продолжаются. Согласно документам, направленным Rackspace в Комиссию по ценным бумагам и биржам (SEC), расходы, касающиеся атаки программы-вымогателя, в I квартале 2023 года составили $1,7 млн, во II квартале — $4,9 млн.

Таким образом, общая сумма потерь только в первом полугодии оценивается в $6,6 млн. Впоследствии к этой цифре были добавлены ещё $5,0 млн, что поднимает общие затраты до $11,6 млн. Rackspace отмечает, что ожидает выплаты в размере $5,4 млн по страхованию в области кибербезопасности. Вместе с тем компания до сих пор не погасила счета на сумму как минимум $6,0 млн, связанные с инцидентом.

Технические проблемы, возникшие в сингапурском дата-центре Equinix в середине минувшего октября из-за перегрева, привели к серьёзным проблемам в банковской сфере. Как сообщает The Register со ссылкой на Валютное управление Сингапура (MAS), проблемы с системой охлаждения ЦОД привели к остановке 2,5 млн банковских операций. Проблема затронула DBS и Citibank, неприятности у которых начались днём 14 октября 2023 года — в результате клиенты частично утратили доступ к банковским услугам приблизительно на два дня, лишившись возможности осуществлять платежи.

По данным властей в результате роста температуры в ЦОД выше допустимого уровня из-за нарушения работы системы охлаждения зарегистрировано 810 тыс. неудачных попыток доступа к двум банковским платформам, понадеявшихся на Equinix, а 2,5 млн онлайн-платежей и операций в банкоматах так и не были завершены. Сам оператор ЦОД винит подрядчика, поскольку его сотрудник якобы «неправильно» отправил сигнал на закрытие клапанов буферных резервуаров с холодной водой в ходе обновления инфраструктуры.

Хотя банки немедленно приняли меры для возвращения работоспособности после инцидента, полностью восстановить системы с использованием резервных ЦОД сразу не удалось. DBS — из-за неправильной конфигурации сети, а Citibank из-за проблем с сетевым подключением. В результате оба банка не сумели уложиться в нормативы MAS, требующие, чтобы отключение критически важных систем, влияющих на банковские операции, не превышало 4 часов в год. Управление ввело ряд довольно жёстких наказаний для провинившихся банков сроком на полгода.

По мнению экспертов, удивительно не только то, что система охлаждения не сработала, но и то, что банки не смогли своевременно отреагировать на сбой, введя в действие резервные мощности. Считается, что, как часто бывает, инцидент произошёл благодаря стечению неблагоприятных обстоятельств, поскольку на активацию резервной системы в норме уходят секунды или минуты. При этом MAS не контролирует деятельность провайдеров вроде Equinix.

Принадлежащий сингапурской компании Singtel австралийский телеком-оператор Optus с 04:00 среды (12:00 по московскому времени) страдает от масштабного сбоя, затронувшего информационную инфраструктуру по всей стране. По данным The Register, без телефонной связи и интернета остались миллионы австралийцев — компания является там вторым по величине национальным оператором.

Граждане и организации понесли ущерб не только от отсутствия связи — временно перестали работать некоторые поезда, а также другие виды транспорта, включая такси или каршеринг. Также перестали функционировать платёжные терминалы. При этом наличность сегодня имеют не так много людей — после пандемии COVID-19 переход на безналичные расчёты привёл к тому, что уже в 2022 году в Австралии на наличность приходилось немногим более 10 % платежей.

Источник изображения: Joey Csunyo/unsplash.com

На этом неприятности австралийцев не закончились. Пострадали наземные линии связи и информационная инфраструктура критически важных объектов вроде больниц, пожарных служб и др. В Optus сообщили, что для вызова экстренных служб необходимо пользоваться мобильной связью, поскольку других операторов страны сбой не коснулся.

По данным сервиса Netblocks, интернет-сервисы Optus частично восстановились на восьмой час с момента сбоя, но мобильная сеть оставалась нефункциональной. После этого сообщалось о начале постепенного восстановления всех сервисов, но на полное возобновление работы, вероятно, уйдут часы. Представитель Optus заявил журналистам, что главная причина всё ещё выясняется, но данных о возможной кибератаке пока нет. По некоторым сведениям, сбой могло вызвать некорректное обновление ПО, но точные данные отсутствуют.

Источник: Twitter/@netblocks

Всего Optus насчитывает 10,2 млн клиентов, т.е. около 40 % населения Австралии. В прошлом году Optus тоже «отличилась» — после кибератаки в Сеть утекли данные её пользователей, сведений оказалось достаточно для злоумышленников, чтобы открывать даже банковские аккаунты от их имени. Местные чиновники раскритиковали работу Optus, в частности заявив, что правительство Южной Австралии уже рассматривает переключение критически важных сервисов на других провайдеров.

В этом месяце пострадали от отключения интернета и клиенты крупных банков в Сингапуре — перегрев оборудования и отказ резервных систем привёл к срыву 2,5 млн банковских транзакций, а власти призвали население и бизнесы позаботиться об альтернативных средствах платежей на случай подобных происшествий.

В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

В минувшую субботу в дата-центре Equinix в Сингапуре произошёл сбой, повлекший за собой остановку банковских сервисов по всей стране, сообщил ресурс Data Center Dynamics. В настоящее время ведётся расследование «технической проблемы», вызвавшей повышение температуры в ЦОД, сообщили в Equinix.

Сообщается, что из-за сбоя в ЦОД компании были отключены сервисы банков DBS и Citibank в Сингапуре. Также проблемы наблюдались в работе других сервисов на Филиппинах, в Гонконге, Индии, Южной Африке, Камбодже, Индонезии, Шри-Ланке, ОАЭ и на Мальдивах, где многие пользователи не смогли получить доступ к своим аккаунтам в Facebook✴, Instagram✴ и Whatsapp.

Источник изображения: Equinix/Data Center Dynamics

В валютном управлении Сингапура (MAS) сообщили о том, что им известно о сбое, в связи с чем проводится расследование, а к Equinix применены ограничительные меры. Ранее подобные ограничения были применены к Equinix в феврале 2022 года в связи с происшедшим тогда сбоем. «Отключения, подобные инциденту 14 октября, показывают, насколько важны ЦОД для нашей повседневной жизни, и поэтому организациям необходимо постоянно анализировать отдельные точки сбоев и принимать соответствующие меры для снижения этих рисков», — сообщил Эдвард ван Леент (Edward van Leent) председатель сингапурской компании Enterprise Products Integration (EPI).

Количество сбоев ЦОД с годами не уменьшается. По данным Uptime Institute, основанным на анализе сбоев ЦОД в 2023 году, более двух третей всех сбоев обходятся более чем в $100 тыс., в том числе почти 25 % сбоев наносят убытки более чем в $1 млн. Патрик Чан (Patrick Chan), вице-президент Uptime Institute по азиатскому региону указал на важность проведения сертификации ЦОД с целью соблюдения стандартов и снижения рисков сбоев.

UPD 24.10.2023: Equinix обвинила в сбое стороннего подрядчика, который подал сигнал на закрытие вентилей ёмкостей с теплоносителем во время запланированного обновления инфраструктуры, в результате чего температура в некоторых машинных залах поднялась, что и привело к проблемам у клиентов компании. Кроме того, валютное управление Сингапура предписало банкам DBS и Citibank провести тщательное расследование, почему их резервные ЦОД не смогли вовремя принять нагрузку на себя.

Произошедший 30 августа сбой в работе австралийского дата-центра привёл к проблемам в работе с сервисами Azure, API, базами данных, а также облачным ПО. Пользователи более суток не имели доступа к Azure, сервисам Microsoft 365 и Power Platform. Как сообщает Network World, в Microsoft обвиняют в произошедшем недостаток персонала в ЦОД и неисправную систему автоматики.

По данным экспертов компании, после падения напряжения в сети на юго-востоке страны отключилась часть охлаждающих систем в одном из ЦОД. Поскольку охлаждение не работало должным образом, рост температуры в машинных залах привёл к автоматическому отключению некоторого оборудования для сохранения инфраструктуры и данных.

При этом в компании подчеркнули, что системы охлаждения можно было бы заново включить вручную, окажись для этого достаточно персонала в ЦОД. С учётом размеров кампуса и небольшого числа сотрудников ночной смены людей оказалось недостаточно для своевременного восстановления работоспособности. В компании подчеркнули, что временно увеличили команду с трёх до семи человек, пока не выяснили причины проблем и не приняли необходимые меры для их устранения.

Источник изображения: Microsoft

В Microsoft добавили, что компания работает над масштабными реформами, включая совершенствование системы автоматизации ЦОД для восстановления работоспособности в случае повторения инцидентов, в частности, связанных с перепадами напряжения. Поэтому ведётся оценка загруженности серверов, чтобы выяснить, какие именно системы охлаждения нужно «оживить» в первую очередь.

В последние месяцы сбои в работе сервисов Microsoft уже случались, в первую очередь связанные с нарушением доступа к Microsoft 365. Например, в июле пострадали OneDrive для бизнеса и SharePoint Online, а месяцем ранее с проблемами на восемь часов столкнулись пользователи Outlook Web, Teams, OneDrive для бизнеса и SharePoint. А в начале года наблюдались глобальные сбои в работе сервисов компании.