Компания CrowdStrike, ставшая главной виновницей недавнего сбоя ОС Windows на более 8,5 млн компьютеров, решила изменить политику обновления своего ПО. По информации Dark Reading, против компании уже поданы два коллективных иска, так что она планирует существенно пересмотреть процесс подготовки и массового развёртывания апдейтов.

Чтобы не повторять ошибок прошлого, компания пообещала сформировать новую процедуру тестирования контента, введение дополнительных этапов внедрения ПО и новых проверок его надёжности, а также новые механизмы валидации обновлений. CrowdStrike также попросила двух сторонних вендоров проанализировать её ПО Falcon Sensor, ставшее причиной инцидента. Кроме того, они должны оценить систему контроля качества и механизм выпуска релизов продуктов.

Источник изображения: Surface/unsplash.com

Проблемы CrowdStrike, Microsoft и миллионов пользователей по всему миру начались 19 июля, после выпуска обновления Falcon. Автоматически развёрнутое обновление вызвало сбой ОС по всему миру. Во многих случаях системным администраторам приходилось вручную перезагружать компьютеры, в том числе прибегая к необычным трюкам — в компаниях с большим парком ПК на восстановление ушли дни.

Против CrowdStrike уже подано не менее двух коллективных исков, от имени акционеров компании и со стороны пострадавших заказчиков. Особенно агрессивную позицию занимает Delta Air Lines, потерявшая, по её словам, полмиллиарда долларов — эта и другие компании могут подать собственные иски в скором времени, несмотря на оправдания CrowdStrike и Microsoft.

Причина сбоя оказалась в недостаточно качественном тестировании системы обновлений для Falcon Sensor. Изменения в ней были сделаны ещё в феврале 2024 года, но аудит показал, что они успешно прошли автоматическую валидацию и многоступенчатое тестирование, хотя этого не должно было произойти. Причём проблема не дала о себе знать даже во время ограниченных тестов на реальных пользователях.

Компания Cisco сократит тысячи сотрудников в ходе второго раунда увольнений. По данным Reuters, это связано с тем, что компания намерена сместить фокус внимания на области с высокими темпами роста, включая кибербезопасность и системы искусственного интеллекта (ИИ).

Если в феврале Cisco уволила порядка 4 тыс. человек, то теперь, не исключено, под сокращение попадёт несколько больше. Вероятнее всего, компания объявит о непростых кадровых решениях уже в будущую среду в ходе очередного квартального отчёта. В своё время Reuters сообщила о февральских увольнениях ещё до того, как об этом объявила сама компания, поэтому её источники могут считаться довольно надёжными. При этом в июле 2023 года штат Cisco составлял 84,9 тыс человек.

Источник изображения: Hunters Race/unsplash.com

После сообщения Reuters об очередных сокращениях акции компании упали в цене приблизительно на 1 %, всего они подешевели за год более чем на 9 %. Сейчас компания страдает от малого спроса и проблем с цепочками поставок для своего основного бизнеса. Это заставляет её диверсифицировать бизнес — например, в марте закрыта сделка по покупке за $28 млрд компании Splunk, занимающейся обеспечением кибербезопасности. Покупка позволит снизить зависимость от «разовых» продаж, стимулируя бизнес, связанный с продажей технологических решений по подпискам.

Кроме того, компания пытается интегрировать ИИ в свои продукты и в мае подтвердила намерение добиться в 2025 году продаж ИИ-решений на $1 млрд. В июне компания основала миллиардный фонд для инвестиций в ИИ-стартапы вроде Cohere, Mistral AI и Scale AI. На тот момент компания объявила, что за последние годы приобрела 20 связанных с ИИ компаний.

Увольнения — последнее из событий такого рода в технологической индустрии, позволяющая сократить издержки в текущем году, чтобы компенсировать большие инвестиции в ИИ. Всего, по данным портала Layoffs.fyi, с начала года в 393 технокомпаниях уволили более 126 тыс. человек. Ранее в августе Dell объявила о сокращении более 10 % рабочей силы — около 12,5 тыс. человек, в основном из отделов продаж и маркетинга.

Энрике Ниссим (Enrique Nissim) и Кшиштоф Окупски (Krzysztof Okupski), исследователи из компании IOActive, занимающейся вопросами безопасности обнаружили уязвимость в чипах AMD, выпускаемых с 2006 года или, возможно, даже раньше, которая позволяет вредоносному ПО проникать настолько глубоко в систему, что во многих случая её проще выбросить, чем пытаться восстановить, пишет ресурс Wired.

Получившая идентификатор CVE-2023-31315 с высоким уровнем опасности (CVSS 7,5) уязвимость была названа исследователями Sinkclose. Уязвимость позволяет злоумышленникам с привилегиями уровня ядра ОС (Ring 0) получать привилегии Ring -2 и устанавливать вредоносное ПО, которое очень сложно обнаружить.

Источник изображения: AMD

Благодаря Sinkclose злоумышленники могут изменять настройки одного из самых привилегированных режимов процессора AMD — SMM, предназначенного для обработки общесистемных функций, таких как управление питанием и контроль оборудования, даже если включена блокировка SMM. Эта уязвимость может использоваться для отключения функций безопасности и внедрения на устройство постоянного, практически необнаруживаемого вредоносного ПО.

Ring -2 изолирован и невидим для ОС и гипервизора, поэтому любые вредоносные изменения, внесённые на этом уровне, не могут быть обнаружены или исправлены инструментами безопасности, работающими в ОС. Вредоносное ПО, известное как буткит, которое обходит антивирусные инструменты и потенциально невидимо для операционной системы, предоставляет хакеру полный доступ для вмешательства в работу компьютера и наблюдения за её активностью.

По словам Окупски, единственный способ обнаружить и удалить вредоносное ПО, установленное с помощью SinkClose — это физическое подключение с помощью программатора SPI Flash и сканирование памяти на наличие вредоносного ПО.

Полные сведения об уязвимости будут представлены исследователями на конференции DefCon в докладе «AMD Sinkclose: Universal Ring -2 Privilege Escalation». Исследователи говорят, что предупредили AMD об уязвимости в октябре прошлого года, и не сообщали о баге почти 10 месяцев, чтобы дать AMD больше времени для устранения проблемы.

Комментируя сообщение исследователей, компания AMD указала в заявлении для Wired на сложность использования уязвимости в реальных сценариях, поскольку злоумышленникам требуется доступ на уровне ядра. В ответ исследователи заявили, что подобные уязвимости выявляются в Windows и Linux практически каждый месяц. Они отметили, что опытные хакеры, спонсируемые государством, которые могут воспользоваться Sinkclose, вероятно, уже обладают методами использования подобных уязвимостей.

Как ожидают исследователи, для компьютеров с Windows патчи против Sinkclose будут интегрированы в обновления, которыми производители компьютеров поделятся с Microsoft. Исправления для серверов, встраиваемых систем и Linux-машин могут быть более пошаговыми и ручными; для Linux это будет частично зависеть от дистрибутива.

AMD указала в заявлении, что уже приняла меры по смягчению последствий для своих процессоров EPYC и AMD Ryzen для настольных и мобильных систем, а дополнительные исправления для встроенных процессоров появятся позже.

Согласно AMD, уязвимость имеется в следующих чипах:

• EPYC 1-го, 2-го, 3-го и 4-го поколений.
• EPYC Embedded 3000, 7002, 7003 и 9003, R1000, R2000, 5000 и 7000.
• Ryzen Embedded V1000, V2000 и V3000.
• Ryzen 3000, 5000, 4000, 7000 и 8000 серий.
• Ryzen 3000 Mobile, 5000 Mobile, 4000 Mobile и 7000 Mobile серий.
• Ryzen Threadripper 3000 и 7000 серий.
• AMD Threadripper PRO (Castle Peak WS SP3, Chagall WS).
• AMD Athlon 3000 серии Mobile (Dali, Pollock).
• AMD Instinct MI300A.

UPD 11.08.2024: патчи не получат Ryzen 1000, 2000 и 3000, а также Threadripper 1000 и 2000. Не упомянуты и Ryzen 9000 с Ryzen AI 300, но в этих процессорах уязвимость наверняка устранена ещё до их выхода на рынок.

UPD 21.08.2024: Ryzen 3000 всё-таки получит патчи против Sinkclose.

Delta Air Lines обрушилась с критикой на компанию CrowdStrike, ставшую виновницей глобальных сбоев IT-инфраструктуры. Как сообщает The Register, в CrowdStrike заявили, что предлагали авиакомпании помощь, но не получили ответа. Глава Delta утверждает, что предложение о помощи было незначительным и поступило слишком поздно, а теперь пытается «обвинить жертву» в письме.

В прошлом месяце CrowdStrike выпустила дефектное обновление своего защитного ПО Falcon, в результате чего BSOD настиг более 8 млн Windows-систем. В случае с Delta, по данным юристов компании, проблема затронула более 37 тыс. компьютеров, нарушив планы более 1,3 млн пассажиров. Впоследствии Delta пригрозила иском CrowdStrike и Microsoft, заявив, что инцидент обошёлся ей в $500 млн убытков. Представители потенциальных ответчиков уже заявили, что предлагали компании помощь, но не дождались ответа.

Источник изображения: Icons8 Team / Unsplash

В письме CrowdStrike к Delta разработчик ПО обвинил авиакомпанию в том, что именно действия её специалистов привели к столь масштабным последствиям, текст схожего содержания отправила и Microsoft, обвинившая Delta в использовании устаревших IT-решений. В авиакомпании считают, что никаким образом не несут ответственность за неправильно работающее ПО, не говоря уже о сбое других систем по всему миру. Сейчас CrowdStrike грозит и коллективный иск со стороны инвесторов.

В ходе препирательств выяснились интересные подробности. К тому времени, как глава CrowdStrike связался с главой Delta (один раз ночью 22 июля), с момента инцидента прошло почти четыре дня и Delta восстановила свои критические системы и работу большинства прочих компьютеров. По словам компании, предложение помощи поступило «слишком поздно», а телефонный звонок был «бесполезным и несвоевременным». В Delta отрицают, что разработчик ПО якобы «без устали» работал, пытаясь восстановить системы Delta.

Более того, утверждается, что после того, как компьютеры с Windows начали отключаться по всему миру, CrowdStrike не приняла срочных мер и не оценила должным образом масштаб и последствия сбоя. А единственная помощь в первые 65 часов после инцидента заключалась в ссылке на общедоступный сайт с советом провести ручную перезагрузку пострадавших ПК и удалить сбойные файлы. Хуже того, обновление для автоматизированного устранения проблемы, вышедшее 21 июля, само содержало дополнительный баг, из-за чего многие машины не смогли заработать без дополнительного вмешательства.

Источник изображения: Sven Piper/unsplash.com

В Delta говорят о миллиардах долларов, вложенных в IT-решения, а причиной затянувшегося восстановлении IT-систем стало то, что компания слишком полагалась на CrowdStrike и Microsoft. В частности, сообщается, что около 60 % критически важных приложений Delta и связанных с ними данных, включая системы резервирования, зависят от Windows и Falcon. Доверие к производителям ПО сыграло злую шутку.

В CrowdStrike в ответ заявили, что Delta упорно продвигает вводящий в заблуждение нарратив. Утверждается, что Джордж Курц позвонил представителю авиакомпании в течение четырёх часов после инцидента 19 июля, а начальник службы безопасности разработчика наладил прямой контакт с коллегами из Delta через считаные часы после инцидента. При этом команды обеих компаний тесно сотрудничали уже спустя несколько часов, причём CrowdStrike предоставляла гораздо большую поддержку, чем просто ссылка на сайт с базовыми сведениями.

Косвенным доказательством является то, что один из членов совета директоров Delta опубликовал в LinkedIn заявление о том, что глава CrowdStrike и его команда проделали невероятную работу, круглосуточно трудясь в сложных условиях для устранения неполадок. В Delta отказались от дальнейших комментариев, но после слов благодарности судиться с виновниками инцидента, безусловно, будет труднее. В письме CrowdStrike снова призвала Delta прекратить попытки уйти от ответственности и сообщить клиентам и акционерам всё, что известно об инциденте, предшествующих решениях и о принятых мерах.

Компания Microsoft заявила, что её руководитель Сатья Наделла (Satya Nadella) напрямую связался с руководителем авиакомпании Delta Air Lines во время глобального сбоя Windows-систем, вызванного проблемным обновлением защитного ПО CrowdStrike. Но, как передаёт The Register, ответа на предложение помощи он так и не дождался. Сейчас юристы Microsoft защищаются от выдвигаемых авиакомпанией обвинений — та намерена взыскать $500 млн с Microsoft и CrowdStrike.

В прошлом месяце CrowdStrike выпустила обновление, вызвавшее «синий экран смерти» на 8,5 млн системах под управлением Windows. Позже Microsoft обвинила Евросоюз, законодательно определивший обязанность разработчика предоставлять создателям сторонних программ низкоуровневый доступ к ядру ОС, что в значительной степени и привело к катастрофическим сбоям.

Delta пришлось вручную восстанавливать работу 40 тыс. серверов, а из-за сбоя пришлось отменить 5000 рейсов. Пострадали и другие авиалинии, а также железные дороги, банки, медицинские организации — но у Delta на восстановление работоспособности систем ушло очень много времени. Сбой CrowdStrike вскрыл и другие проблемы Delta в IT-сфере. Так, информационные системы компании оказались недостаточно гибкими в критический момент.

Источник изображения: Miguel Ángel Sanz/unsplash.com

Юристы CrowdStrike также сообщили о «вводящем в заблуждение нарративе» о том, что CrowdStrike ответственна за IT-решения Delta и её реакцию на сбой, передаёт DataCenter Dynamics. Сообщается, что CrowdStrike предлагала техническую помощь Delta — глава компании Джордж Куртц (George Kurtz) лично обратился к гендиректору Delta, но, как и Сатья Наделла, ответа удостоен не был. Crowdstrike ожидает, что Delta объяснит публике, акционерам и, возможно, суду, почему CrowdStrike должна отвечать за действия и поведение Delta во время инцидента.

Представитель Microsoft заявил, что комментарии Delta «неполные, ложные, вводящие в заблуждение и разрушительные для Microsoft и её репутации». Подчёркивается, что Delta не пользовалась облачными сервисами Microsoft, вместо этого заключив сделку с IBM в 2021 году и Amazon (AWS) в 2022-м. Другими словами, обязанности по восстановлению систем официально лежали на других облачных операторах.

По предварительным оценкам Microsoft, Delta, в отличие от её конкурентов, не модернизировала свою IT-инфраструктуру. Компании предлагается раскрыть, как именно она пользовалась сервисами IBM и AWS. Министерство транспорта США начало собственное расследование сбоя Delta и других компаний.

Вскоре после недавнего массового сбоя ПК на Windows, произошедшего по вине компании CrowdStrike, в австралийском подразделении консалтингового бизнеса Grant Thornton нашли удобный способ быстро избавиться от «синих экранов смерти» (BSOD). The Register сообщает, что один из технических специалистов компании вовремя вспомнил о том, что самые простые сканеры штрихкодов воспринимаются ПК как клавиатуры.

Источник изображения: Grant Thornton

Это совершенно бесполезное на первый взгляд знание приобрело большое значение, когда в компании попытались найти решение проблемы, созданной CrowdStrike. В австралийском филиале Grant Thornton в цикл бесконечной перезагрузки отправились сотни ПК и не менее ста серверов. При этом все они были защищены с помощью BitLocker, поэтому в процессе восстановления требовался ввод 48-символьного ключа для расшифровки раздела.

Если работу серверов удалось восстановить вручную, то для ПК пришлось придумать инструмент автоматизации. Открыто рассылать ключи для BitLocker было бы слишком рискованно, да и зачитывать их по телефону или диктовать лично весьма затруднительно. Поэтому в компании сконвертировали ключи в штрихкоды, которые можно мгновенно отсканировать с экрана ноутбука администратора.

Источник изображения: PublicDomainPictures/unsplash.com

В результате все ПК заработали уже к обеду, на починку каждого из них ушло 3–5 минут, тогда как в случае серверов на ручное восстановление уходило по 20 минут. В Grant Thornton сожалеют лишь о том, что не догадались сразу использовать QR-коды, тогда зашифровать в них можно было бы больше данных, полностью автоматизировав процесс восстановления. Впрочем, в компании и без того в восторге, что отделались малой кровью в сравнении с другими бизнесами.

Масштабный сбой стал последствием выпуска некорректного обновления системы защиты CrowdStrike. В самой Microsoft первопричиной недавнего масштабного сбоя назвали вынужденное соглашение 2009 года с Евросоюзом, согласно которому разработчикам защитных программ обеспечили низкоуровневый доступ к операционным системам Windows. В CrowdStrike признали собственную вину и сослались на баг в программе тестирования собственных апдейтов.

Редакция со своей стороны желает системным администраторам никогда не сталкиваться с такими проблемами.

Компания CrowdStrike, ставшая виновницей глобальных сбоев в работе 8,5 млн ПК с Windows, обновила страницу с инструкцией по устранению проблемы. Компания поделилась своим видением причин инцидента, а пострадавшим партнёрам она предложила купоны Uber Eats на сумму $10. При этом общий ущерб от сбоя, согласно предварительным оценкам, составил $4,5 млрд.

Согласно разъяснениям, защитное ПО Falcon Sensor выпускается с набором правил Sensor Content, определяющих его функциональность. ПО также получает обновления Rapid Response Content, позволяющие своевременно распознавать новейшие угрозы и оперативно реагировать на них.

Sensor Content основан на структурном коде Template Types, предусматривающем использование специальных полей, в которые вносятся данные для создания правил выявления угроз. В Rapid Response Content отмечаются конкретные варианты Template Types — Template Instances, описывающие определённые типы угроз, на которые необходимо реагировать, и их специфические признаки.

В феврале 2024 года компания представила очередной вариант шаблона обнаружения угроз — IPC Template Type, специально созданный для распознавания новых методик атак, использующих т.н. «именованные каналы» (Named Pipes) в ОС. Шаблон успешно прошёл тесты 5 марта, поэтому для его использования выпустили новый вариант Template Instance. С 8 по 24 апреля компания внедрила ещё три варианта Template Instance, без малейшего видимого ущерба миллионам компьютеров на Windows — хотя в апреле отмечались проблемы с ПО компании CrowdStrike для Linux.

Источник изображения: Johnyvino/unsplash.com

19 июля разработчик представил ещё два варианта IPC Template Instance, один из которых включал «проблемные данные». Тем не менее, CrowdStrike запустила ПО в релиз из-за «бага в Content Validator». Хотя функции Content Validator разработчиком не раскрываются, по названию можно предположить, что данный инструмент занимается валидацией готовящегося к релизу ПО. Так или иначе, валидатор не справился с фильтрацией некачественного кода и не предотвратил выпуск 19 июля фактически вредоносного Template Instance.

В CrowdStrike предположили, что успешная проверка IPC Template Type мартовского образца означает, что варианты IPC Template Instance для июльского релиза тоже в порядке. Как показало время, это было трагической ошибкой — программа пыталась читать данные из области памяти, доступа к которой у неё быть не должно. В результате ошибка чтения вызвала сбой, от которого пострадало 8,5 млн компьютеров.

В дальнейшем компания обещает более строго тестировать обновления Rapid Response Content и обеспечить пользователям больше контроля над процессом развёртывания обновления. Кроме того, планируется подробное описание релизов, чтобы дать пользователям возможность самостоятельно оценить риск установки обновлений. Компания обещает опубликовать полный анализ основной причины сбоя, как только расследование будет закончено.

Ранее Microsoft поспешила снять с себя ответственность за инцидент, переложив вину на CrowdStrike и Евросоюз. По данным IT-гиганта именно последний ещё в 2009 году вынудил Microsoft обеспечить сторонним разработчикам антивирусного ПО вроде CrowdStrike низкоуровневый доступ к ядру операционных систем Windows.

Пока ИТ-инфраструктура по всему миру восстанавливается после критического сбоя, бизнес, эксперты и политики уже ищут виноватых в произошедшем. По данным The Wall Street Journal, в Microsoft заявили, что инцидент может оказаться результатом вынужденного соглашения 2009 года между IT-гигантом и Евросоюзом.

Эксперты уже задаются вопросом, почему CrowdStrike, занимающейся решениями для обеспечения кибербезопасности, обеспечили доступ к ядру Windows на столь низком уровне, где ошибка может оказаться очень масштабной и дорого обойтись огромному числу пользователей.

Хотя Microsoft нельзя напрямую обвинить в появлении дефекта после обновления ПО компании CrowdStrike, ставшего причиной хаоса во всех сферах жизнедеятельности по всему миру, программная архитектура, позволяющая третьим сторонам глубоко интегрировать своё ПО в операционные системы Microsoft, вызывает немало вопросов и требует более пристального рассмотрения.

Как сообщает WSJ, в Microsoft отметили, что соглашение 2009 года компании с Еврокомиссией и стало причиной того, что ядро Windows не защищено так, как, например, ядро macOS компании Apple, прямой доступ к которому для разработчиков закрыт с 2020 года. Соглашение о совместимости фактически стало результатом повышенного внимания европейских регуляторов к деятельности Microsoft.

Источник изображения: Sunrise King/unsplash.com

В соответствии с одним из его пунктов, Microsoft обязана своевременно и на постоянной основе обеспечивать информацию об API, используемых её защитным ПО в Windows — пользовательских и серверных версиях. Соответствующая документация должна быть доступна и сторонним разработчикам антивирусного ПО для создания собственных решений, что должно способствовать честной конкуренции. Однако вместо использования API без доступа к ядру CrowdStrike и ей подобные предпочли работать напрямую с ядром ОС для максимизации возможностей своего защитного ПО. Правда, при этом велика вероятность, что в случае сбоя последствия могут быть чрезвычайно серьёзными — что и произошло.

Windows — не единственная операционная система, предлагающая доступ к ядру с возможностью вывести его из строя в случае некорректной работы. Тем не менее, повсеместное присутствие продуктов Microsoft приводит в случае сбоев в сторонних приложениях к массовым проблемам и большой огласке событий, даже если прямой вины компании в произошедшем нет.

Microsoft опубликовала обновлённую информацию, касающуюся масштабного сбоя Windows-систем из-за защитного ПО CrowdStrike Falcon, и сообщила о мерах, которые были приняты для устранения последствий. Ошибка произошла из-за некорректного апдейта сведений об атаках, который приводит к краху драйвера и BSOD. Microsoft подчеркнула, что не имеет отношения к этой ошибке, но постаралась помочь клиентам и заказчикам справиться с ней.

Компанией была поставлена задача — предоставить клиентам техническое руководство и поддержку для безопасного возобновления работы вышедших из строя систем. Принятые меры включали:

• Взаимодействие с CrowdStrike в разработке решения по исправлению ситуации. Инструкции были размещены в Центре сообщений Windows.
• Отправка сотен инженеров и экспертов Microsoft на непосредственную работу с клиентами над восстановлением сервисов.
• Сотрудничество с другими облачными провайдерами и иными заинтересованными сторонами, включая Google Cloud Platform (GCP) и Amazon Web Services (AWS), позволившее оперативно делиться информацией о состоянии дел и взаимодействию с CrowdStrike и клиентами.
• Оперативную публикацию документации по ручному и автоматизированному исправлению проблемы.
• Информирование клиентов о текущем статусе инцидента с помощью панели Azure Status Dashboard.

Работа ведётся круглосуточно с постоянным предоставлением обновлений и поддержки, сообщила компания. Кроме того, CrowdStrike помогла Microsoft разработать масштабируемое решение, которое позволит пользователям Microsoft Azure ускорить исправление проблемы. Также Microsoft работала с AWS и GCP над созданием наиболее эффективных подходов к устранению сбоя.

Источник изображения: CrowdStrike

Как отметила Microsoft, обновления ПО могут иногда вызывать сбои, но такие серьёзные инциденты, как нынешний сбой из-за обновления CrowdStrike, случаются редко. По оценкам Microsoft, фатальное обновление CrowdStrike затронуло 8,5 млн Windows-устройств или менее 1 % всех компьютеров под управлением Windows. Хотя инцидент затронул небольшой процент компьютерных систем, его широкие экономические и социальные последствия отражают широту использования CrowdStrike предприятиями, которые предоставляют множество критически важных услуг, отметила Microsoft.

Этот инцидент также демонстрирует взаимосвязанный характер обширной экосистемы компании — глобальных поставщиков облачных услуг, программных платформ, поставщиков средств безопасности и других поставщиков ПО, а также клиентов. «Это также напоминание о том, насколько важно для всех нас в технологической экосистеме уделять первоочередное внимание безопасному развёртыванию и аварийному восстановлению с использованием существующих механизмов», — подчеркнула Microsoft.

Некоторые апдейты от самой Microsoft тоже неоднократно вызывали сбои Windows вплоть до BSOD, равно как и обновления других продуктов, работающих на уровне ядра ОС, включая практически все антивирусы. Весеннее обновление CrowdStrike Falcon в некоторых случаях также приводило к краху ядра Linux. Кроме того, в Сети напомнили, что основатель CrowdStrike был техническим директором McAfee и именно при нём обновление баз антивируса привело к массовому отказу Windows XP SP3 в апреле 2010 года. Инцидент существенно повлиял на финансовое здоровье компании и, как предполагается, именно из-за него McAfee продала свой бизнес Intel.

Обновление: Microsoft выпустила решение Microsoft Recovery Tool для создания загрузочного USB-накопителя, который поможет ИТ-администраторам ускорить процесс восстановления пострадавших ОС Windows.

Масштабный сбой в облаке Microsoft Azure, наложившийся на неудачное обновление защитного ПО компании CrowdStrike для ПК на Windows привели к нарушениям работы критически важной инфраструктуры по всему миру. По данным Datacenter Dynamics, в результате пришлось прекратить полёты некоторым авиалиниям, остановить работу банков, больниц, магазинов и других критически важных организаций и сервисов. В Сети в шутку предложили назначить 19 июля Международным днём Синего экрана смерти Windows. Эксперты уже назвали данное событие крупнейшим IT-сбоем за всю историю.

В Microsoft объявили, что облачный регион Central US спустя пять часов после сбоя вернулся к работе, хотя клиентам облака на восстановление работоспособности может понадобиться больше времени. Компания CrowdStrike, занимающаяся обеспечением кибербезопасности, также подтвердила, что выпущенное её обновление вызывало появление «экранов смерти» на компьютерах или бесконечной перезагрузке, а совпадение по времени двух не связанных с собой сбоев привело к тому, что клиентам теперь трудно определить, какая именно из причин вызвала неполадки в их инфраструктуре. Возможно, в некоторых случаях оказали влияние оба фактора.

Источник изображения: Vitaly Gariev/unsplash.com

Сбои привели к тому, что авиакомпании приостановили полёты, частично прекратили функционировать аэропорты, железные дороги, банковские приложения и даже сервис Xbox Live прекратил работу на несколько часов. Пострадали и некоторые телеком-операторы и СМИ. Проблемы коснулись жителей США, Великобритании и Австралии, а также других стран, от Европы до Индии и Японии.

CrowdStrike «откатила» дефектное обновление ПО Falcon Sensor, включавшее некорректный драйвер. В качестве временной меры предлагается удалить файлы вида C-00000291*.sys в директории C:WindowsSystem32driversCrowdStrike, загрузив Windows в безопасном режиме или режиме восстановления. Для облачных инстансов предлагается сделать то же самое, отмонтировав тома и сняв резервную копию. При наличии BitLocker понадобится ключ для дешифровки данных. Причём это не первая массовая проблема с ПО компании за последний месяц — более ранний апдейт приводил к 100 % загрузке одного из ядер CPU.

Источник изображения: Microsoft Azure

Акции компании в преддверии сегодняшних торгов в США уже упали на 19 %. Аналитики полагают, что CrowdStrike в её нынешнем виде, возможно, перестанет существовать. По некоторым оценкам, поражено до 15 % корпоративных Windows-систем. Ситуация осложняется тем, что при отсутствии OOB придётся вручную исправлять проблему на каждом ПК. По неподтверждённым данным, в некоторых случаях помогает многократная последовательная перезагрузка ПК (до 15 раз подряд).

Microsoft в свою очередь пояснила, что автоматизированный процесс управления внёс изменения в конфигурацию серверов, в результате чего была заблокирована связь между некоторыми хранилищами данных и вычислительными ресурсами в регионе US Central. Это привело к тому, что инстансы потеряли связь с виртуальными дисками, уходя в циклическую перезагрузку. Большинство сервисов сейчас восстановлено, но некоторые ещё испытывают «остаточное воздействие», клиенты получат поддержку на профильном портале Azure. В частности, проблемы всё ещё могут быть у пользователей и администраторов Microsoft 365.