Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Microsoft сообщила о результатах работы в IV квартале 2024 финансового года, завершившемся 30 июня. Несмотря на то, что выручка и прибыль Microsoft превысили прогнозы аналитиков, акции компании упали более чем на 7 % после публикации отчёта из-за недовольства инвесторов замедлением темпов роста облачной платформы Azure. На облачные сервисы теперь приходится около 45 % выручки корпорации.

Microsoft сообщила о прибыли (GAAP) на акцию (EPS) в размере $2,95 при выручке в $64,73 млрд, превысившей показатель аналогичного квартала годом ранее на 15 %. Чистая прибыль компании увеличилась с $20,08 до $22,04 млрд. Согласно прогнозу аналитиков, опрошенных Bloomberg, показатели по прибыли и выручке могли составить $2,94 на акцию и $64,5 млрд. В IV квартале 2023 финансового года у Microsoft была прибыль на акцию в размере $2,69 и выручка в $56,19 млрд.

Источник изображений: Microsoft

Общий доход Microsoft от облачных вычислений составил $36,8 млрд, что полностью соответствует прогнозу Уолл-стрит, но выручка подразделения Intelligent Cloud, в которое входят облачные сервисы Azure, а также Windows Server, SQL Server, GitHub, Nuance, Visual Studio и корпоративные сервисы, оказалась ниже ожиданий аналитиков, составив $28,52 млрд (рост год к году на 19 %) при консенсус-прогнозе аналитиков, опрошенных StreetAccount, в $28,68 млрд.

По данным Microsoft, на создание ЦОД и вычислительной инфраструктуры для обработки ИИ было израсходовано $13,9 млрд, что на 55 % больше, чем годом ранее. Компания заявила, что увеличение расходов было обусловлено более высокими доходами от ИИ, при этом спрос продолжает превышать предложение. Доход от Azure и других облачных сервисов вырос за квартал на 29 %. Аналитики, опрошенные CNBC и StreetAccount, ожидали рост на 31 %. При этом показатель Microsoft Azure не отставал от консенсус-прогноза с 2022 года. Абсолютные цифры в этой категории компания не раскрывает.

Финансовый директор Эми Худ (Amy Hood) объяснила небольшое отставание облачного сегмента «слабостью в нескольких европейских географических регионах в плане потребления сервисов без ИИ». Как ожидает компания, эта тенденция сохранится в первой половине 2025 финансового года. Генеральный директор Microsoft Сатья Наделла (Satya Nadella), что количество клиентов Azure AI выросло на 60 %, и на 50 % увеличилось числа заказчиков ИИ, которые также используют аналитические инструменты Microsoft.

Всего более 480 000 организаций использовали возможности ИИ на платформе Microsoft. По словам Наделлы, аудитория пользователей Microsoft Copilot удвоилась по сравнению с предыдущим кварталом. Он сообщил, что с нынешними темпами роста выручка GitHub превысит $2 млрд за год, что 40 % больше, чем в прошлом году.

Добавим, что согласно данным ресурса The Information, ссылающегося на внутреннюю информацию компании, примерно четверть выручки Azure OpenAI принёс сервис коротких видео TikTok, чьи ежемесячные поступления составляли около $20 млн по состоянию на март 2024 года. По оценкам, служба Azure OpenAI принесёт $1 млрд за год или $83 млн в месяц. Интересно, что теперь OpenAI с точки зрения Microsoft является конкурентом, хотя IT-гигант и владеет почти половиной ИИ-компании.

Продажи подразделения Microsoft Productivity and Business Processes выросли за отчётный квартал на 11 % до $20,3 млрд, превысив консенсус-прогноз аналитиков, опрошенных StreetAccount, в $20,13 млрд. Подразделение More Personal Computing принесло на 14 % больше дохода, составившего $15,90 млрд при консенсус-прогнозе аналитиков, опрошенных StreetAccount, в $15,49 млрд.

Microsoft прогнозирует рост выручки Azure в I квартале 2025 финансового года в пределах 28–29 %, с более быстрым ростом во II половине финансового года, сообщила Худ. Согласно прогнозу Microsoft, выручка в I квартале 2025 финансового года составит от $63,8 млрд до $64,8 млрд, что подразумевает рост на 13,8 % в середине диапазона. Аналитики, опрошенные LSEG, прогнозируют $65,24 млрд дохода. Прогноз компании включает $15,25 млрд операционных расходов в середине диапазона, при консенсус-прогнозе StreetAccount в $16,10 млрд.

Microsoft обвнили конкурентов Google и Amazon в том, что те «мутят воду», фактически мешая антимонопольному расследованию в Великобритании, передаёт ComputerWeekly. Соответствующие заявления представлены в публичном обращении Microsoft к британскому регулятору Competition and Markets Authority (CMA).

В документах CMA за июнь 2024 года высказано предположение о том, что практика лицензирования продуктов и сервисов Microsoft может ослабить конкуренцию между облачными компаниями в Великобритании — использование лицензионного ПО Microsoft в облаках сторонних бизнесов может быть более дорогим для клиентов и повлиять на конкурентоспособность других облачных провайдеров. Google и AWS неоднократно жаловались британскому регулятору на Microsoft.

В материалах Google, посвящённых расследованию, указывается, что практика лицензирования Microsoft ослабляет конкурентов и увеличивает их издержки. Искусственные ограничения делают ПО Microsoft слишком дорогим для использования в сторонних облаках, а конкуренты не могут противопоставить что-либо значительным ценовым различиям. В Google Cloud подчёркивают, что облака помогают цифровой экономике Великобритании, но недобросовестные механизмы лицензирования не дают клиентам свободу выбора и не позволяют внедрять инновации.

Источник изображения: GR Stocks/unsplash.com

Аналогичной позиции придерживается и AWS. Компания заявила, что единственным исключением из хорошо действующего рынка IT-услуг Великобритании является именно практика лицензирования Microsoft. В Amazon с оптимизмом смотрят на эволюцию взглядов CMA на предоставление британским пользователям гарантий свободного выбора облака для запуска популярных приложений Microsoft.

В самой Microsoft оспаривают заявления и подчёркивают, что ни Google, ни AWS не страдают в той степени, как пытаются изобразить. В Microsoft утверждают, что её условия лицензирования ПО не ведут к существенному повышению затрат при использовании облаков конкурентов. Также заявлено, что бизнесы Amazon и Google, судя по всему, достаточно маржинальны, чтобы получать прибыль даже в условиях конкуренции. В компании напомнили, что капитальные затраты обоих конкурентов составляют $50 млрд и $30 млрд соответственно — это само по себе свидетельствует об их уверенности в прибыльности и конкурентоспособности.

Источник изображения: Quino Al / Unsplash

Так что речь идёт вовсе не об ослабленных, лишённых надежды конкурентах, какими пытаются представить себя компании, якобы не способные оплатить масштабное использование её интеллектуальной собственности, говорит Microsoft. Более того, за последние пару лет выручка Google и AWS только росла — это плоды конкуренции, а не её отсутствия. В Microsoft прямо заявили, что соперничество не бывает «мягким» или «слабым» — компании «бьют друг друга изо всех сил». По мнению IT-гиганта, Amazon, Google и CISPE попросту «мутят воду» в вопросе определения правильной и неправильной конкуренции.

Расследование CMA было начато в октябре 2023 года, крайний срок его завершения — 4 апреля 2025 года. Недавно Microsoft после переговоров добилась примирения с CISPE, согласившись выплатить компенсацию в размере $22 млн в обмен на отказ мелких облачных операторов от претензий к ней. При этом новые правила лицензирования Microsoft в Европе не коснулись AWS, Google Cloud Platform и Alibaba Cloud. Впоследствии выяснилось, Google пыталась предложить CISPE более значимую компенсацию в обмен на продолжение тяжб с Microsoft.

Microsoft столкнулась с новым глобальным сбоем облака Azure, затронувшим целый ряд служб — от почтового сервиса Outlook до популярной игры Minecraft. Также пользователи по всему миру сообщают о трудностях с подключением к облачной платформе Azure и проблемах в работе с Microsoft 365, Teams, OneDrive и Xbox Live.

«В настоящее время мы изучаем проблемы с доступом и снижение производительности нескольких сервисов и функций Microsoft 365», — отреагировали на обращения пользователей в Microsoft. Согласно странице статуса Azure, сбой начался в 11:45 UTC (14:45 мск), когда у целого ряда клиентов возникли проблемы с подключением к службам Microsoft по всему миру, включая Америку, Азиатско-Тихоокеанский регион, Европу и Ближний Восток. Компания сообщила, что внесла изменения в конфигурацию сети, а также задействовала альтернативные маршруты.

Источник изображения: Downdetector

Доступность служб повысилась примерно с 14:10 UTC (17:10 мск), но полностью сбои пока не устранены. В частности, сейчас по всему миру всё ещё наблюдаются проблемы с сервисами CDN и Azure Front Door. Напомним, что совсем недавно в облаке Microsoft Azure произошёл масштабный сбой, совпавший во времени с глобальным сбоем из-за неудачного обновления защитного ПО компании CrowdStrike для ПК на Windows, обрушившего работу многих компаний и служб.

UPD 31.07.2024: Microsoft объяснила восьмичасовой сбой своего облака масштабной DDoS-атакой. Точнее говоря, проблемой в механизме защиты Azure от таких атак, который вместо того, чтобы отразить DDoS, только ухудшил ситуацию с доступностью сервисов.

Вскоре после недавнего массового сбоя ПК на Windows, произошедшего по вине компании CrowdStrike, в австралийском подразделении консалтингового бизнеса Grant Thornton нашли удобный способ быстро избавиться от «синих экранов смерти» (BSOD). The Register сообщает, что один из технических специалистов компании вовремя вспомнил о том, что самые простые сканеры штрихкодов воспринимаются ПК как клавиатуры.

Источник изображения: Grant Thornton

Это совершенно бесполезное на первый взгляд знание приобрело большое значение, когда в компании попытались найти решение проблемы, созданной CrowdStrike. В австралийском филиале Grant Thornton в цикл бесконечной перезагрузки отправились сотни ПК и не менее ста серверов. При этом все они были защищены с помощью BitLocker, поэтому в процессе восстановления требовался ввод 48-символьного ключа для расшифровки раздела.

Если работу серверов удалось восстановить вручную, то для ПК пришлось придумать инструмент автоматизации. Открыто рассылать ключи для BitLocker было бы слишком рискованно, да и зачитывать их по телефону или диктовать лично весьма затруднительно. Поэтому в компании сконвертировали ключи в штрихкоды, которые можно мгновенно отсканировать с экрана ноутбука администратора.

Источник изображения: PublicDomainPictures/unsplash.com

В результате все ПК заработали уже к обеду, на починку каждого из них ушло 3–5 минут, тогда как в случае серверов на ручное восстановление уходило по 20 минут. В Grant Thornton сожалеют лишь о том, что не догадались сразу использовать QR-коды, тогда зашифровать в них можно было бы больше данных, полностью автоматизировав процесс восстановления. Впрочем, в компании и без того в восторге, что отделались малой кровью в сравнении с другими бизнесами.

Масштабный сбой стал последствием выпуска некорректного обновления системы защиты CrowdStrike. В самой Microsoft первопричиной недавнего масштабного сбоя назвали вынужденное соглашение 2009 года с Евросоюзом, согласно которому разработчикам защитных программ обеспечили низкоуровневый доступ к операционным системам Windows. В CrowdStrike признали собственную вину и сослались на баг в программе тестирования собственных апдейтов.

Редакция со своей стороны желает системным администраторам никогда не сталкиваться с такими проблемами.

Компания Microsoft совместно с магистральным провайдером Lumen Technologies (прежде CenturyLink) объявили о намерении масштабировать пропускную способность каналов связи между дата-центрами техногиганта. По данным The Register, на такие меры Microsoft намерена пойти из-за расширения бизнеса, связанного с ИИ-технологиями.

В рамках нового проекта Microsoft будет применять технологию частных сетей Private Connectivity Fabric компании Lumen, а общая пропускная способность между работающими с ИИ-нагрузками дата-центрами будет увеличена благодаря комбинации существующих и новых оптоволоконных линий.

Стремление Microsoft нарастить технологические возможности вполне объяснимо — компания рассчитывает получить максимальную отдачу от инвестиций в OpenAI и другие ИИ-стартапы. Поэтому IT-гигант пытается интегрировать ИИ почти во все свои продукты. При этом необходимо обрабатывать и передавать огромные объёмы данных, для чего существующей сетевой инфраструктуры ЦОД уже не хватает. Впрочем, пока неизвестно, какую дополнительную ширину каналов обеспечит Lumen для Microsoft. Сами партнёры сотрудничество пока не комментируют.

Источник изображения: Lumen Technoligies

При этом Lumen в рамках сделки обязалась перенести часть рабочих нагрузок в облако Microsoft Azure. Вероятно, ИИ-инструменты Microsoft будут интегрированы и в продукты Lumen. Кроме того, вероятно использование Lumen платформы Microsoft Entra, обеспечивающей управление идентификацией и контролем доступа. В Lumen рассчитывают, что подобная миграция позволит компании экономить более $20 млн уже в следующем году и повысить уровень обслуживания клиентов — не исключено, что часть функций компания передаст чат-ботам Microsoft на основе технологий OpenAI.

Компания CrowdStrike, ставшая виновницей глобальных сбоев в работе 8,5 млн ПК с Windows, обновила страницу с инструкцией по устранению проблемы. Компания поделилась своим видением причин инцидента, а пострадавшим партнёрам она предложила купоны Uber Eats на сумму $10. При этом общий ущерб от сбоя, согласно предварительным оценкам, составил $4,5 млрд.

Согласно разъяснениям, защитное ПО Falcon Sensor выпускается с набором правил Sensor Content, определяющих его функциональность. ПО также получает обновления Rapid Response Content, позволяющие своевременно распознавать новейшие угрозы и оперативно реагировать на них.

Sensor Content основан на структурном коде Template Types, предусматривающем использование специальных полей, в которые вносятся данные для создания правил выявления угроз. В Rapid Response Content отмечаются конкретные варианты Template Types — Template Instances, описывающие определённые типы угроз, на которые необходимо реагировать, и их специфические признаки.

В феврале 2024 года компания представила очередной вариант шаблона обнаружения угроз — IPC Template Type, специально созданный для распознавания новых методик атак, использующих т.н. «именованные каналы» (Named Pipes) в ОС. Шаблон успешно прошёл тесты 5 марта, поэтому для его использования выпустили новый вариант Template Instance. С 8 по 24 апреля компания внедрила ещё три варианта Template Instance, без малейшего видимого ущерба миллионам компьютеров на Windows — хотя в апреле отмечались проблемы с ПО компании CrowdStrike для Linux.

Источник изображения: Johnyvino/unsplash.com

19 июля разработчик представил ещё два варианта IPC Template Instance, один из которых включал «проблемные данные». Тем не менее, CrowdStrike запустила ПО в релиз из-за «бага в Content Validator». Хотя функции Content Validator разработчиком не раскрываются, по названию можно предположить, что данный инструмент занимается валидацией готовящегося к релизу ПО. Так или иначе, валидатор не справился с фильтрацией некачественного кода и не предотвратил выпуск 19 июля фактически вредоносного Template Instance.

В CrowdStrike предположили, что успешная проверка IPC Template Type мартовского образца означает, что варианты IPC Template Instance для июльского релиза тоже в порядке. Как показало время, это было трагической ошибкой — программа пыталась читать данные из области памяти, доступа к которой у неё быть не должно. В результате ошибка чтения вызвала сбой, от которого пострадало 8,5 млн компьютеров.

В дальнейшем компания обещает более строго тестировать обновления Rapid Response Content и обеспечить пользователям больше контроля над процессом развёртывания обновления. Кроме того, планируется подробное описание релизов, чтобы дать пользователям возможность самостоятельно оценить риск установки обновлений. Компания обещает опубликовать полный анализ основной причины сбоя, как только расследование будет закончено.

Ранее Microsoft поспешила снять с себя ответственность за инцидент, переложив вину на CrowdStrike и Евросоюз. По данным IT-гиганта именно последний ещё в 2009 году вынудил Microsoft обеспечить сторонним разработчикам антивирусного ПО вроде CrowdStrike низкоуровневый доступ к ядру операционных систем Windows.

Пока ИТ-инфраструктура по всему миру восстанавливается после критического сбоя, бизнес, эксперты и политики уже ищут виноватых в произошедшем. По данным The Wall Street Journal, в Microsoft заявили, что инцидент может оказаться результатом вынужденного соглашения 2009 года между IT-гигантом и Евросоюзом.

Эксперты уже задаются вопросом, почему CrowdStrike, занимающейся решениями для обеспечения кибербезопасности, обеспечили доступ к ядру Windows на столь низком уровне, где ошибка может оказаться очень масштабной и дорого обойтись огромному числу пользователей.

Хотя Microsoft нельзя напрямую обвинить в появлении дефекта после обновления ПО компании CrowdStrike, ставшего причиной хаоса во всех сферах жизнедеятельности по всему миру, программная архитектура, позволяющая третьим сторонам глубоко интегрировать своё ПО в операционные системы Microsoft, вызывает немало вопросов и требует более пристального рассмотрения.

Как сообщает WSJ, в Microsoft отметили, что соглашение 2009 года компании с Еврокомиссией и стало причиной того, что ядро Windows не защищено так, как, например, ядро macOS компании Apple, прямой доступ к которому для разработчиков закрыт с 2020 года. Соглашение о совместимости фактически стало результатом повышенного внимания европейских регуляторов к деятельности Microsoft.

Источник изображения: Sunrise King/unsplash.com

В соответствии с одним из его пунктов, Microsoft обязана своевременно и на постоянной основе обеспечивать информацию об API, используемых её защитным ПО в Windows — пользовательских и серверных версиях. Соответствующая документация должна быть доступна и сторонним разработчикам антивирусного ПО для создания собственных решений, что должно способствовать честной конкуренции. Однако вместо использования API без доступа к ядру CrowdStrike и ей подобные предпочли работать напрямую с ядром ОС для максимизации возможностей своего защитного ПО. Правда, при этом велика вероятность, что в случае сбоя последствия могут быть чрезвычайно серьёзными — что и произошло.

Windows — не единственная операционная система, предлагающая доступ к ядру с возможностью вывести его из строя в случае некорректной работы. Тем не менее, повсеместное присутствие продуктов Microsoft приводит в случае сбоев в сторонних приложениях к массовым проблемам и большой огласке событий, даже если прямой вины компании в произошедшем нет.

Microsoft опубликовала обновлённую информацию, касающуюся масштабного сбоя Windows-систем из-за защитного ПО CrowdStrike Falcon, и сообщила о мерах, которые были приняты для устранения последствий. Ошибка произошла из-за некорректного апдейта сведений об атаках, который приводит к краху драйвера и BSOD. Microsoft подчеркнула, что не имеет отношения к этой ошибке, но постаралась помочь клиентам и заказчикам справиться с ней.

Компанией была поставлена задача — предоставить клиентам техническое руководство и поддержку для безопасного возобновления работы вышедших из строя систем. Принятые меры включали:

• Взаимодействие с CrowdStrike в разработке решения по исправлению ситуации. Инструкции были размещены в Центре сообщений Windows.
• Отправка сотен инженеров и экспертов Microsoft на непосредственную работу с клиентами над восстановлением сервисов.
• Сотрудничество с другими облачными провайдерами и иными заинтересованными сторонами, включая Google Cloud Platform (GCP) и Amazon Web Services (AWS), позволившее оперативно делиться информацией о состоянии дел и взаимодействию с CrowdStrike и клиентами.
• Оперативную публикацию документации по ручному и автоматизированному исправлению проблемы.
• Информирование клиентов о текущем статусе инцидента с помощью панели Azure Status Dashboard.

Работа ведётся круглосуточно с постоянным предоставлением обновлений и поддержки, сообщила компания. Кроме того, CrowdStrike помогла Microsoft разработать масштабируемое решение, которое позволит пользователям Microsoft Azure ускорить исправление проблемы. Также Microsoft работала с AWS и GCP над созданием наиболее эффективных подходов к устранению сбоя.

Источник изображения: CrowdStrike

Как отметила Microsoft, обновления ПО могут иногда вызывать сбои, но такие серьёзные инциденты, как нынешний сбой из-за обновления CrowdStrike, случаются редко. По оценкам Microsoft, фатальное обновление CrowdStrike затронуло 8,5 млн Windows-устройств или менее 1 % всех компьютеров под управлением Windows. Хотя инцидент затронул небольшой процент компьютерных систем, его широкие экономические и социальные последствия отражают широту использования CrowdStrike предприятиями, которые предоставляют множество критически важных услуг, отметила Microsoft.

Этот инцидент также демонстрирует взаимосвязанный характер обширной экосистемы компании — глобальных поставщиков облачных услуг, программных платформ, поставщиков средств безопасности и других поставщиков ПО, а также клиентов. «Это также напоминание о том, насколько важно для всех нас в технологической экосистеме уделять первоочередное внимание безопасному развёртыванию и аварийному восстановлению с использованием существующих механизмов», — подчеркнула Microsoft.

Некоторые апдейты от самой Microsoft тоже неоднократно вызывали сбои Windows вплоть до BSOD, равно как и обновления других продуктов, работающих на уровне ядра ОС, включая практически все антивирусы. Весеннее обновление CrowdStrike Falcon в некоторых случаях также приводило к краху ядра Linux. Кроме того, в Сети напомнили, что основатель CrowdStrike был техническим директором McAfee и именно при нём обновление баз антивируса привело к массовому отказу Windows XP SP3 в апреле 2010 года. Инцидент существенно повлиял на финансовое здоровье компании и, как предполагается, именно из-за него McAfee продала свой бизнес Intel.

Обновление: Microsoft выпустила решение Microsoft Recovery Tool для создания загрузочного USB-накопителя, который поможет ИТ-администраторам ускорить процесс восстановления пострадавших ОС Windows.

Масштабный сбой в облаке Microsoft Azure, наложившийся на неудачное обновление защитного ПО компании CrowdStrike для ПК на Windows привели к нарушениям работы критически важной инфраструктуры по всему миру. По данным Datacenter Dynamics, в результате пришлось прекратить полёты некоторым авиалиниям, остановить работу банков, больниц, магазинов и других критически важных организаций и сервисов. В Сети в шутку предложили назначить 19 июля Международным днём Синего экрана смерти Windows. Эксперты уже назвали данное событие крупнейшим IT-сбоем за всю историю.

В Microsoft объявили, что облачный регион Central US спустя пять часов после сбоя вернулся к работе, хотя клиентам облака на восстановление работоспособности может понадобиться больше времени. Компания CrowdStrike, занимающаяся обеспечением кибербезопасности, также подтвердила, что выпущенное её обновление вызывало появление «экранов смерти» на компьютерах или бесконечной перезагрузке, а совпадение по времени двух не связанных с собой сбоев привело к тому, что клиентам теперь трудно определить, какая именно из причин вызвала неполадки в их инфраструктуре. Возможно, в некоторых случаях оказали влияние оба фактора.

Источник изображения: Vitaly Gariev/unsplash.com

Сбои привели к тому, что авиакомпании приостановили полёты, частично прекратили функционировать аэропорты, железные дороги, банковские приложения и даже сервис Xbox Live прекратил работу на несколько часов. Пострадали и некоторые телеком-операторы и СМИ. Проблемы коснулись жителей США, Великобритании и Австралии, а также других стран, от Европы до Индии и Японии.

CrowdStrike «откатила» дефектное обновление ПО Falcon Sensor, включавшее некорректный драйвер. В качестве временной меры предлагается удалить файлы вида C-00000291*.sys в директории C:WindowsSystem32driversCrowdStrike, загрузив Windows в безопасном режиме или режиме восстановления. Для облачных инстансов предлагается сделать то же самое, отмонтировав тома и сняв резервную копию. При наличии BitLocker понадобится ключ для дешифровки данных. Причём это не первая массовая проблема с ПО компании за последний месяц — более ранний апдейт приводил к 100 % загрузке одного из ядер CPU.

Источник изображения: Microsoft Azure

Акции компании в преддверии сегодняшних торгов в США уже упали на 19 %. Аналитики полагают, что CrowdStrike в её нынешнем виде, возможно, перестанет существовать. По некоторым оценкам, поражено до 15 % корпоративных Windows-систем. Ситуация осложняется тем, что при отсутствии OOB придётся вручную исправлять проблему на каждом ПК. По неподтверждённым данным, в некоторых случаях помогает многократная последовательная перезагрузка ПК (до 15 раз подряд).

Microsoft в свою очередь пояснила, что автоматизированный процесс управления внёс изменения в конфигурацию серверов, в результате чего была заблокирована связь между некоторыми хранилищами данных и вычислительными ресурсами в регионе US Central. Это привело к тому, что инстансы потеряли связь с виртуальными дисками, уходя в циклическую перезагрузку. Большинство сервисов сейчас восстановлено, но некоторые ещё испытывают «остаточное воздействие», клиенты получат поддержку на профильном портале Azure. В частности, проблемы всё ещё могут быть у пользователей и администраторов Microsoft 365.