Компания Microsoft совместно с магистральным провайдером Lumen Technologies (прежде CenturyLink) объявили о намерении масштабировать пропускную способность каналов связи между дата-центрами техногиганта. По данным The Register, на такие меры Microsoft намерена пойти из-за расширения бизнеса, связанного с ИИ-технологиями.

В рамках нового проекта Microsoft будет применять технологию частных сетей Private Connectivity Fabric компании Lumen, а общая пропускная способность между работающими с ИИ-нагрузками дата-центрами будет увеличена благодаря комбинации существующих и новых оптоволоконных линий.

Стремление Microsoft нарастить технологические возможности вполне объяснимо — компания рассчитывает получить максимальную отдачу от инвестиций в OpenAI и другие ИИ-стартапы. Поэтому IT-гигант пытается интегрировать ИИ почти во все свои продукты. При этом необходимо обрабатывать и передавать огромные объёмы данных, для чего существующей сетевой инфраструктуры ЦОД уже не хватает. Впрочем, пока неизвестно, какую дополнительную ширину каналов обеспечит Lumen для Microsoft. Сами партнёры сотрудничество пока не комментируют.

Источник изображения: Lumen Technoligies

При этом Lumen в рамках сделки обязалась перенести часть рабочих нагрузок в облако Microsoft Azure. Вероятно, ИИ-инструменты Microsoft будут интегрированы и в продукты Lumen. Кроме того, вероятно использование Lumen платформы Microsoft Entra, обеспечивающей управление идентификацией и контролем доступа. В Lumen рассчитывают, что подобная миграция позволит компании экономить более $20 млн уже в следующем году и повысить уровень обслуживания клиентов — не исключено, что часть функций компания передаст чат-ботам Microsoft на основе технологий OpenAI.

Затраты OpenAI на обучение ИИ-моделей и задачи инференса в 2024 году, по сообщению The Information, могут составить до $7 млрд. При этом компания может зафиксировать денежные потери в размере $5 млрд, что вынудит её искать новые возможности для привлечения инвестиций.

Как рассказали осведомлённые лица, OpenAI использует мощности, эквивалентные приблизительно 350 тыс. серверов с ускорителями NVIDIA A100. Из них около 290 тыс. обеспечивают работу ChatGPT. Утверждается, что оборудование работает практически на полную мощность.

В рамках обучения ИИ-моделей и инференса OpenAI получает значительные скидки от облачной платформы Microsoft Azure. В частности, Microsoft взимает с OpenAI около $1,3/час за ускоритель A100, что намного ниже обычных ставок. Тем не менее, только на обучение ChatGPT и других моделей OpenAI может потратить в 2024 году около $3 млрд.

Источник изображения: pixabay.com

На сегодняшний день в OpenAI работают примерно 1500 сотрудников, и компания продолжает расширять штат. Затраты на заработную плату и содержание работников в 2024-м могут достичь $1,5 млрд. Компания получает около $2 млрд в год от ChatGPT и может получить ещё примерно $1 млрд от взимания платы за доступ к своим большим языковым моделям (LLM). Общая выручка OpenAI, согласно недавним результатам, лежит на уровне $280 млн в месяц. В 2024 году, по оценкам, суммарные поступления компании окажутся в диапазоне от $3,5 млрд до $4,5 млрд.

Таким образом, с учётом ожидаемых затрат в размере $7 млрд на обучение ИИ и инференс, а также расходов в $1,5 млрд на персонал OpenAI может потерять до $5 млрд. Это намного превышает прогнозируемые расходы конкурентов, таких как Anthropic (поддерживается Amazon), которая ожидает, что в 2024 году потратит $2,7 млрд. Не исключено, что OpenAI попытается провести очередной раунд финансирования. Компания уже завершила семь инвестиционных раундов, собрав в общей сложности более $11 млрд.

Масштабный сбой в облаке Microsoft Azure, наложившийся на неудачное обновление защитного ПО компании CrowdStrike для ПК на Windows привели к нарушениям работы критически важной инфраструктуры по всему миру. По данным Datacenter Dynamics, в результате пришлось прекратить полёты некоторым авиалиниям, остановить работу банков, больниц, магазинов и других критически важных организаций и сервисов. В Сети в шутку предложили назначить 19 июля Международным днём Синего экрана смерти Windows. Эксперты уже назвали данное событие крупнейшим IT-сбоем за всю историю.

В Microsoft объявили, что облачный регион Central US спустя пять часов после сбоя вернулся к работе, хотя клиентам облака на восстановление работоспособности может понадобиться больше времени. Компания CrowdStrike, занимающаяся обеспечением кибербезопасности, также подтвердила, что выпущенное её обновление вызывало появление «экранов смерти» на компьютерах или бесконечной перезагрузке, а совпадение по времени двух не связанных с собой сбоев привело к тому, что клиентам теперь трудно определить, какая именно из причин вызвала неполадки в их инфраструктуре. Возможно, в некоторых случаях оказали влияние оба фактора.

Источник изображения: Vitaly Gariev/unsplash.com

Сбои привели к тому, что авиакомпании приостановили полёты, частично прекратили функционировать аэропорты, железные дороги, банковские приложения и даже сервис Xbox Live прекратил работу на несколько часов. Пострадали и некоторые телеком-операторы и СМИ. Проблемы коснулись жителей США, Великобритании и Австралии, а также других стран, от Европы до Индии и Японии.

CrowdStrike «откатила» дефектное обновление ПО Falcon Sensor, включавшее некорректный драйвер. В качестве временной меры предлагается удалить файлы вида C-00000291*.sys в директории C:WindowsSystem32driversCrowdStrike, загрузив Windows в безопасном режиме или режиме восстановления. Для облачных инстансов предлагается сделать то же самое, отмонтировав тома и сняв резервную копию. При наличии BitLocker понадобится ключ для дешифровки данных. Причём это не первая массовая проблема с ПО компании за последний месяц — более ранний апдейт приводил к 100 % загрузке одного из ядер CPU.

Источник изображения: Microsoft Azure

Акции компании в преддверии сегодняшних торгов в США уже упали на 19 %. Аналитики полагают, что CrowdStrike в её нынешнем виде, возможно, перестанет существовать. По некоторым оценкам, поражено до 15 % корпоративных Windows-систем. Ситуация осложняется тем, что при отсутствии OOB придётся вручную исправлять проблему на каждом ПК. По неподтверждённым данным, в некоторых случаях помогает многократная последовательная перезагрузка ПК (до 15 раз подряд).

Microsoft в свою очередь пояснила, что автоматизированный процесс управления внёс изменения в конфигурацию серверов, в результате чего была заблокирована связь между некоторыми хранилищами данных и вычислительными ресурсами в регионе US Central. Это привело к тому, что инстансы потеряли связь с виртуальными дисками, уходя в циклическую перезагрузку. Большинство сервисов сейчас восстановлено, но некоторые ещё испытывают «остаточное воздействие», клиенты получат поддержку на профильном портале Azure. В частности, проблемы всё ещё могут быть у пользователей и администраторов Microsoft 365.

Компания Google обещала облачным бизнесам из Евросоюза компенсацию в объёме €470 млн ($512 млн) в попытке убедить их не отказываться от претензий к Microsoft. В своё время ассоциация CISPE пожаловалась на гиганта из Редмонда регуляторам ЕС, но позже стороны достигли соглашения, а жалоба была отозвана. Сама Google тоже жаловалась на поведение Microsoft регулятором ЕС.

От своих претензий Cloud Infrastructure Services Providers in Europe (CISPE) отказалась на прошлой неделе — компании жаловались на проблемы с лицензированием ПО Microsoft при использовании в облаках вне Azure. Ранее в CISPE сетовали, что Microsoft чрезвычайно затруднила клиентам смену облачных провайдеров, фактически привязав своё ПО к сервисам Azure.

Microsoft и CISPE урегулировали дело, но буквально за несколько дней до этого Google выдвинула встречное предложение — не отказываться от жалобы за крупную компенсацию. При этом Google предлагала в основном не деньги, а лицензии на облачное ПО на сумму €455 млн сроком на 5 лет и только €14 млн в виде реальной финансовой помощи. В своё время жалобу на Microsoft поддержала и AWS, но ничего не смогла сделать несмотря на то, что сама является членом CISPE.

Источник изображения: Blogging Guide/unsplash.com

Ассоциация, куда входит множество малых провайдеров, решила пойти навстречу Microsoft, пообещавшей финансовую компенсацию в эквиваленте $22 млн и расширение возможностей по использованию приложений Microsoft в сторонних облаках. Компаниям будет обеспечен доступ к платформе Azure Stack HCI, что позволит запускать ПО Microsoft, по тем же ценам, что предлагает сам IT-гигант в Azure.

Хотя Google долгое время отставала от Microsoft и AWS на облачных рынках, компания добилась значительных успехов в этой сфере. В I квартале облачный бизнес принёс компании $900 млн прибыли, при этом эксперты прогнозировали её на уровне $672,4 млн. Облачное подразделение Google рассматривается компанией как один из перспективных векторов для роста. Показатели можно было бы дополнительно улучшить, стимулировав интерес регуляторов к деятельности Microsoft — расследование в ЕС могло привести к оборотному штрафу в 10 % от глобальной выручки конкурента.

У Microsoft большой опыт урегулирования подобных споров. Например, в 2004 году она выплатила более $9,75 млн поддерживаемой Google группе Computer and Communications Industry Association для того, чтобы та отказалась от претензий к Редмонду в ЕС. Хотя одной проблемой для Microsoft пока стало меньше, она ещё находится в поле зрения европейских властей в связи с вложением $13 млрд в OpenAI — под вопросом законность привилегированного использования последней облачных технологий Редмонда.

Кроме того, Microsoft грозит в Евросоюзе крупный штраф за злоупотребление доминирующим рыночным положением — из-за привязки приложения Teams к другому ПО. Наконец, всё ещё ведутся антимонопольные расследования в Великобритании и США. В Соединённом Королевстве регулятор CMA изучает облачный рынок с 2023 года, а в США Microsoft и вовсе является фигурантом двух расследований. Первое начато в январе 2024 года и связано с изучением деятельности провайдеров ИИ-сервисов, второе посвящено Microsoft, OpenAI и NVIDIA — исследуется влияние трёх ключевых игроков на ИИ-индустрию.

Armada, стартап из Сан-Франциско (Калифорния, США), специализирующийся на разработке решений для периферийных вычислений, объявил об успешном раунде финансирования на $40 млн, который возглавил M12 (венчурный фонд Microsoft). С момента выхода в прошлом году из скрытого режима (stealth mode) стартап уже привлёк с учётом этой суммы более $100 млн инвестиций.

В рамках инвестиционной сделки решения Armada появятся в маркетплейсе Azure Marketplace. Как сообщил стартап, это позволит клиентам Azure придерживаться выделенного бюджета на использование решений Armada и сделает его технологию «более доступной, чем когда-либо».

Armada предлагает защищённые автономные модули ЦОД Galleon в стандартных 20″ и 40″ грузовых контейнерах, которые включают три и шесть стоек соответственно, платформу управления устройствами и вычислениями Edge и приложения Edge/AI, специально разработанные для использования на периферии и работающие локально или в облаке.

Также Armada предлагает Commander Connect, комплексную платформу для мониторинга и управления IIoT-активами, включая терминалы Starlink, собственно ЦОД Galleon и другие подключённые устройства, такие как дроны, датчики, камеры и транспортные средства. Её основное назначение — предоставить доступ к интернету и облегчить удалённое или локальное управление экосистемой через «единое окно».

Источник изображения: Armada

Как сообщает Armada, «используя надёжную инфраструктуру Azure, Commander Connect предлагает беспрецедентную масштабируемость, безопасность и производительность для периферийных вычислений корпоративного уровня». Стоимость использования Commander Edge начинается от $450 тыс./год, Commander Connect — $50 тыс./год.

Ранее Armada объявила о партнёрстве с Halliburton, Pivotel, Edarat и Skydio, а также подписала соглашение с ближневосточной фирмой Edarat Group, занимающейся инженерным консалтингом в области ЦОД и облачных сервисов, о развёртывании 10 модулей Galleon в Персидском заливе и на Ближнем Востоке, уточняет DatacenterDynamics. При этом у Microsoft есть собственное предложение в этой области — микро-ЦОД Azure MDC в 40″ контейнере.

Microsoft сумела избежать длительного официального расследования деятельности своего облачного подразделения со стороны европейских регуляторов. По данным Bloomberg, после переговоров компания заключила соглашение с поддерживаемой AWS группой лоббистов CISPE, жаловавшейся европейским властям на лицензинонные соглашения Microsoft, условия которых затрудняли переход из её облака к конкурентам.

Cloud Infrastructure Services Providers in Europe (CISPE), объединяющая провайдеров облачных сервисов, обязалась отозвать жалобу регуляторам ЕС — ранее объединение уверяло, что Microsoft чересчур крепко увязала использование собственного бизнес-ПО с облачными сервисами Azure. По словам президента Microsoft Брэда Смита (Brad Smith), консультации с CISPE велись больше года, но теперь решены не только прошлые проблемы, но и выработана стратегия совместного развития в будущем, благодаря чему Евросоюз и другие рынки станут ещё более конкурентными.

Источник изображения: Antoine Schibler/unsplash.com

У Microsoft есть девять месяцев на то, чтобы предложить «более честные» условия лицензирования. Помимо выплаты $21,7 млн компенсаций за упущенные доходы и расходы на лицензии за последние два года, компания разработает специальную версию Azure Stack HCI для европейских облачных провайдеров, что позволит участникам CISPE запускать ПО Microsoft в своих облаках, платя те же деньги, что и клиенты Azure. Кроме того, для мониторинга ситуации CISPE создаст независимую структуру European Cloud Observatory. Еврокомиссии заявила, что оценит влияние сделки на конкуренцию на рынке ЕС.

Впрочем, положением дел довольны не все. Некоторые провайдеры, не входящие в CISPE, хотели бы знать, будут ли сделаны денежные компенсации структурам, не входящим в ассоциацию. Они утверждают, что фактически могущественная компания заплатила торговому объединению за молчание и не намерена вносить фундаментальных изменений в своё ПО. Чрезвычайно важно, что смягчённые условия лицензирования не касаются AWS, Google Cloud Platform и Alibaba Cloud, отмечает DataCenter Dynamics.

Источник изображения: Synergy Research Group

В AWS заявили, что соглашение никак не поможет подавляющему большинству клиентов Microsoft, которые всё ещё не смогут без лишних проблем использовать облака по своему усмотрению в Европе и по всему миру. В Google Cloud утверждают, что ищут другие возможности бороться с неконкурентными принципами лицензирования Microsoft в Европе. В своё время Google не только пожаловалась на Microsoft в Великобритании, но и сама отменила плату за перенос данных клиентов при их переходе к другому провайдеру. При этом AWS поддержала обвинения Google.

В своё время европейские регуляторы уже начали расследование деятельности облачного гиганта. Хотя заявление CISPE было подано в ноябре 2022 года, своим происхождением жалоба, вероятно, обязана OVHcloud, которая ещё в 2021 году впервые направила соответствующую претензию. В 2022 гоуд к ней присоединилась Aruba IT, а чуть позже уже CISPE анонсировала поддержку антимонопольного дела. Ещё одним толчком стало вступление в силу закона Европейский закон о данных (EU Data Act), который должен упростить переход клиентов от провайдера к провайдеру.

Компания Xerox организовала миграцию из собственных ЦОД в облако Microsoft Azure. По данным Datacenter Dynamics, переход осуществляется с помощью компании Tata Consultancy Services (TCS), которая будет способствовать переносу нагрузок со старых дата-центров в публичное облако. По состоянию на 2016 год Xerox имела восемь дата-центров: два в Канаде, четыре в Европе и два в США.

О текущем состоянии инфраструктуры ЦОД Xerox сегодня известно очень мало, как и о том, намерена ли она окончательно отказаться от собственных ЦОД. При этом говорится, что после миграции Xerox получит облачную ERP-платформу и начнёт использовать технологии вроде генеративного ИИ в своей деятельности. TCS разработает новую операционную модель для компании с акцентом на работу в облачной инфраструктуре, в числе прочего речь идёт о создании корпоративной ИИ-платформы.

Источник изображения: Claude Laprise / Unsplash

По словам Xerox, инициатива, связанная с цифровой трансформацией — важный этап для пересмотра модели работы компании, призванный упростить как ключевые процессы, так и улучшить клиентский опыт. Впервые Xerox объявила о намерении отдать приоритет облакам ещё в 2023 году. Как сообщают в TCS, инициатива позволит организации со столетней историей быстро трансформироваться в более гибкую и высокотехнологичную компанию. Катализатором этого, по словам компании, стали технологии генеративного ИИ.

У компаний Microsoft и NVIDIA, по сообщению The Information, возникли разногласия по поводу использования новейших ускорителей B200 на архитектуре Blackwell. NVIDIA настаивает на том, чтобы клиенты приобретали эти изделия в составе полноценных серверных стоек, тогда как Microsoft с этим не согласна.

Отмечается, что NVIDIA, удерживающая приблизительно 98 % рынка ускорителей для ЦОД, стремится контролировать использование своих продуктов. В частности, компания накладывает ограничения в отношении дизайна ускорителей, которые партнёры создают на чипах NVIDIA.

Во время презентации Blackwell глава NVIDIA Дженсен Хуанг (Jensen Huang) неоднократно указывал на то, что теперь минимальной единицей для развёртывания должен стать суперускоритель GB200 NVL72. То есть NVIDIA призывает клиентов приобретать вместо отдельных ускорителей целые стойки и даже кластеры SuperPOD. По заявлениям компании, это позволит повысить ИИ-производительность благодаря оптимизации всех компонентов и их максимальной совместимости друг с другом. Кроме того, такая бизнес-модель позволит NVIDIA получить дополнительную выручку от распространения серверного оборудования и ещё больше укрепить позиции на стремительно развивающемся рынке ИИ.

Источник изображения: NVIDIA

Однако у Microsoft, которая оперирует огромным количеством разнообразных ускорителей и других систем в составе своей инфраструктуры, возникли возражения в отношении подхода NVIDIA. Сообщается, что вице-президент NVIDIA Эндрю Белл (Andrew Bell) попросил Microsoft приобрести специализированные серверные стойки для ускорителей Blackwell, но редмондский гигант ответил отказом. По заявлениям Microsoft, решения NVIDIA затруднят корпорации внедрение альтернативных ускорителей, таких как AMD Instinct MI300X.

Ещё один вариант OCP-стойки с СЖО (Источник изображения: Microsoft)

Дело в том, что форм-факторы стоек NVIDIA и стоек Microsoft различаются на несколько дюймов. Из-за этого могут возникнуть сложности с изменением конфигурации и модернизацией, предусматривающей использование конкурирующих компонентов. Так, Microsoft использует единую базовую платформу и для ускорителей NVIDIA, и для ускорителей AMD. Microsoft эксплуатирует вариант стоек OCP и старается максимально унифицировать инфраструктуру своих многочисленных дата-центров. NVIDIA, в конце концов, согласилась с доводами Microsoft и пошла на уступки, но это, похоже, не последнее подобное разногласие между компаниями.

Облачный гигант Microsoft намерен инвестировать €6,69 млрд ($7,16 млрд) в постройку в северо-восточном испанском регионе Арагон новых дата-центров. Reuters сообщает, что эта область Испании становится одним из ключевых вычислительных хабов на территории Европы.

По данным региональных властей, американский инвестор подал заявку на получение разрешения на строительство дата-центров вблизи испанской Сарагосы — ранее о вероятном возведении новых ЦОД недалеко от города уже сообщали местные СМИ. Как сообщают представители местного самоуправления, реализация проекта растянется на 10 лет. Ранее Microsoft анонсировала инвестиции в ЦОД на €2,1 млрд., а на днях был запущен первый облачный регион Azure в Мадриде.

Вероятно, Microsoft намерена угнаться за главным конкурентом — AWS, также имеющей планы на Арагон. Только в прошлом месяце облачное подразделение Amazon объявило о намерении вложить в строительство ЦОД в регионе €15,7 млрд в течение 10 лет. В AWS утверждают, что ЦОД компании будут полностью питаться за счёт возобновляемой энергии, благо в провинции постоянно дуют сильные ветры.

Источник изображения: Gerard Albanell / Unsplash

Сарагоса считается пятым по величине городом Испании и давно стала крупным логистическим и транспортным хабом, удачно расположенным между Мадридом и Барселоной, крупнейшими городскими агломерациями страны. Кроме того, город находится в самом центре коридора, связывающего Пиренейский полуостров с Францией и другими странами Европы.

По прогнозам IDC, новая облачная и ИИ-инфраструктура в Испании пополнит ВВП страны на €10,7 млрд и будет способствовать появлению 77 тыс. новых рабочих мест в 2024–2030 гг.

Microsoft снова прибегнет к помощи Oracle для того, чтобы помочь OpenAI расширить вычислительные мощности. По данным The Register, компания арендует ИИ-мощности у Oracle Cloud Infrastructure (OCI). Microsoft уже вложила в OpenAI огромные средства и, по некоторым данным, владеет почти половиной компании, но, похоже, ресурсов Azure не хватает для того, чтобы ИИ-стартап смог свободно расти.

В ходе последнего квартального отчёта Oracle заявлялось, что компания скоро построит «очень-очень большой дата-центр», около половины которого будет использовать Microsoft. Предполагается, что в нём будет использовано немало ускорителей NVIDIA с СЖО, предназначенных в первую очередь для обучения ИИ-моделей. ИИ-инфраструктура Oracle второго поколения будет существенно производительней первого и спрос на неё будет велик, говорит Oracle.

Так, OCI Supercluster сможет объединить до 64 тыс. суперускорителей NVIDIA Blackwell GB200 посредством RDMA-интерконнекта с ультранизкой задержкой и получит высокопроизводительные хранилища. Суперкластером помимо Microsoft будут пользоваться Adept, Modal, MosaicML, NVIDIA, Reka, Suno, Together AI, Twelve Labs и xAI — Илон Маск (Elon Musk) уже объявил о готовности потратить $10 млрд на облачные серверы Oracle. При этом Oracle предлагает собственный сервис OCI Generative AI, который является конкурентом Azure OpenAI.

Источник изображения: Pawel Nolbert/unsplash.com

Первые слухи о взаимном использовании облачных ресурсов Microsoft и Oracle появились год назад. Впоследствии Microsoft действительно арендовала ускорители NVIDIA у Oracle. Кроме того, компании стали значительно ближе к другу к другу — Oracle разместила свои комплексы Exadata в Azure. Аналогичное решение вскоре появится и в Google Cloud Platform — сервис последней Cross-Cloud Interconnect будет доступен в 11 облачных регионах OCI, а до конца 2024 года должен стартовать проект Oracle Database@Google Cloud.

В последнем квартале быстрее всего у Oracle росла выручка от облачных сервисов лицензионной поддержки. В компании заявляют о крупнейших контрактах в истории на фоне спроса на обучение ИИ-моделей и рекордных уровнях продаж сервисов OCI. При этом клиенты переходят от разовых закупок на многолетнее облачное обслуживание, чего Oracle и добивалась. Обязательства компании (RPO) уже достигли $98 млрд.

В ближайшем будущем Oracle будет наращивать производительность ИИ-инфраструктуры, чтобы клиенты могли пользоваться актуальными моделями, и строить всё больше крупных дата-центров. Ёмкость некоторых ЦОД приблизится к 1 ГВт. По слухам, Microsoft и OpenAI в марте 2024 года изучали возможность строительства кампуса на 5 ГВт за $100 млрд. Кроме того, как считается, Microsoft является одним из крупнейших заказчиков CoreWeave. Прямо сейчас Microsoft стремительно наращивает ёмкость своих ЦОД и ежемесячно вводит в строй по пять ИИ-суперкомпьютеров.