Стремясь удовлетворить ожидаемый спрос на генеративный ИИ, компания Microsoft увеличила капвложения в IV квартале 2023 финансового года до $10,7 млрд с $7,8 млрд в предыдущем квартале, пишет Data Center Dynamics (DCD). Капвложения Google во II квартале 2023 года составили $6,89 млрд, что, впрочем, ниже первоначальных прогнозов аналитиков, ожидавших около $7,9 млрд. Это связано с замедлением строительства офисов и задержками «некоторых проектов строительства ЦОД», отметил DCD.

Как сообщает Microsoft значительные средства были вложены в дата-центры, вычислительную инфраструктуру и сети. По словам компании, капвложений с каждым кварталом будут увеличиваться на протяжении всего 2024 финансового года. «Ускорение действительно довольно значительное, — отметила финдиректор Эми Худ (Amy Hood) в квартальном отчёте. — Это касается как ЦОД, так и CPU с GPU, а также сетевого оборудования». Худ добавила, что компания направляет средства на увеличение ёмкости для «обычных рабочих нагрузок Azure, а также некоторых рабочих нагрузок ИИ».

Источник изображения: Microsoft

Вложив миллиарды долларов в OpenAI, Microsoft стала единственным облачным провайдером стартапа, но вместе с тем, как и другие гиперскейлеры, стремится получить достаточное количество ускорителей NVIDIA. Ранее она подписала соглашение о сотрудничестве с CoreWeave об использовании его мощностей для обработки ИИ-нагрузок своих клиентов. По слухам, аналогичное соглашение Microsoft имеет и с Lambda. А до этого она обсуждала совместное использование ускорителей с Oracle, поскольку NVIDIA, похоже, предпочитает отдавать новейшие продукты тем компаниям, которые не пытаются разработать собственные ИИ-ускорители.

«Главная задача — быть в состоянии активно удовлетворять кривую спроса», — заявила Худ. Возможность увеличения капвложений обеспечивается ростом доходов: Microsoft сообщает об увеличении выручки за квартал на 8 % год к году до $56,2 млрд. Продажи облака Azure выросли на 27 %. Компания отметила, что около одного п.п. роста приходится на ИИ, и в следующем квартале, как ожидается, рост ИИ составит 2 п.п. При этом Microsoft не предоставляет финансовые данные по Azure. Известно лишь, что выручка подразделения Intelligent Cloud, куда входит Azure, составила в минувшем квартале $24 млрд.

Источник изображения: Google

Google также заявила, что инвестирует значительные средства в ЦОД и ИИ-инфраструктуру. «Самая большая часть расходов пришлась на серверы, что включало значительное увеличение наших инвестиций в ИИ-вычисления», — сообщила в квартальном отчёте Рут Порат (Ruth Porat) финансовый директор холдинга Alphabet, куда входит Google. По словам Порат, «уровни инвестиций в техническую инфраструктуру [вырастут] во II половине 2023 года и продолжат расти в 2024 году», что позволит наверстать медленный старт. Компания будет «инвестиировать в GPU и TPU, а также в мощности ЦОД».

В свою очередь, глава Alphabet Сундар Пичаи (Sundar Pichai) заявил, что ИИ-инфраструктура компании является ведущей платформой для обучения и обслуживания моделей генеративного ИИ. Более 70 % компаний-единорогов в этой области являются клиентами Google Cloud, включая Cohere, Jasper, Typeface и т.д. Также компания, по его словам предлагает, самые широкие возможности ИИ-суперкомпьютинга на базе TPU и ускорителей NVIDIA. Подразделение Google Cloud сообщило о 28-% увеличении продаж во II квартале (до $8 млрд) в годовом исчислении и прибыли в размере $395 млн.

Хотя европейский сектор строительства ЦОД переживает эпоху расцвета, из-за быстрого роста спроса на новые мощности увеличилось и количество проблем. В частности, как сообщает The Register, не хватает строительных материалов, а также тяжёлой строительной техники. Между тем в ближайшие годы потребуются буквально тысячи новых ЦОД.

Как сообщается в докладе Aggreko, спрос на новые ЦОД значительно превышает предложение, причём многим подрядчикам приходится переносить сроки сдачи объектов. Для составления доклада Aggreko опросила 700 отраслевых специалистов в Великобритании и ряде стран ЕС. По данным британской Savills, в Европе в ближайшие три года планируют построить намного меньше ЦОД, чем необходимо. В компании уверяют, что уже к середине десятилетия потребуется не менее 3 тыс. новых дата-центров. Удовлетворить их будет непросто по ряду причин.

Источник: Aggreko

Виной всему не только нехватка строительных материалов и техники, на которую претендуют и другие отрасли, но и, например, проблемы с подключением к энергосетям и нехватка квалифицированных кадров. Также в числе препятствий упоминается и ужесточение контроля природоохранными ведомствами, поскольку строительству и эксплуатации ЦОД обычно сопутствуют высокие углеродные выбросы. А в случае разногласий между застройщикам и муниципальными властями возведение объекта может быть приостановлено на неопределённый срок.

Источник: Aggreko

В некоторых местах наличие доступа к энергии оказалось важнее цены на неё. Кроме того, сказывается недостаток опыта в использовании источников возобновляемой энергии — не считая рисков, связанных с самим использованием таких источников. Также важным фактором является и цена земельных участков, особенно в Германии, Франции и Нидерландах. Антирекордсменами по срокам сдачи ЦОД стали Нидерланды и Швеция, где задержка может превышать два месяца.

Ожидается, что с учётом нарастающего спроса рынок станет ещё более неустойчивым — в Aggreko предлагают использовать в некоторых случаях компромиссные решения, например, создание временных машинных залов ещё до завершения строительства всего объекта. Признаётся необходимость спотовых покупок материалов и техники для удовлетворения краткосрочного спроса и аренды некоторого оборудования вроде генераторов, а также наращивание запасов оборудования и иных мер, в том числе увеличение сроков сдачи проектов.

Компания CoreWeave, предоставляющая облачные ИИ-услуги, планирует потратить не менее $1,6 млрд на ЦОД в городе Плано (Техас). Как сообщает DataCenter Dynamics, компания договорилась о налоговых льготах с городскими властями, так что половина уплаченной суммы будет возвращена в 2025–2026 гг., но только если компания действительно потратит столько, сколько планирует.

CoreWeave начинала с криптомайнинга, но позже успешно переориентировалась на облачные ИИ-решения, а на фоне бума генеративного ИИ только укрепила свои позиции. Важно, что пока ИИ-ускорители для гиперскейлеров находятся в дефиците, NVIDIA даёт CoreWeave и другим стартапам приоритетный доступ к своим чипам. Вместе с тем NVIDIA сама инвестировала значительные средства в CoreWeave, а теперь планирует сделать то же самое с её прямым конкурентом Lambda Labs.

Источник изображения: Lincoln Rackhouse

По данным CoreVeawe, ЦОД площадью 42 тыс. м² позволит удовлетворять спрос на высокопроизводительные облачные ИИ-вычисления и другие передовые технологии. Сегодня компания располагает тремя облачными регионами: в Нью-Джерси, Неваде и Иллинойсе. Известно, что в прошлом месяце она заключила с Microsoft многолетнее соглашение на предоставление мощностей своих ЦОД для выполнения задач, связанных с ИИ-услугами Azure.

Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

Источник изображения: Pixabay

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

Компания Gartner опубликовала июльский прогноз по глобальному IT-рынку. Сообщается, что сложившаяся макроэкономическая обстановка и продолжающаяся цифровая трансформация предприятий приведут к тому, что в одних сегментах отрасли будет наблюдаться спад, тогда как другие покажут заметный рост.

Gartner учитывает расходы в области систем для дата-центров, всевозможных электронных устройств, ПО корпоративного класса, IT-сервисов, а также телекоммуникационных сервисов.

Источник изображения: Gartner

По оценкам аналитиков, в 2022 году суммарные затраты в обозначенных секторах составили $4,5 трлн, поднявшись на 2,7 % по сравнению с предыдущим годом. В 2023-м ожидается рост на 4,3 %, в результате чего расходы поднимутся приблизительно до $4,7 трлн. В 2024 году, полагают аналитики, мировой IT-рынок покажет прибавку на уровне 8,8 % — до $5,1 трлн.

Хотя общий прогноз корпоративных расходов на IT является положительным, затраты в ЦОД-сегменте в 2023-м, как ожидается, упадут в годовом исчислении на 1,5% — до $217,9 млрд. Рост возобновится в 2024-м, когда прибавка составит 8,1 % — до $235,5 млрд.

Расходы на устройства сократятся на 8,6 % в 2023 году (до $700,0 млрд) из-за продолжающегося влияния инфляции на покупательную способность потребителей. В 2024 году этот сегмент покажет прибавку в 6,9 %, принеся $748,2 млрд.

Спрос на корпоративное ПО в 2023-м и 2024 году поднимется на 13,5 % и 14,0 % соответственно — до $911,7 млрд и $1,0 трлн. IT-сервисы принесут $1,4 трлн в 2023 году (плюс 8,8 % год к году) и $1,6 трлн в 2024 году (плюс 11,6 %). В сегменте коммуникационных сервисов также ожидается стабильный рост: прибавка в 2023-м и 2024 году прогнозируется на уровне 2,7 % и 3,8 % соответственно — до $1,46 трлн и $1,52 трлн.

В Сингапуре пошли на ослабление моратория, запрещавшего строительство новых дата-центров. Как сообщает DataCenter Dynamics, страна распределила первые за несколько лет 80 МВт — они достались Equinix, Microsoft, AirTrunk (в паре с ByteDance) и GDS. Ранее представители технологического сектора Сингапура жаловались, что страна упустила «представляющийся раз в жизни» шанс стать мировым хабом для дата-центров.

Мораторий на строительство новых ЦОД появился в 2019 году — исключение составили проекты, уже получившие одобрение местных властей. Год назад запрет был смягчён, поскольку появилась возможность подать новые заявки. Всего таковых набралось более 20, так что в ближайшие год-полтора будут распределены новые мощности для ЦОД — страна по-прежнему намерена стать «глобальным цифровым хабом», намереваясь при этом добиться нулевого углеродного выброса.

Источник изображения: Mike Enerio/unsplash.com

Победителями, как сообщается, стали компании, лучше всех способные достичь желаемых Сингапуром экономических и экологических результатов. В частности, победители смогли предложить наиболее энергоэффективные решения для машинного обучения, ИИ и HPC, в том числе с новыми системами охлаждения. Также победители выразили готовность взять на себя «иные экономические обязательства» помимо прямых инвестиций. Впрочем, есть ещё один предварительно одобренный проект морского дата-центра.

Microsoft запустила первый в стране облачный регион Azure в 2010 году, последний ЦОД AirTrunk был открыт в Сингапуре в 2020 году, а Equinix, владеющая пятью ЦОД в стране, ввела в эксплуатацию последний из них уже после введения моратория. И только GDS построит дата-центр в Сингапуре впервые. В русле этой политики вполне ожидаемо, что Сингапур намеревается потратить более $7 млрд на расширение системы подводных интернет-кабелей и провести в ближайшие 10 лет комплексную модернизацию интернет-инфраструктуры.

Компания Microsoft получила разрешение на строительство газовой электростанции на 170 МВт для своего кампуса Grange Castle в пригороде Дублина. Как сообщает DataCenter Dynamics, объект стоимостью €100 млн будет использоваться для повседневного питания ЦОД, а в случае отключения от национальной энергосети станция и 21 дизель-генератор станут единственным источником питания всего кампуса. По данным Business Post, суммарно планируется установить 150 генераторов.

Экоактивисты уже выступили против проекта, обвинив IT-гиганта в попытке обойти запрет оператора EirGrid на новые подключения ЦОД к электросетям в Дублине и его окрестностях до 2028 года. Защитники природы подчёркивают, что хотя благодаря собственной электростанции Microsoft ограничит нагрузку на местные энергосети, электростанция будет только способствовать росту углеродного выброса. При этом власти Ирландии всё ещё намерены добиться того, чтобы к 2030 году 80 % энергии в стране должно поступать из возобновляемых источников.

Источник изображения: Microsoft

Хотя в Ирландии в целом строительство дата-центров не запрещено и даже приветствуется, в Дублине и окрестностях оно ограничено, поскольку здесь и без того уже действует немало ЦОД. Из-за введённых ограничений некоторые крупные компании уже приостановили реализацию ряда проектов. Экоактивисты призывают вообще заблокировать строительство новых ЦОД, утверждая, что это помешает декарбонизации страны. Строительство газовых электростанций может стать временным ответом на ограничения, позволив сделать ЦОД вообще автономными.

При этом власти Ирландии ещё в конце 2022 года предостерегли оператора Gas Networks Ireland от заключения новых контрактов с операторами ЦОД, предполагающими обеспечивать свои объекты преимущественно за счёт газовых генераторов для обхода существующих норм. Известно, что Microsoft, для соблюдения существующих в Ирландии правил, не станет эксплуатировать станцию круглосуточно — она будет работать всего по 8 часов в день. Вместе с тем это вряд ли поможет планам компании по полном переводу её ирландских ЦОД на «зелёную» энергию.

Филиал Сбера в Индии сообщил о получении от местного Резервного банка разрешения на создание IT-подразделения в Бангалоре. На этой площадке в числе прочего расположится собственный дата-центр Сбера. О предполагаемом объёме инвестиций в проект ничего не сообщается.

Филиал Сбера в Индии работает с 2010 года: он находится в Нью-Дели и оказывает широкий спектр финансовых услуг. Осенью 2022 года Сбер получил разрешение индийского регулятора на открытие второго филиала — в Мумбаи.

Говорится, что третья площадка, которая будет сформирована Бангалоре, сосредоточится исключительно на разработке информационных технологий. Дело в том, что этот третий по численности населения город Индии является крупнейшим научным и индустриальным центром страны: он специализируется в том числе на выпуске продукции для аэрокосмической и машиностроительной отраслей, разработке электроники и развитии IT-сферы.

Планируется, что в этом подразделении Сбера будут работать около 200 сотрудников. «Бангалор часто называют "индийской кремниевой долиной", символично, что в этом городе Сбер реализует международный IT-проект. Хаб в Бангалоре будет не только обеспечивать технологическую составляющую работы нашего индийского филиала, но и также заниматься разработкой и внедрением новых цифровых продуктов для его клиентов», — сообщил «Сбербанк».

Компания IXcellerate сообщила о подключении к расположенному на юге Москвы центру обработки данных MOS5 нового энергоцентра, с запуском которого общая мощность вычислительного комплекса достигла 64 МВт.

Энергоцентр расположен на территории южного кампуса в непосредственной близости от здания самого ЦОД. Он объединяет 4 распределительные трансформаторные подстанции (РТП) мощностью 16 МВт каждая и 40 подключённых к ним трансформаторов по 2500 кВА, а также источники бесперебойного питания и распределительные щиты. Показатель оценки энергоэффективности дата-центра (PUE) составляет менее 1.4.

Источник фото: ixcellerate.ru

Отмечается, что энергоцентр полностью укомплектован решениями отечественной разработки и производства дружественных стран (секции, ячейки, автоматы ввода резервов, аппаратура защиты). С целью повышения эффективности объекта специалистами IXcellerate была применена оригинальная схема распределения нагрузки: каждый машинный зал дата-центра имеет подключение одновременно ко всем РТП, что обеспечивает более высокую отказоустойчивость и оптимизирует объём резервной энергомощности.

На данный момент запущено две очереди MOS5 (на 1516 и 836 стойко-мест). В планах компании — ввод в эксплуатацию ещё трёх очередей, с запуском которых ёмкость ЦОД составит 4700 стойко-мест. Общая энергомощность обоих кампусов IXcellerate (северного и южного) при полном вводе (8 дата-центров) превысит 280 МВт.