Холдинг Alphabet сообщил результаты работы в IV квартале и 2023 году, завершившемся 31 декабря. Выручка облачного подразделения Google Cloud составила около $9,2 млрд, увеличившись год к году на 25,66 %. Что примечательно, подразделение сработало с операционной прибылью в размере $864 млн, в то время годом ранее у него были убытки в $186 млн.

Выручка всего Alphabet в IV квартале составила $86,31 млрд по сравнению с $76,048 млрд годом ранее. Выручка за весь 2023 год — $307,394 млрд, что значительно превышает результат 2022 года, равный $282,836 млрд. Чистая прибыль холдинга выросла в 2023 году до $73,795 млрд с $59,972 млрд годом ранее, отчасти благодаря решению компании продлить срок службы серверов и сетевого оборудования.

Alphabet впервые продлил срок службы своего оборудования в 2021 году, увеличив продолжительность работы серверов с трёх до четырёх лет, а сетевого оборудования — с четырёх до пяти. В 2023 году Alphabet вновь продлил срок эксплуатации оборудования, на этот раз — до шести лет. Благодаря этому только в IV квартале 2023 года расходы компании на амортизацию оборудования упали на $983 млн, а чистая прибыль увеличилась на $765 млн. За весь год амортизация оборудования Alphabet снизилась на $3,9 млрд, а чистая прибыль увеличилась на $3 млрд.

Изображение: Google

При этом компания вложила значительные средства в новую инфраструктуру. В IV квартале общие капитальные затраты составили $11 млрд, что, по словам президента и главного инвестиционного директора Alphabet и Google Рут Порат (Ruth Porat), было обусловлено «инвестициями в техническую инфраструктуру, причём самый крупный компонент — серверы, за которыми следуют ЦОД». В предыдущем квартале капзатраты составили $7,6 млрд. Резкое увеличение капзатрат обусловлено «перспективами создания уникальных приложений ИИ для пользователей, рекламодателей, разработчиков, облачных корпоративных клиентов и правительств во всем мире, а также возможностями долгосрочного роста, которые они предлагают».

Порат добавила, что компания будет придерживаться этой политики и в 2024 году. «Мы ожидаем, что капитальные затраты в 2024 году будут значительно больше, чем в 2023 году», — отметила она. Порат также подчеркнула, что фактором роста Google Cloud Platform (GCP) является ИИ. Гендиректор Сундар Пичаи (Sundar Pichai) заявил, что компания продолжит инвестировать в инфраструктуру, как в ЦОД, так и в вычислительную технику, чтобы поддержать рост возможностей ИИ-технологий.

Изображение: Google

Подразделение Google Cloud снова стало самым быстрорастущим сегментом. После значительного замедления роста с +28 % год к году во II квартале до +22 % в III квартале рост облака вновь ускорился до +26 %. Более того, в этот раз ускорение темпов роста было сильнее, чем у AWS и Azure. Рост доходов от облачных технологий вновь ускорился на 4 п. п. Также резко выросла операционная маржа Google Cloud — последовательно на 6 п.п. до 9 %. Компания объяснила замедление темпов роста в III квартале проведением оптимизации рабочей нагрузки. В ходе нынешнего отчёта Сундар Пичаи сообщил, что этот вопрос «в основном был проработан».

Темпы роста Google Cloud по-прежнему опережают рынок: по оценкам Synergy Research Group, общемировой прирост рынка облаков составил +20 % в годовом исчислении до $74 млрд в IV квартале, ускорившись с 18 % в годовом исчислении в III квартале. Доминирует Amazon (31 % рынка), за ним следуют Microsoft (24 %) и Google (11 %). Большая тройка занимает 67 % рынка. Причём Microsoft и Google нарастили свои доли, а AWS — снизила.

Американская компания Cloudflare сообщила о хакерском вторжении в свою IT-инфраструктуру. К расследованию инцидента были привлечены специалисты в области безопасности CrowdStrike: утверждается, что к кибератаке могут быть причастны правительственные хакеры некоего государства. В результате расследования компания решила переоснастить свой ЦОД в Бразилии.

Говорится, что для проникновения во внутреннюю сеть Cloudflare злоумышленники использовали токен доступа и учётные данные трёх сервисных аккаунтов, которые были похищены в ходе взлома компании Okta в октябре 2023 года. C 14 по 17 ноября прошлого года киберпреступники провели разведку систем Cloudflare, а затем получили доступ к внутренним базам знаний и трекеру (Atlassian Confluence и Jira).

Изображение: Cloudflare

А уже 22 ноября хакеры наладили постоянный доступ к серверу Atlassian и к системе управления исходным кодом Cloudflare (Atlassian Bitbucket). Далее последовала безуспешная попытка закрепиться на сервере, который имеет доступ к дата-центру Cloudflare в Сан-Паулу (Бразилия): этот ЦОД ещё не запущен в полноценную эксплуатацию. Cloudflare выявила вредоносную активность 23 ноября и незамедлительно предприняла защитные меры: на следующий день все подключения злоумышленников были разорваны.

Расследование показало, что хакеры могли похитить некоторую документацию и ограниченное количество исходного кода. Анализируя документы, к которым обращались атакующие, базы данных ошибок и репозитории исходного кода, специалисты пришли к выводу, что нападавшие искали информацию об архитектуре, особенностях защиты и управления глобальной сетью Cloudflare.

Изображение: Cloudflare

В ходе устранения последствий вторжения были сменены все учётные записи, количество которых превышает 5000. Кроме того, проверены 4893 системы, перезагружены все машины в глобальной сети, включая все узлы Atlassian (Jira, Confluence и Bitbucket), а также серверы, к которым могли иметь доступ хакеры.

Чтобы гарантировать полную безопасность систем в бразильском ЦОД, оборудование из него было отправлено производителям на проверку. Вредоносные компоненты обнаружены не были, но Cloudflare всё равно приняла решение заменить все эти аппаратные компоненты. Вероятно, компания опасалась развития событий по сценарию Barracuda ESG.

Фонды прямых инвестиций готовятся принять участие в финансировании сингапурского оператора ЦОД Global Data Centers (STT GDC), намеренного привлечь $1 млрд. Datacenter Dynamics сообщает, что раунд инвестиций в бизнес, поддерживаемый суверенным фондом Сингапура Temasek, проведут перед выводом компании на IPO. Несколько фондов уже выбраны для подачи обязывающих заявок.

В числе потенциальных инвесторов: Apollo, Blackstone и Stonepeak Partners. Возможность внести деньги предоставили и консорциуму KKR и Singapore Telecommunications. По данным отраслевых источников, заявки должны быть поданы к началу апреля, хотя в самой STT информацию пока не комментируют. Сейчас STT GDC полностью принадлежит фонду Temasek, контролирующему «родительскую» компанию оператора ЦОД — Singapore Technologies Telemedia.

Новости о потенциально выходе оператора на IPO впервые появились около года назад. Тогда сообщалось, что компания рассчитывает на оценку бизнеса в $5 млрд. Предполагаемыми площадками для IPO назывались США и Сингапур. В мае выяснилось, что STT GDC искала инвестиции для того, чтобы поднять стоимость бизнеса перед выходом на биржу. Ранее KKR объявила о покупке 20 % доли в ЦОД-бизнесе Singtel, ещё одного крупного сингапурского игрока.

Источник изображения: STT GDC

STT GDC является одним из крупнейших операторов ЦОД в мире с огромным портфелем из более 170 объектов в 9 странах: Сингапуре, Великобритании (Virtus), Индии, Китае (GDS), Таиланде, Южной Корее, Индонезии, Японии и на Филиппинах. В ноябре 2023 года появилась информация о том, что STT GDC создала совместное предприятие с Basis Bay для открытия двух 20-МВт ЦОД в Малайзии. Первый из них должен заработать уже в этом году.

Как передаёт Datacenter Dynamics, департамент планирования Нового Южного Уэльса (NSW Department of Planning) обнародовал намерение построить 43-этажный жилой небоскрёб непосредственно над трёхэтажным зданием старого телекоммуникационного узла Telstra Exchange в Сиднее, который, по словам оператора невозможно ни снести, ни перенести.

Источник изображения: правительство Нового Южного Уэльса

Небоскрёб с 272 жилыми помещениями, предназначенными для сдачи в аренду, 10 квартирами для персонала, а также десятками других помещений оценён в AUD209 млн ($136,5 млн). Новое здание будет построено буквально над узлом связи на специальных опорах, поэтому не потребуется прерывать его работу и нарушать сопутствующую телекоммуникационную инфраструктуру. Telstra является одной из ключевых телеком-компаний Австралии и значимым игроком в Азиатско-Тихоокеанском регионе.

Источник изображения: правительство Нового Южного Уэльса

В документах департамента заявляется, что узел имеет большое значение для сетей Telstra, поэтому его нельзя снести, переместить или использовать в качестве опоры для нового небоскрёба. Более того, нельзя проводить земляные работы в непосредственной близости от узла, а имеющаяся сеть подземных кабелей вносит дополнительные ограничения. В итоге часть небоскрёба будет опираться на колонны по краям здания Telstra. Это сведёт к минимуму вмешательство в окружающую инфраструктуру и позволит телеком-оборудованию работать даже в процессе строительства.

Kraus Group передала оператору ЦОД и облачных сервисов Heidelberg iT Management дата-центр Baufeld 5 площадью около 600 м², расположенный в Гейдельберге (земля Баден-Вюртемберг), передаёт Datacenter Dynamics. Это крупнейшая в Европе структура, напечатанная на 3D-принтере. Среди партнёров проекта — входящая в Peri Group компания Peri 3D, а также архитектурные фирмы Mense-Korte и SSV.

Более того, речь идёт о первом здании промышленного назначения в мире, созданном с помощью 3D-принтера, и первом в мире дата-центре, возведённом с применением подобной технологии. ЦОД ёмкостью 500 кВт вместит около 100 стоек. Финальную отделку и подготовку помещений планируется завершить к концу лета этого года. С оператором уже заключили долгосрочный договор аренды объекта.

Изображение: PERI

Работы начались в 2023 году с использованием строительного принтера BOD2. На печать ушло 450 т специального бетона Heidelberg Materials. Это на 100 % перерабатываемый материал, а в его состав входит вяжущее вещество, которое практически вдвое экологичнее с точки зрения выбросов CO₂ в сравнении обычным портландцементом. Выпуском принтеров BOD2 занимается компания Cobod, принадлежащая General Electric, CEMEX, Holcim и Peri.

3D-печать в индустрии уже рассматривается к применению и другими компаниями. Например, в США EdgeCloudLink (ECL) намерена предлагать независимые от магистральных электросетей модульные ЦОД мощностью 1 МВт, строительство которых тоже будет осуществляться с помощью трёхмерной печати.

Ассоциация AFCOM в очередном докладе о состоянии мировой индустрии ЦОД отмечает, что сейчас наблюдается бум в строительстве и инновационном проектировании ЦОД на фоне растущего рынка ИИ и расширение цифровых сервисов в целом. Но вместе с появлением новых решений появляются и новые вызовы в области энергоснабжения, охлаждения и обеспечения экоустойчивости дата-центров.

Как сообщается в материалах ассоциации, развитие ИИ-систем значительно влияет на рынок ЦОД и сопутствующую инфраструктуру. Изменения продвигаются гиперскейлерами, которые оптимизируют свою инфраструктуру для повышения вычислительной плотности, что необходимо для ИИ-задач. По мнению экспертов, дата-центры для ИИ-нагрузок оптимальнее строить с нуля, а не пытаться модернизировать уже существующие мощности, поскольку современная инфраструктура отличается уникальными требованиями к охлаждению и энергоснабжению.

Согласно опросу AFCOM, 53 % представителя индустрии уверены, что новые ИИ-проекты определённо увеличат требования к ёмкости в колокейшн-сегменте. 56 % респондентов заявили, что планируют внедрять в своих ЦОД решения для поддержки ИИ-нагрузок, причём в основном речь идёт о генеративном ИИ (43 %). Помимо ИИ, рост спроса на вторичных рынках и спроса на высокоёмкие колокейшн-сервисы также стали стимулами к реализации новых проектов ЦОД.

Источник изображения: Ricardo Gomez Angel/unsplash.com

Данные AFCOM косвенно подтверждается прогнозами Gartner на 2024 год — общие IT-расходы вырастут до $5 трлн (+6,8 % год к году), а сегмент ЦОД прибавит сразу 7,5 % и вырастет до $261 млрд. Эксперты уверены, что корпорации будут находить всё больше способов применения IT-технологий, а ЦОД формируют костяк корпоративной IT-инфраструктуры. И спрос почувствуют все, кто занят в строительстве и эксплуатации ЦОД.

Источник изображения: AFCOM

По мнению европейских экспертов, проблемы, связанные с экономическими причинами, цепочками поставок, доступностью земли и энергии, а также местными законами можно будет решить с помощью внедрения инноваций. Все эти вызовы могут стать главными для индустрии ЦОД в 2024 году. Так, 73 % респондентов намерены использовать возобновляемую энергию на своих объектах, а 27 % уже делают это.

Источник изображения: AFCOM

Также ожидается рост доли модульных ЦОД. 42 % респондентов приветствуют гибридный подход к строительству дата-центров, при котором наряду с капитальными строениями используются готовые модульные конструкции. В основном речь идёт и готовых модулях питания (78 %) и охлаждения (72 %). Модульный подход способен сократить время строительства ЦОД на 40–80 % и снизить на ⅔ углеродный выброс.

Источник изображения: AFCOM

При этом ИИ порождает не только проблемы и вызовы. Развитие систем ИИ способствует оптимизации работы самих дата-центров, а также повышению уровня безопасности. Например, ИИ может прогнозировать пиковые нагрузки и автоматически распределять физические и виртуальные ресурсы, а также учитывать доступность источников энергии, что повышает экоустойчивость площадок.

Операторы ЦОД оказались на переднем фронте монументальных изменений — по некоторым оценкам, внедрение ПО на основе больших языковых моделей (LLM) в следующие пять лет станет столь же повсеместным, как и обычных веб-приложений, а новые технологии способны произвести революцию в любом бизнесе.

Компания Singapore Telecommunication (Singtel), ведущий поставщик коммуникационных услуг в Сингапуре, и NVIDIA объявили о сотрудничестве, нацеленном на создание в Юго-Восточной Азии сети ЦОД для решения ресурсоёмких ИИ-задач. Речь идёт о запуске площадок с высокой энергетической эффективностью.

Первый дата-центр, созданный в рамках партнёрства, появится в Сингапуре. В дальнейшем планируется запуск ЦОД в Индонезии и Таиланде. Для поддержания ИИ-нагрузок будут задействованы ускорители на архитектуре NVIDIA Hopper и эталонные решения NVIDIA AI.

Отмечается, что дата-центры будут выполнять функции «суверенных национальных ресурсов» — фабрик ИИ, позволяющих безопасно обрабатывать собственные наборы данных компаний, стартапов, университетов и государственных организаций. Клиенты в числе прочего смогут внедрять сервисы на базе генеративного ИИ. Singtel стремится к демократизации ИИ и декарбонизации своей деятельности. Компания также станет облачным партнером NVIDIA, предоставляя оптимизированные ИИ-услуги.

Источник изображения: NVIDIA

Singtel построит новые дата-центры под брендом Nxera. Клиенты смогут использовать фиксированную широкополосную связь и сети 5G для управления своими рабочими нагрузками ИИ в мультисетевой и мультиоблачной среде. Singtel намерена задействовать свою программную платформу Paragon для координации работы приложений ИИ. Телекоммуникационная компания также сотрудничает с рядом энергетических организаций, включая таиландскую Gulf Energy Development, индонезийскую Medco Power и TNB Renewables в Малайзии, чтобы гарантировать, что её ЦОД достигнут нулевого уровня выбросов к 2028 году.

Сингапур активно закупает оборудование NVIDIA. Это небольшое государство оказалось на четвёртом месте среди источников выручки NVIDIA, обеспечив долю в 15 % в III квартале 2023 года. Вместе с тем ещё в 2019 году в Сингапуре был введён мораторий на строительство новых ЦОД. Впоследствии ограничения были ослаблены, но власти заявили о намерении жёстко регулировать деятельность дата-центров и облаков, приравняв их к объектам критической инфраструктуры. Летом прошлого года также стало известно, что Сингапур потратит более $7 млрд на расширение инфраструктуры подводных интернет-кабелей.

В рамках проекта Data Center Ridge в Западной Вирджинии (США) будет изучена эффективность применения шахтных вод с заброшенных рудников для охлаждения местных ЦОД, передаёт Datacenter Dynamics. В частности, планируется задействовать 37,8 млн м³ воды с бывшей шахты Bullitt близ городка Аппалачия (Appalachia) в округе Уайз (Wise). Проект ожидает грант в размере $3 млн в рамках федеральной программы Abandoned Mine Land Economic Revitalization (AMLER), ещё $1,5 млн намерено выделить Министерство энергетики США.

Проект включен в план по перестройке и обустройству территории угольной шахты (26,3 тыс. га), закрытой ещё в 1990-х годах. Финансирование будет поступать из разных источников, включая некоммерческую организацию объединение Energy Delta Lab, поддерживаемую местными властями, бизнесом и коммунальными службами. Data Center Ridge займёт площадь более 160 га и получит до 1 ГВт «чистой» энергии. Он позиционируется как самый экоустойчивый и энергоэффективный кампус ЦОД в мире.

Источник изображения: Energy Delta Lab

Energy Delta Lab разработала HVAC-систему с закрытым контуром, которая использует подземные воды с температурой ниже 12 °C. Она же работает над типовым проектом дата-центра мощностью 36 МВт и площадью 23 тыс. м², включающего офисные помещения, телеком-инфраструктуру, электро- и техническое оснащение, а также системы безопасности. Для обслуживания такого объекта потребуется порядка 40 человек. Предполагается, что такие типовые дата-центры заинтересуют гиперскейлеров.

Кампус является часть гораздо более крупной инициативы Virginia Energy Plan объёмом до $8,25 млрд. Energy Delta Lab как раз и была сформирована в рамках этой инициативы. Организация будет реализовать различные инициативы в области энергетики, в том числе связанные с природным газом и водородом, АЭС, ветряной и солнечной энергией, а также аккумуляторными хранилищами. Территория шахты, например, была выбрана в качестве потенциальной площадки для ЦОД с питанием от малых модульных реакторов (SMR). Ожидается, что подобные проекты помогут привлечь в регион новые ЦОД.

Судя по вакансии, опубликованной в минувшие выходные, компания Microsoft находится в поисках «менеджера по приобретению земли для ЦОД». По данным The Register, он будет работать с командой, отвечающей за покупку и предварительную подготовку объектов недвижимости для строительство облачных мощностей в Азиатско-Тихоокеанском регионе (АТР).

В объявлении указывается, что кандидат должен сформировать и реализовать стратегию по улучшению и расширению инфраструктуры техногиганта на различных рынках. При этом подчёркивается, что успешный соискатель будет управлять несколькими проектами в АТР. Работать предстоит в Сингапуре, но до четверти рабочего времени придётся проводить в разъездах, причём надо быть готовым к внезапным командировкам.

Источник изображения: Matthew Manuel/unsplash.com

Соискатель должен обладать десятилетним опытом в сделках с недвижимостью со значительным «техническим компонентом». Кроме того, он должен разбираться в системах энергоснабжения и охлаждения, ВОЛС, а также других аспектах деятельности дата-центров. Более того, ему нужно иметь представление об альтернативных подходах к сделкам с недвижимостью. Не совсем понятно, о чём именно идёт речь, но Microsoft, например, уже тестировала подводные ЦОД. Или, возможно, компания вслед за конкурентами хочет размещать ЦОД в высотных зданиях. Такие проекты требуют особого подхода.

Сейчас у Microsoft есть 20 ЦОД на 11 рынках Азиатско-Тихоокеанского региона. Правда, компания не уточняет, какие страны она относит к АТР в данном случае — обычно соответствующее обозначение она использует при упоминании инфраструктуры Azure в Гонконге и Сингапуре. Но вполне вероятно, что работа может касаться новых проектов в Австралии, Индонезии, Южной Корее, Малайзии, на Тайване и в Индии. Компания также ищет генерального менеджера по строительству и эксплуатации ЦОД.

Американская инвесткомпания Blackstone считает сделку по покупке в 2021 году оператор ЦОД QTS Realty Trust одной из лучших инвестиций за всю свою историю, но для роста этого бизнеса потребуются громадные ресурсы. Сейчас Blackstone финансирует развитие огромной инфраструктуры QTS, пишет Bloomberg.

При этом Blackstone придерживается своей классической стратегии в сфере недвижимости, крупнейшей части её империи стоимостью $1 трлн. Фирма определяет, на каких рынках нарастает дефицит недвижимости, и направляет миллиарды долларов на строительство объектов для сдачи в аренду. Эту модель она применяет на всех направлениях, от складов до загородных домов. В данном случае наблюдается дефицит в объектах для поддержания цифровой трансформации. Причём после заключения сделки спрос на вычислительные мощности резко вырос и подогревается ажиотажем на рынке ИИ.

Изображение: QTS

QTS уже владеет недвижимостью стоимостью $15 млрд, тогда как на момент её приобретения у неё были объекты всего на $1 млрд. По данным аналитиков DatacenterHawk, она уже стала крупнейшим в Северной Америке поставщиком мощностей ЦОД (в МВт по контрактам), тогда как всего три года назад занимала 4-е место. Стоимость активов компании с момента её приобретения выросла до $25 млрд, а численность персонала — до 1000 человек.

Конечно, при развитии сети ЦОД компания сталкивается с проблемами, такими как дефицит электроэнергии и воды. На фоне роста популярности ИИ гиперскейлеры операторы ЦОД довели ежемесячную арендную ставку до $100/кВт, хотя три года назад в некоторых регионах она составляла $70–80/кВт. По словам брокеров, на ключевых рынках ставка может доходить и до $150/кВт. QTS же рассчитывает довести общую ёмкость своих объектов до 6 ГВт.

Интересы Blackstone и QTS охватывают не только рынок США, но и другие регионы, включая Европу, где они готовы приобретать конкурентов, чтобы расширить своё присутствие. В декабре 2023 года Blackstone объединила усилия с Digital Realty Trust Inc., чтобы построить кампусы ЦОД стоимостью $7 млрд во Франкфурте, Париже и Северной Вирджинии (США).