Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).

Норвежско-финская компания Nammo, специализирующаяся на производстве боеприпасов, реактивных двигателей и космического оборудования, обвинила сервис TikTok в препятствовании потенциальному расширению её мощностей в связи с нехваткой электроэнергии, поскольку новый ЦОД, назвавший китайскую компанию своим основным клиентом, использует все излишки электроэнергии в регионе. «Мы обеспокоены тем, что нашему будущему росту мешает хранение видео с кошками», — сообщил ресурсу Financial Times исполнительный директор Nammo.

Норвежский оператор ЦОД Green Mountain строит для TikTok новый кампус: к ноябрю 2023 года будут возведены три 30-МВт модуля, а к 2025 году планируется достроить ещё два таких же блока. Строительство ведётся в Хамаре, в 25 км от Рауфосса, где находится завод Nammo. Местная энергетическая компания Elvia подтвердила, что в энергосети нет свободных мощностей, они распределяются в порядке очереди и уже обещаны TikTok.

Изображение: Green Mountain

Nammo заявила, что спрос на артиллерийские снаряды сейчас в 15 с лишним раз выше, чем ранее. По её словам, Европа должна инвестировать €2 млрд в новые заводы только для того, чтобы удовлетворить спрос Евросоюза и других стран: «Мы видим необычайный спрос на нашу продукцию, которого никогда не было в нашей истории». В сложившейся ситуации это идёт в разрез с планами Норвегии стать «фантастической площадкой» для размещения дата-центров.

Местные власти сообщили, что будут способствовать реализации планов Nammo по расширению, так как обеспечение возможности развития компании — в национальных интересах. Глава Nammo указал на необходимость установления приоритетов в отношении того, какие отрасли будут иметь особый доступ к энергии. «Для Европы это серьезная проблема касательно промышленности: критически важные отрасли должны иметь доступ к энергии», — заявил он.

Эксперты прогнозируют обострение борьбы за приоритетный доступ к энергии по всей Европе. Если раньше ЦОД имели возможность пользоваться в скандинавских странах дешевым электричеством, получая выгоду от более холодного климата, позволяющего снизить затраты на охлаждение, то в связи с переходом на экологически чистую энергию компании аккумуляторного сектора и сталелитейной промышленности тоже устремятся в северные страны. А это повлечёт за собой рост конкуренции за доступ к энергии.

Оператор дата-центров Stack Infrastructure, по сообщению ресурса Datacenter Dynamics, поддержит Швейцарский план зимнего резерва (Winter Reserve), который предусматривает обеспечение стабильной подачи электроэнергии в холодное время года, в том числе во время пиковых нагрузок. Суть программы Winter Reserve заключается в предотвращение возможных отключений путём резервирования гидроэлектроэнергии и генераторных мощностей для краткосрочного использования.

Как отмечается, Stack предоставит ресурсы своих резервных генераторов швейцарской энергосети. Власти смогут задействовать эти установки в случае необходимости. Stack управляет четырьмя дата-центрами в Женеве, Цюрихе и Аванше общей площадью более 20 000 м² и мощностью 45 МВт. На этих площадках установлены генераторы для поддержания работы оборудования в случае сбоев в центральной системе электроснабжения.

Фото: Stack Infrastructure

«У Stack есть возможность не только поддерживать критически важные рабочие нагрузки клиентов, но и обеспечивать дополнительные энергетические мощности для городской электросети, поэтому мы рады внести свой вклад в программу Winter Reserve», — отметил глава Stack EMEA.

Проект Winter Reserve также предусматривает строительство новой резервной электростанции мощностью 350 МВт на площадке General Electric в Бирре, которая будет состоять из турбин, работающих на природном газе. Кроме того, инициатива предполагает увеличение общей ёмкости электросети и введение мер по энергосбережению в зимнее время года. В Ирландии, например, власти тоже просили крупных потребителей, включая ЦОД, запастить генераторами (в случае Amazon речь шла сразу о сотне), но об интеграции с общей энергосистемой страны не говорилось.

О строительстве дата-центров вблизи АЭС известно уже довольно давно, но создание атомного реактора под нужды ЦОД анонсируется впервые. Как сообщает DataCenter Dynamics, шведский оператор центров обработки данных, компания Bahnhof, намерена реализовать в Стокгольме малый модульный проект соответствующего назначения.

Малый модульный реактор (ММР), который готовятся построить в районе Йортхаген, будет обеспечивать электричеством не только дата-центр, но и 30 тыс. близлежащих домохозяйств, а также давать тепло для домов и офисных зданий. По оценкам руководства компании, проект можно будет реализовать уже через 10 лет. Известно, что Bahnhof имеет семь ЦОД в Швеции, а дата-центр, питание которого намерены организовать с помощью атомной энергии, уже строится.

ЦОД Bahnhof Pionen. Источник изображения: Bahnhof

Компания известна своими необычными проектами. По данным DataCenter Dynamics, именно ей принадлежит ЦОД Pionen в центре Стокгольма, построенный в бывшем правительственном бункере и использующий в качестве резервных источников питания генераторы с подводных лодок. Утверждается, что интерьер ЦОД подошёл бы в качестве декораций логова главного злодея в очередном фильме о Джеймсе Бонде. По словам Bahnhof, идея строительства ядерного реактора в столице может казаться провокационной, но вполне возможной.

Малые реакторы считаются достаточно безопасной альтернативой классическим АЭС. Такие решения обходятся относительно недорого и могут строиться в кратчайшие сроки. К тому же Швеция благосклонно относится к развитию атомной энергетики, на долю которой приходится 31 % производства энергии. Порядка 40 % поступает от ГЭС и других «зелёных» проектов.

Сегодня разработкой ММР активно занимаются американская NuScale, британская Rolls-Royce, а в Швеции компания Kärnfull Next подписала соглашение с финской Fortum для совместных исследований в этой сфере и, кроме того, сотрудничает с Hitachi. Наконец, шведские энергетики из Uniper претендуют на грант для исследования малых модульных реакторов. Эксперты считают ММР подходящим решением для питания ЦОД.

Японский IT-гигант NTT Data намерен пойти на необычный эксперимент. Как сообщает DataCenter Dynamics, компания совместно с Sekisui Chemical намеревается устанавливать лёгкие солнечные панели на стенах своих дата-центров и офисов в Японии. Демонстрационные испытания начнутся уже со следующего месяца, которые, по словам компании, станут в стране первыми в своём роде.

Если испытания пройдут успешно, компания внедрит подобные решения во всех 16 ЦОД и офисах в Японии в рамках плана по достижению углеродной нейтральности к 2030 году. Чтобы проверить работоспособность схемы, в апреле 2023 года начнётся установка перовскитных солнечных панелей плёночного типа от Sekisui, отличающихся небольшим весом. Будет проверен как метод установки, так и общая энергоэффективность системы, а также безопасность и устойчивость к ветру. Пока компании-партнёры не раскрывают, сколько энергии должны генерировать предлагаемые ими решения, но рассчитывать на то, что панели полностью покроют нужды офисов и ЦОД, не стоит.

Изображение: NEDO/NTT Data

В ходе первой фазы проекта, с апреля 2023 года по март 2024-го, панели будут установлены на стены исследовательского центра Sekisui Chemical. Не исключено, что в результате будет превышена расчётная нагрузка на стены зданий, особенно требующих модернизации. В случае успеха эксперимента, в апреле 2024 года систему попробуют применить на стенах ЦОД NTT Shinagawa TWINS Data Tower. Это позволит партнёрам оценить параметры работы панелей и установить, насколько эффективны подобные элементы в городской среде. На территории данного кампуса NTT тестирует и обслуживание ЦОД роботами.

Возможность использования перовскитных решений рассматривает и японская KDDI для использования в своих базовых станциях совместно с Enecoat Technologies. А в конце прошлого года дубайский дата-центр Moro Hub попал в Книгу рекордов Гиннесса как самый «солнечный», это крупнейший ЦОД в мире по площади, полностью питающийся от энергии солнца.

Компания Microsoft намерена распространить успешный опыт по интеграции энергохранилища дата-центра в Дублине с местными энергосетями на свои ЦОД во всём мире. Как сообщает DataCenter Dynamics, ещё в 2022 году свою эффективность доказала схема, объединяющая систему литий-ионных аккумуляторов (BESS) и интерактивные ИБП компании Eaton, которая позволяет делиться энергией с ирландской электросетью в случае необходимости. Подобные пилотные проекты уже реализуют многие операторы ЦОД вроде Google и Telia, а также операторы Deutsche Telecom и Elisa.

К 2030 году Ирландия намерена использовать в своих сетях не менее 70 % возобновляемой энергии, уже сейчас на долю ЦОД приходится порядка 10 % всего энергопотребления страны. По прогнозам экспертов, меньше, чем через 10 лет этот показатель вырастет до 30 %, что приведёт к замедлению роста рынка ЦОД в Ирландии и даже уходу некоторых игроков из-за внедрения новых правил. Применяемая Microsoft система уже сегодня особенно востребована именно здесь, где активное строительство ЦОД привело к нехватке энергетических мощностей.

Источник изображения: Jan Huber/unsplash.com

Такие «виртуальные электростанции» (Microsoft в этом деле помогала Enel X) могут эффективно использоваться в любой точке мира. Считается, что такое решение будет способствовать декарбонизации электросетей. Дело в том, что нестабильные поставки из возобновляемых источников увеличивают потребность в формировании именно аккумуляторных хранилищ. Кроме того, становится доступна и более эффективная и быстрая балансировка сетей — для передачи энергии на краткосрочный период аккумуляторные резервы намного эффективнее.

Пока неизвестно, сколько компания готова отдавать в ирландскую энергосеть. В дублинском кампусе ёмкостью 255 МВт Microsoft намерена построить дополнительные мощности — благодаря тому, что компания успела получить разрешение на строительство до введения в Дублине временных лимитов на создание ЦОД. Ожидается, что следующей на очереди станет Великобритания, где будет использовано аналогичное решение. Впрочем, есть и альтернативный подход — AWS приняла решение закупить более сотни дизель-генераторов для своих ирландских ЦОД.

Неопределённость на энергетическом рынке Европы вынуждает крупных потребителей электроэнергии задуматься о её бесперебойных поставках в случае форс-мажорных обстоятельств. Как сообщает DataCenter Dynamics, немецкий оператор Deutsche Telecom начал внедрять новые энергохранилища в рамках масштабного проекта общей ёмкостью 300 МВт·ч. Внедрение началось с головного офиса Deutsche Telecom в Мюнхене и дочерней компании Power & Air Solutions (1 МВт, 6 МВт·ч).

Руководство компании подчёркивает необходимость инвестиций в энергохранилища на фоне энергетических вызовов в Европе. В компании считают, что ключом к переходу на «зелёную» энергетику являются именно аккумуляторные энергохранилища, позволяющие пополнять запасы даже из нестабильных источников. Пока неизвестно, намерена ли Deutsche Telecom применять технологии только для энергоснабжения офисов или они будут использоваться и для критической инфраструктуры.

Pixii PowerShaper. Источник изображения: Pixii

Говорится об использовании модульного контейнерного оборудования PowerShaper компании Pixii. Каждый из модулей обеспечивает мощность до 50 кВт, но компания предлагает широкий спектр вариантов хранилищ мощностью от 10 кВт до 1 МВт. Подобные модульные решения способны применять или литий-железо-фосфатные (LiFePO₄, LFP), или литий-никель-марганец-кобальт-оксидные (LiNi_xMn_yCo_zO₂, Li-NMC) аккумуляторы. Известно, что системы АКБ общей ёмкостью в 300 МВт·ч планируется развернуть к 2030 году, а первые 60 МВт·ч будут развёрнуты уже до конца 2023 года.

По «зелёному» пути идут и другие европейские бизнесы родственного профиля. Так, финский телеком-оператор Elisa получил правительственный грант на создание «виртуальной электростанции», состоящей из разбросанных по стране энергохранилищ общей ёмкостью 150 МВт·ч и управляемых с помощью ИИ. А Omdia отмечает, что операторы ЦОД готовы интегрировать свои ИБП с энергосетями. Пилотные проекты такого рода есть, например, у Google, Microsoft и Telia.

Финский оператор мобильной связи и телекоммуникационных сервисов Elisa получит от государства €3,9 млн на создание распределённого энергохранилища (Distributed Energy Storage, DES) в своей сети. Как сообщает DataCenter Dynamics, в случае необходимости энергия будет передаваться и местным электросетям. Выделенный финскими властями грант позволит создать крупнейшую в Европе «виртуальную электростанцию», позволяющую рационально расходовать энергию и управлять энергохранилищами. По данным оператора, это крупнейший проект такого рода в Европе.

Финансирование осуществляется в рамках финской программы продвижения проектов, связанных с «зелёной» энергетикой — Recovery and Resilience Plan. Elisa уже протестировала новое решение на 200 базовых станциях. По данным компании, использование DES поможет снизить расходы на электричество. Система уже получила предварительное одобрение финского оператора электросетей Fingrid. Грант позволит создать виртуальное энергохранилище ёмкостью до 150 МВт·ч, что является крупнейшим европейским проектом в области систем хранения энергии, даже в сравнении с проектами централизованных хранилищ.

Фото: Jonathan Borba / Pexels

DES использует ИИ и машинное обучение, позволяющие оптимизировать использование электроэнергии базовыми станциями и эффективно управлять циклами заряда/разрядки аккумуляторов таким образом, что это позволит превратить резервные источники питания сети базовых станций в «виртуальную электростанцию», способную делиться энергией с операторами местных сетей электропередач в случае непредвиденного повышения нагрузки.

Новое решение обеспечит в некоторых случаях альтернативу ископаемому топливу и поможет электросетям, нуждающимся в дополнительных источниках возобновляемой энергии. Считается, что система не только повысит устойчивость сетей связи, но и поможет сэкономить на электричестве, а также будет способствовать достижению нулевых выбросов парниковых газов, поощряя наполнение энергохранилищ из возобновляемых источников.

Оператор дата-центров Princeton Digital Group (PDG) приобрёл сертификаты возобновляемой энергии (REC) из геотермальных источников. Как сообщает DataCenter Dynamics, компания приобретает их для трёх ЦОД в Индонезии и на фоне того, что страна уделяет мало внимания «зелёной» энергетике, новая инициатива поможет внести весомый вклад в обеспечение экобезопасности. Сертификаты приобретаются у государственного поставщика энергии PLN, в качестве компенсации за эксплуатацию ЦОД в Джакарте, Бандунге и Пеканбару.

REC покрывают выработку энергии на геотермальном поле Камоджанг — здесь работают мощности компании Pertamina. Подчёркивается, что приобретаемые сертификаты имеют международное признание и соответствуют актуальным международным требованиям. Впрочем, экспертами часто указывается, что лучшим решением для бизнеса является заключение соглашений о покупке энергии (PPA), в рамках которых напрямую спонсируется генерация возобновляемой электроэнергии.

Источник изображения: PDG

По мнению некоторых специалистов по безопасности окружающей среды, REC, использующиеся во многих случаях для формального обеспечения нулевых углеродных выбросов ЦОД, на деле не дают права заявлять об использовании на 100 % возобновляемой энергии, поскольку потребляемое в этом случае электричество фактически может быть получено из любых источников и компенсируется за счёт «зелёной» энергетики лишь косвенно.

PDG в 2019 году приобрела 70 % доли в ЦОД индонезийского телеком-оператора XL Axiata, в результате чего получила пять дата-центров и уже построила ещё один объект мощностью 22 МВт в Джакарте. По словам представителей PDG, сертификаты компенсируют углеродный выброс нескольких ЦОД компании и демонстрируют клиентам приверженность оператора «зелёным» ценностям. Ожидается, что все её ЦОД будут обеспечены экобезопасной энергии уже к 2030 году.

Тем не менее, на фоне общих индонезийских показателей инициатива PDG выглядит довольно прогрессивно, поскольку страна числится в списке мониторинговой группы Climate Action Tracker (CAT) как принимающая «крайне недостаточные» меры для борьбы с углеродными выбросами. Более того, она всё увеличивает потребление угля в энергетике, а «углеродной нейтральности» намерена добиться только к 2060 году. В CAT уверены, что страна могла бы достичь этой цели на 10 лет раньше.

Компания Amazon, по сообщению The Register, планирует перевести некоторые из своих американских дата-центров в Орегоне на топливные элементы, работающие на природном газе. Это позволит частично решить энергетические проблемы, с которыми облачный провайдер столкнулся в этом регионе.

Отмечается, что у Amazon в Орегоне возник конфликт с землевладельцами, которые возражали против того, чтобы высоковольтные линии электропередачи (ЛЭП) пересекали их территории. Кроме того, в начале текущего года сообщалось, что этот штат намерен резко ужесточить требования по выбросам CO₂ для ЦОД. Причём считается, что именно Amazon является одним из главных источников парниковых газов.

Как теперь стало известно, Amazon планирует установить топливные элементы мощностью около 75 МВт в трёх ЦОД (3×24,3 МВт) с возможностью расширения до четырёх дополнительных площадок в будущем. Такие системы позволят генерировать энергию на месте, что избавит Amazon от необходимости прокладки ЛЭП, и будут использоваться в качестве основного источника энергии. Однако при использовании природного газа побочным продуктом по-прежнему останется CO₂, что может вызвать недовольство властей. Впрочем, в перспективе установки могут быть переведены, например, на биогазы, получаемые от сельского хозяйства.

Источник изображения: Amazon

Согласно отчёту об устойчивом развитии Amazon, в 2021 году выбросы CO₂ компании поднялись на 18 %. В 2022 году Amazon анонсировала в 11 странах 133 новых проекта по выработке возобновляемой энергии суммарной мощностью 8,3 ГВт, поставивив очередной рекорд. Всего у компании есть 401 такой проект, из которых 164 приходится на солнечные и ветряные электростанции, а ещё 237 касаются размещения солнечных панелей на крышах. Amazon намерена получать от них до 56,881 ГВт·ч ежегодно. Компания рассчитывает стать углеродно-нейтральной к 2040 году, а полностью перейти на обеспечение своих потребностей в энергии из возобновляемых источников к 2025 году.