Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).

Человечество преуспело в гонке за экзафлопсами. Следующий барьер лежит в области 1 Зфлопс, что потребует нарастить производительность ещё на три порядка. Но вместе с производительностью растёт и потребляемая мощность. Перспективам такого роста был посвящён доклад главы AMD, Лизы Су (Lisa Su), сделанный на конференции ISSCC.

Компания не слишком оптимистична в своих оценках: хотя статистика говорит, что с 1995 года производительность HPC-систем удваивалась примерно каждые 1,2 года, удельная энергоэффективность Гфлопс/Вт росла куда медленнее — цикл удвоения составляет 2,2 года. Сегодня TOP500 возглавляет Frontier с показателями 1,102 Эфлопс и 21,1 МВт. При сохранении данного уровня энергоэффективности достижение 1 Зфлопс потребует 21 ГВт. То есть для его питания потребуется 21 энергоблок АЭС, мощностью 1000 МВт каждый.

Источник здесь и далее: HPCWire

Даже при сохранении существующего темпа увеличения энергоэффективности к 2035 году этот показатель достигнет лишь 2140 Гфлопс/Вт, так что гипотетический зетта-кластер всё равно потребует 500 МВт. Вряд ли можно назвать практичным суперкомпьютер, требующий для себя отдельный энергоблок АЭС. В качестве реалистичной цифры было названо 100 МВт, что требует эффективности порядка 10000 Гфлопс/Вт. Достичь её будет непросто: на слайдах, показанных AMD, видно, что одного прогресса в техпроцессах явно будет недостаточно.

Потребуются существенные архитектурные оптимизации, массовый переход на чиплетные технологии, совершенствование интерконнекта, а также оптимизация аппаратной и программной части на основе ИИ. Подсистема памяти не просто вырастет в объёмах, но и станет «умной» благодаря переносу части вычислений на уровень DRAM. Здесь AMD активно сотрудничает с таким крупным производителем, как Samsung Electronics — компании уже создали уникальный ИИ-суперкомпьютер, скрестив «умную» память HBM-PIM и ускорители Instinct, и развивают SmartSSD.

Неплохим примером комплексного подхода к решению вышеописанной проблемы, по мнению AMD, является APU Instinct MI300, который уже совсем скоро станет основой самых мощных суперкомпьютеров. Впрочем, пока что загадывать наперёд спешат не все специалисты. Так, США готовятся к созданию суперкомпьютеров производительностью от 10–20 Эфлопс, которые будут потреблять 20–60 МВт. А некоторые и вовсе считают, что будущие экзафлопсные HPC-системы и вовсе станут последними в своём роде.

Pure Storage анонсировала новое соглашение об уровне предоставления услуги (SLA). К уже привычным SLA вроде отсутствия плановых простоев для обновления или обслуживания или гарантии доступности на уровне 99,9999 % для пользователей Evergreen//One теперь доступно и SLA по уровню энергоэффективности, предлагаемое в соответствии с поставленной компанией целью предоставлять клиентам экологически дружественные технологии хранения данных.

SLA основано на двух инструментах: Pure1 Sustainability Assessment и Energy Savings Visualizer. Эти инструменты позволяют компаниям любого размера измерять максимальное количество фактически затрачиваемых Ватт на тебибайт (ТиБ) хранимых данных, что обеспечивает точное представление об энергоэффективности хранения и помогает определить области, где имеются ресурсы для улучшения показателей.

Источник изображения: Pure Storage

SLA также включает гарантию того, что заявленный уровень энергоэффективности будет соблюдаться. Если по какой-либо причине эта гарантия не выполняется, клиенты могут потребовать компенсацию, и Pure Storage бесплатно предпримет действия по исправлению ситуации, такие как уплотнение или консолидация хранимых данных. Это служит гарантией того, что компании смогут не только оценивать свою энергоэффективность, но и будут иметь возможность принимать меры для её повышения.

Согласно недавнему исследованию IT Sustainability Impact Survey, 86 % директоров программ устойчивого развития признают, что не могут достичь своих целей значительного сокращения энергопотребления технологической инфраструктуры и внедрения надежного и последовательного способа его измерения. С помощью нового SLA Pure Storage поможет компаниям работать более устойчиво, сокращая вредные выбросы, вместе с тем предоставляя им чёткий и измеримый способ отслеживания прогресса в области экологии.

Компания Equinix, известный провайдер колокации и один из крупнейших операторов ЦОД, пообещала «оптимизировать» температуру в своих машинных залах, постепенно увеличивая её, но оставляя в безопасных для оборудования пределах. Как сообщает The Register, это позволит сэкономить немало электроэнергии, снизив затраты на избыточное охлаждение.

Температура +27 °C для машинных залов давно одобрена индустриальными регуляторами и представителями IT-промышленности — ASHRAE указала, что такая температура достаточна для ЦОД ещё в 2008 году. По данным DataCenter Dynamics, в этом же году Intel провела эксперимент, в ходе которого 10 месяцев серверы в ряде ЦОД работали при +33,3 °C. В результате компания на 67 % сократила расходы на охлаждение, но доля отказов оборудования выросла на 2 %. Новейшие спецификации ASHRAE теперь тоже допускают температуры до +33,2 °C.

Источник изображения: Equinix

Впрочем, гиперскейлеры в собственных ЦОД могут позволить себе более высокие температуры, чем обычно. Уже к 2009 году Facebook✴ подняла планку до +29,4 °C, а сейчас добралась и до +32,2 °C. Google долго время придерживалась более умеренных значений, поддерживая температуру +26,6 °C. Однако для операторов ЦОД, сдающих в аренду свои площади, такие показатели нехарактерны. Напротив, зачастую они поддерживают даже более низкую температуру, чем необходимо, чтобы успокоить клиентов, опасающихся перегрева оборудования и сбоев в работе.

Стратегия Equinix предусматривает постепенное повышение температуры до приблизительно +27 °C в течение нескольких лет, что позволит избежать оттока пользователей, придерживаясь при этом последовательной политики. Делается это с целью повышения энергоэффективности охлаждения и снижения углеродных выбросов. Примечательно, что это скажется и на показателях клиентов, чьи углеродные выбросы класса Scope 3, (непосредственно не связанные с их деятельностью), тоже снизятся. Эксперты IDC сообщают, что Equinix способна сыграть ключевую роль в модернизации всей индустрии ЦОД.

Источник изображения: Equinix

По словам Equinix, на охлаждение приходится около четверти всех глобальных расходов компании на энергию. Ожидается, что в некоторых локациях рост энергоэффективности составит до 10 %. Пока в компании не отмечают какого-либо изменения клиентской базы в связи с нововведениями, хотя все клиенты обязательно получат уведомления об изменении политики охлаждения. По мере ужесточения требований клиентам и партнёрам придётся полагаться на Equinix для того, чтобы добиться показателей экоустойчивости в соответствии с новыми стандартами.

Однако на этом пути Equinix ожидает ряд проблем. В частности, не все системы (особенно старые) могут оказаться устойчивыми к росту температуру. Кроме того, новые высокопроизводительные на современных процессорах имеют повышенные требования к охлаждению в связи с выросшим TDP. Так что экономия на охлаждении может привести к перерасходу энергии по причине увеличившегося потребления вентиляторов в шасси.

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Источник изображения: Christian Lue/unsplash.com

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.

Компания «Яндекс» разместила на своей странице видеохостинга YouTube ролик, рассказывающий об особенностях работы самого энергоэффективного центра обработки данных (ЦОД) российского интернет-гиганта, расположенного в городе Мянтсяля в шестидесяти километрах от Хельсинки (Финляндия).

Финский центр обработки данных «Яндекса» является одиннадцатым по счёту ЦОД компании и первым, созданным в соответствие с концепцией GreenField, предполагающей проектирование и строительство здания под дата-центр «с нуля». Площадь вычислительного комплекса составляет 3400 кв. м, его проектная мощность достигает 40 МВт. Объект подключён к двум независимым магистральным источникам электроэнергии по 110 киловольт каждый. Для резервирования энерговводов предусмотрено резервное питание от семи установок DRUPS, за счёт кинетической энергии вращающихся барабанов обеспечивающих автономную работу систем дата-центра на момент запуска дизель-генераторных источников бесперебойного питания.

Особенностью дата-центра «Яндекса» в Финляндии является система охлаждения, функционирующая по принципу Free Cooling (для охлаждения оборудования применяется наружный воздух) и позволяющая использовать тепло от серверов в полезных целях — для отопления жилых домов Мянтсяля. Серверы финского ЦОД «Яндекса» охлаждаются уличным воздухом, который впоследствии нагнетается в теплообменники, а те, в свою очередь, нагревают воду до 30-45 градусов. После этого станция донагрева увеличивает температуру воды до 55-60 градусов, которая затем поступает в городскую сеть. Такое сотрудничество с городом позволяет «Яндексу» экономить до трети расходов на электроэнергию, потребляемую дата-центром.

«Яндекс» намерен и впредь совершенствовать систему охлаждения серверов уличным воздухом. Задействованные в финском ЦОД энергоэффективные технологии и инновационные решения компания планирует использовать в строящемся во Владимире центре обработки данных. Запуск нового дата-центра ожидается в первом квартале 2017 года.