Производители с каждым годом наращивают производительность выпускаемых чипов, что, как утверждает Uptime Institute, может создать проблемы для многих устаревших центров обработки данных, не оборудованных соответствующим образом для работы с новыми системами с более высокой мощностью, передаёт The Register.

Серверные процессоры AMD EPYC Genoa, анонсированные в конце прошлого года, и процессоры Intel Xeon Sapphire Rapids, представленные ранее в этом месяце, являются самыми мощными и энергоёмкими чипами на сегодняшний день, обладая пиковым TDP до 400 Вт и 350 Вт соответственно и приближаясь по данному параметру к ускорителям. Более высокий показатель TDP является следствием повышения плотности размещения вычислительных мощностей. Сейчас двухсокетная 2U-система уже может разместить почти 200 ядер x86-64, тогда как пять лет назад для этого потребовалось бы несколько узлов.

Изображение: pixabay.com / Gam-Ol

Многие ЦОД попросту не рассчитаны на столь «горячие» системы высокой плотности. По словам Uptime Institute, тенденция к использованию систем с более высокой плотностью скоро достигнет точки, когда она начнёт менять существующие представления о проектировании ЦОД. Типичная серверная стойка имеет проектную мощность менее 10 кВт. Но для современных высокоплотных систем этого уже недостаточно. Uptime Institute отмечает, что ЦОД должны производить установку новых систем с запасом на 10–15 лет, учитывая долгосрочные потребности в электроэнергии и охлаждении. При этом, по оценкам Uptime Institute, в течение нескольких лет потребление 1U-места вырастет до примерно 1 кВт.

Кроме того, существует проблема отвода низкотемпературного тепла. За несколько лет желаемая температура шасси упала с 80–82 °C до 55 °C. «Это ключевая проблема: удаление больших объёмов низкотемпературного тепла сложно с точки зрения термодинамики, — отмечают аналитики. — Многие “устаревшие” объекты ограничены в своих возможностях обеспечить необходимый поток воздуха для охлаждения инфраструктуры с высокой плотностью размещения». Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) выпустило пересмотренные рекомендации по эксплуатации ЦОД, включая положения о выделенных низкотемпературных зонах.

Изображение: GRC

Для охлаждения новых систем используются различные решения, включая СЖО. Как отмечает Uptime Institute, по-прежнему существует проблема отсутствия стандартизации, «вызывая опасения по поводу привязки к поставщику и ограничений цепочки поставок для ключевых компонентов, а также ограниченного выбора конфигураций серверов». Пытаясь её решить, и Intel, и Open Compute Project (OCP) работают над эталонными проектами жидкостного охлаждения (в том числе иммерсионного), чтобы улучшить совместимость между оборудованием разных поставщиков. Вместе с тем Uptime Institute считает, что развитие технологий ЦОД также открывает новые возможности для операторов.

Аналитики Uptime Institute также ожидают, что стоимость электроэнергии будет расти и дальше. Существуют также нормативные и связанные с экологией препятствия. Ожидается, что Европейская комиссия примет новые правила в рамках Директивы по энергоэффективности, аналогичные принятым в США, которые будут стимулировать ЦОД к сокращению как потребления энергии, так и выбросов углерода. Этими правилами предполагается введение регулярной отчётности о потреблении энергии и выбросах углерода, что по мнению аналитиков Uptime, позволит повысить эффективность работы ЦОД.

Российская компания «Систэм Электрик» (Systeme Electric) анонсировала новое семейство стоечных блоков распределения питания Uniprom PDU, предназначенных для применения в дата-центрах. Представлены изделия серий Basic, Metered и Switched.

Устройства, как отмечается, обеспечивают надёжное распределение питания в монтажных шкафах. Семейство разработано с учётом особенностей российского рынка и с пониманием потребностей современных ЦОД. Новинки оснащаются стандартными разъёмами без функции фиксации штепселей кабелей питания.

Источник изображений: «Систэм Электрик»

Среди особенностей Uniprom PDU названы возможность каскадного подключения нескольких устройств к одному Ethernet-порту; поддержка опционального датчика температуры и влажности; контроллер с возможностью «горячей» замены; наличие базового набора интерфейсов и протоколов (SNMP v1/2/3, SMTP, HTTP(S)). Устройства заключены в компактный и прочный стальной корпус. Есть контрастный информационный дисплей с подсветкой. Количество фаз равно одной или трём, входной ток — 16 A или 32 A. Нагрузочная способность — 3700, 7400, 11 000, 22 000 ВА.

Изделия Uniprom PDU Metered дополнительно предоставляют возможность мониторинга энергопотребления. Уведомления о достижении установленных порогов позволят предотвратить потенциальные перегрузки цепей питания и их повреждение. Решения Uniprom PDU Switched подходят для организации распределения питания с возможностью мониторинга энергопотребления и управления электропитанием потребителей в монтажных шкафах.

Потребляющие немало энергии дата-центры уже неоднократно вызывали озабоченность властей всех стран и защитников природы — в основном они используют энергию, получаемую за счёт ископаемого топлива. Как сообщает The Register, в докладе Omdia эксперты предлагают рассмотреть в качестве альтернативы другим видам энергии т.н. малые модульные реакторы (ММР).

По данным МАГАТЭ, модульные реакторы способны вырабатывать от десятков до сотен мегаватт — это делает их вполне приемлемым выбором для ЦОД. Впрочем, в подобных решениях нет ничего нового, их десятилетиями используют ВМС многих стран. Впрочем, коммерческих проектов пока не так много. Например, в 2020 году в России введена в эксплуатацию плавучая атомная электростанция с двумя реакторами по 35 МВт.

Фото: Boudewijn Huysmans / Unsplash

Сколько реакторов может понадобиться дата-центру, оценить трудно, поскольку гиперскейлеры и облачные провайдеры не слишком охотно делятся данными о реальном энергопотреблении своих ЦОД. Эксперты полагают, что лучше всего мини-АЭС подойдут не для среднестатистических, а для больших кампусов ЦОД, особенно расположенных в регионах с ограниченным доступом к электроэнергии вроде Вирджинии и Ирландии, где нехватка энергии уже давно стала проблемой.

По мнению экспертов, оптимальным будет использование на объектах с энергопотреблением более 100 МВт, а избыточную мощность смогут покупать местные предприятия или коммунальные службы. С учётом данных о российской плавучей АЭС, можно предположить, что для ЦОД мощностью 125 МВт понадобится около 4 малых реакторов. Не исключено и использование т.н. «микрореакторов», способных служить альтернативой резервным дизель-генераторм или аккумуляторам.

Фото: Dan Meyers / Unsplash

Впрочем, ММР имеют важный недостаток — обычно они намного «грязнее» больших атомных электростанций. При этом атомная энергия не является возобновляемой и становится источником большого количества радиоактивных отходов. По последним данным, ММР генерируют в среднем в 35 раз больше таких отходов, чем крупные электростанции. Впрочем, по данным Omdia, малые реакторы требуют замены топлива только раз в 10 лет, а новые варианты, возможно, будут «перезаряжаться» раз в 30-40 лет.

Главным вопросом является экономическая целесообразность ММР. Пока трудно утверждать, насколько эффективны модульные реакторы в этом отношении. Стартап NuScale заявляет, что т.н. «нормированная стоимость» LCOE (рассчитанная с учётом всего жизненного цикла электростанции) её реакторов составит $40-65 МВт·ч. Для станций на природном газе и наземных ветряных электростанций этот показатель составляет $37/МВт·ч, для солнечной энергетики — $33 МВт·ч. При этом Microsoft, например, готова в той же Ирландии построить 170-Вт газовую электростанцию для питания своих ЦОД.

Фото: Thomas Kelley / Unsplash

Ожидается, что для ММР ситуация будет только улучшаться, поскольку в течение 20 лет стоимость ветряной энергии и энергии из ископаемых источников будет только расти. Тем не менее, начало реального коммерческого применения ММР в США не ожидается — даже по самым оптимистичным прогнозам — ранее 2030 года. Скорее всего, их начнут внедрять в течение 10-15 лет, впрочем, как и в других странах, занимающихся подобными разработками.

За пределами Большого Дублина (город и его внутренние районы) могут появиться более 20 новых ЦОД, о чём сообщает издание Data Centre Dynamics. Сама столица Ирландии продолжает рассматривать возможные варианты решения проблемы нехватки электроэнергии.

В Ирландии находятся крупные дата-центры мировых IT-гигантов. Но работа таких площадок осложняется из-за возрастающей нагрузки на электросети. Правительство государства рассматривает возможность введения ряда ограничений, касающихся развёртывания ЦОД.

Источник изображения: Microsoft

Ранее о приостановке развития своих ЦОД в Дублине сообщили AWS, Microsoft и Equinix. О самоликвидации объявил ирландский оператор ЦОД Dataplex Group, поскольку национальный поставщик электроэнергии EirGrid отказал в поставках электричества для двух проектов дата-центров в окрестностях Дублина. Фактически компания EirGrid из-за энергетического кризиса запретила строительство новых ЦОД в районе Большого Дублина как минимум до 2028 года.

Теперь стало известно, что за пределами названного региона может быть развёрнут 21 дата-центр. В частности, с EirGrid обсуждаются проекты 16 крупных ЦОД. В создании ещё пяти площадок может принять участие ESB Networks. Дата-центры планируется размещать как можно ближе к Дублину — приблизительно в 80 км на территориях в Лауте, Мите, Килдэре, Килкенни и Уиклоу.

Компания IPPON анонсировала три блока PDU (Power Distribution Unit), которые предназначены для распределения электропитания в серверной стойке. Решения позволяют увеличить количество устройств, подключенных к одному ИБП. Дебютировали модели PDU Basic 1U, PDU Meter 0U и PDU Basic 0U. Все они могут монтироваться в стойке горизонтально или вертикально. Длина кабеля составляет 3 м; наличие защиты и контроля не предусмотрено.

Нажмите для увеличения / Источник изображений: IPPON

Бюджетная версия PDU Basic 1U предоставляет 12 розеток IEC-C13. Устройство имеет формат 1.1U с габаритами 483,5 × 50 × 44,4 мм и весит 0,8 кг. Вторая модель, PDU Meter 0U, содержит 16 розеток IEC-C13 и дополнительно укомплектована информационным LED-экраном. Размеры равны 837 × 50 × 44,4 мм (1.1U), вес — 1,8 кг. Вариант PDU Basic 0U, в свою очередь, получил 20 розеток IEC-C13 и четыре розетки IEC-C19. Изделие имеет габариты 1047 × 50 × 44,4 мм (1.1U) и весит 2,2 кг.

Все блоки заключены в алюминиевый корпус. Номинальные значения напряжения, мощности и частоты составляют соответственно 200–240 В, 3680/3680 В/ВА и 50/60 Гц. Диапазон рабочих температур — от 0 до +45 °C при влажности от 0 до 95 % без конденсации. Новинки имеют необходимые сертификаты, гарантия производителя — два года.

Компания Google заключила соглашение с немецким разработчиком энергетической инфраструктуры ib vogt о приобретении 149 МВт энергии из возобновляемых источников, которая будет использоваться для питания дата-центров и офисов на территории Испании.

Договор заключён на срок 12 лет. Он предусматривает поставку энергии от солнечной электростанции Garnacha, которая расположится в испанской провинции Саморе. Предполагается, что реализация проекта позволит Google к 2025 году на 90  % перевести свои активы в Испании на безуглеродную энергию.

Источник изображения: ib vogt

Строительство солнечной фермы Garnacha началось в сентябре текущего года, а начало коммерческой эксплуатации ожидается в октябре 2023-го. Площадка, расположенная недалеко от города Торо на северо-западе Испании, занимает территорию в 224 га. Энергию будут генерировать более чем 270 000 солнечных панелей. Стоимость строительства оценивается в €118 млн.

«Мы рады, что заложили основу для ещё одного крупного проекта в Испании, способствуя достижению собственных целей страны в области возобновляемой электроэнергии. Мы также рады сотрудничать с Google и вносить свой вклад в достижение важных экологических целей этой компании», — отмечают в ib vogt.

На прошлой неделе сообщалось, что IT-гигант Google заключил соглашение с французской энергетической и газовой компанией Engie о приобретении 100 МВт оффшорной ветровой энергии для питания дата-центров на территории Великобритании. К 2030 году, как ожидается, Google полностью перейдёт на безуглеродную энергию.

Рынок ЦОД Северной Вирджинии продолжают преследовать неприятности. Помимо того, что местные жители активно выступают против старых и новых дата-центров, в местной округе наметилась масштабная нехватка электроэнергии. Как сообщает The Register, в регионе буквально не хватает линий электропередач для снабжения всех ЦОД энергией.

По данным Digital Realty, владеющей и обслуживающей более 290 ЦОД, местная энергоснабжающая компания Dominion Energy разослала оповещение ключевым местным потребителям, сообщив, что проблемы с электроснабжением в регионе закончатся не раньше 2026 года. При этом проблема заключается не в нехватке генерирующих мощностей, а именно в дефиците линий электропередач для достаточного энергообеспечения ЦОД. Текущая ёмкость дата-центров в штате составляет порядка 1,7 ГВт.

Источник изображения: Matthew Henry/unsplash.com

Округ Лаудон (Loudoun County) фактически является крупнейшим в мире хабом для дата-центров с общей полезной площадью ЦОД в миллионы квадратных метров. Округ нередко называют «ключевым игроком» в мировой цифровой экономике. Одни только налоги на недвижимость от сектора ЦОД должны составить в фискальном 2023 году почти $600 млн — этого достаточно, чтобы покрыть все расходы властей округа.

Проблемы с энергоснабжением могут означать, что многие планируемые проекты переедут в соседние округа Принс-Уильям (Prince William) и Фокир (Fauquier), а то и вовсе в соседний штат Мэриленд. Dominion Energy как минимум частично обслуживает и Принс-Улильям, а вот округ Фредерик в Мэриленде подключен к другой энергосети.

Источник изображения: Álvaro Serrano/unsplash.com

Известно, что беспрецедентный рост нагрузки на сеть Dominion начался в 2018 году на фоне стремительного развития дата-центров и всё ещё не остановился, поэтому в существующие планы развития энергосетей придётся вносить корректировки. На днях Dominion Energy признала, что не сможет обслуживать потребности города Эшберна (Ashburn) в округе Лаудон, где расположена т.н. «Аллея дата-центров». Это будет означать не только остановку уже стартовавших многомиллиардных проектов строительства ЦОД, но и снижение налоговых поступлений.

Как сообщает портал DataCenter Dynamics, по прогнозам Wells Fargo, компания может остановить поставки энергии новым ЦОД до 2025 или 2026 года — если проектам, до завершения строительства которых осталось не более полугода, энергии может хватить, то совсем новые объекты, возможно, электричества не получат, несмотря на ранее полученные от Dominion гарантии. А строительство ЦОД, запланированных на 2023-2024 годы, может быть значительно отложено. Впрочем, в Wells Fargo считают, что с нехваткой электричества могут в скором времени столкнуться и уже существующие в регионе кампусы ЦОД.

Дизель-генератор — неотъемлемая часть подсистемы резервного питания любого серьёзного ЦОД, но по природе своей он не может похвастаться нейтральностью выхлопа. Многие ищут традиционным генераторам замену, и в их числе Microsoft. На днях компания сообщила, что ей удалось достичь важной вехи в освоении водородных топливных элементов, которые, по замыслу Microsoft, и должны заменить традиционные дизель-генераторы в принадлежащих ей центрах обработки данных.

Компания начала тестирование новой генераторной станции мощностью 3 МВт, построенной на базе топливных ячеек с протонообменной мембраной (PEM). Она способна обеспечивать питание 10 тыс. серверов. С топливными элементами компания экспериментирует давно, ещё с 2013 года, но более ранние разработки использовали природный газ и не по факту не являлись такими уж экологичными.

Тестовая станция мощностью 3 мВт. Источник: Microsoft/John Brecher

Разработать водородные PEM-ячейки компании удалось в сотрудничестве с Plug Power. В течение нескольких недель июня компании совместно протестировали прототип генератора нового поколения. Новая система, выбрасывающая в атмосферу лишь нагретый водяной пар, сработала успешно, так что Plug Power уже работает над созданием коммерческой версии системы.

Протонообменная мембрана: конструкция и принцип действия. Источник: Encyclopedia Britannica

Первый же экземпляр будет установлен научно-исследовательском центре Microsoft, но пока конкретных сроков пока озвучено не было. У IT-гиганта большие надежды на подобные технологии: к 2030 году компания планирует обновить системы резервного питания во всех своих ЦОД.

В работе система выделяет только горячий водяной пар. Источник: Microsoft/John Brecher

Правда, в полной экологичности водородных топливных элементов есть сомнения: работают они без вредных выбросов, но само их производство может оказаться далеко не таким чистым, как эксплуатация. Тем не менее, администрация США одобрила план стоимостью $8 млрд по развитию производства водорода в рамках программы альтернатив ископаемому топливу. В Европе есть аналогичные инициативы — как совсем скромные (€2,5 млн), так и весьма крупные (€1 млрд).

Исследование, проведённое аналитической компаний Omdia, показало, что в следующие четыре года операторы ЦОД начнут использовать на своих площадках источники бесперебойного питания (ИБП), способные не только поддерживать энергообеспечение дата-центров, но и в случае необходимости отдавать избытки электроэнергии в общую сеть.

Интеграция разнообразных источников возобновляемой энергии в «динамические» энергосети постепенно становится трендом, а в некоторых регионах в ближайшей перспективе и техническим требованием к сетям электроснабжения. ЦОД находятся в уникальном положении — будучи крупными потребителями энергии, они способны повысить надёжность электросетей, позволяя последним получить доступ к запасённой ИБП энергии.

«Умные» энергосети способны динамически отслеживать потребность в энергии и быстро подключать резервные хранилища, что помогает компенсировать непредсказуемость поставок энергии от возобновляемых источников, обеспечить баланс и сократить инвестиции в электрическую инфраструктуру. Eaton, Schneider Electric и Vertiv уже предлагают клиентам «умные» ИБП, способные интегрироваться в такие энергосети.

Источник изображения: Omdia

Omdia опросила почти 380 представителей операторов дата-центров, технических специалистов, консалтинговых компаний и поставщиков энергии в Северной Америке, Европе и Австралии. Результат опроса показал, что главным стимулом для внедрения совместимых с «умными» энергосетями ИБП стала возможность реализовать инициативы по энергосбережению. Другими стимулами стали стремление к инновациям, репутационные выгоды, а также получение конкурентных преимуществ.

Примечательно, что большинство опрошенных уверены, что использование интеграция ЦОД с «умными» энергосетями не поставит под угрозу выполнение критически важных рабочих нагрузок. Почти половина респондентов ответила, что главными, хотя и далеко не единственными, выгодоприобретателями подобных решений станут облачные. В числе регионов, где наиболее развито внедрение «умных» ИБП названы Скандинавия, Великобритания и Ирландия.

Около 80 % опрошенных считают, что от 10 до 50 % ёмкости аккумуляторов в современных ИБП дата-центров уже сегодня может использоваться для поддержки работы публичных энергосетей без угрозы собственным системам ЦОД. Такой подход поможет эффективно интегрировать в энергосети возобновляемые источники энергии вроде солнечных и ветряных электростанций с нерегулярной генерацией — в периоды избыточной поставки энергии её можно запасать в ИБП, а потом отдавать в час пик.

Microsoft объединила усилия с Caterpillar и Ballard Power Systems для тестирования резервных генераторов на водородных топливных элементах в своём дата-центре в Куинси (штат Вашингтон). Проект рассчитан на три года и нацелен на изучение возможности использования водородных топливных элементов в масштабе ЦОД. Проект частично финансируется Министерством энергетики США (DOE) в рамках инициативы H2@Scale.

Caterpillar станет генеральным подрядчиком, обеспечивающим общую интеграцию всех систем, работу силовой электроники и средств управления. Ballard предоставит водородный электрогенератор на топливных элементах ClearGen-II мощностью 1,5 МВт, а Национальная лаборатория возобновляемых источников энергии (NREL) выполнит анализ его безопасности, экологичности и технико-экономических аспектов эксплуатации.

Источник изображения: Microsoft

Для успешной реализации проекта необходимо решить ряд проблем. Чтобы топливные элементы обеспечивали мощность 3 МВт в течение 48 часов, требуется около 68 м³ жидкого водорода, для хранения которого требуется намного больше места, чем для дизельного топлива. Для избегания утечек требуются специальные трубопроводы, а сам водород надо хранить при температуре ниже -253 °C. Ранее Microsoft успешно испытала водородные топливные ячейки мощностью 250 кВт от Power Innovations.