Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Для питания своих дата-центров и колокейшн-мощностей Apple использовала в 2023 году 2,344 ТВт∙ч электроэнергии. Datacenter Dynamics сообщает, что компании принадлежит семь собственных ЦОД, а также неизвестное число колокейшн-площадок по всему миру, энергопотребление тех и других на 100 % компенсируется покупкой PPA-сертификатов.

В докладе Environmental Progress Report компания сообщила, что объект в Месе (штат Аризона) был крупнейшим потребителем, на него пришлось 488 ГВт∙ч, 82 % потреблённого электричества приходится на солнечную энергию, включая 4,76 МВт, которые получаются на территории самого кампуса. Ещё 18 % получают за счёт энергии ветра. ЦОД в Мейдене (Северная Каролина) использовал 453 ГВт·ч, 82 % приходится на солнечную энергию и 12 % — на ветряную.

В Рино (Невада) кампус потребил 440 ГВт∙ч, энергия обеспечена полностью за счёт солнца, в том числе 20 МВт от проекта Fort Churchill Solar Array, в котором используются искривлённые зеркала для концентрации света на фотоэлектрических ячейках. В Прайнвилле (Орегон) использовано 269 ГВт∙ч — 60 % получено за счёт ветряной энергии, 38 % — за счёт солнечной, а ещё 2 % — от малых ГЭС. Компания начала использовать микро-ГЭС в 2013 году, проект Earth By Design реализован рядом с ирригационным каналом. В компании утверждают, что теперь имеется уже два таких проекта.

Источник изображения: Apple

Два дата-центра в Китае использовали в общей сложности 171 ГВт∙ч, на солнечную и ветряную энергию приходится по 50 %. Правда, согласно местным законам, Apple не считается оператором этих ЦОД. На ЦОД в Виборге (Дания) пришлось 40 ГВт∙ч. Точных данных по распределению энергии не имеется, зато в Apple сообщили, что этот дата-центр не нуждается в резервных дизельных генераторах. В 2019 году компания отказалась от строительства второго ЦОД в стране, проект оценивался в $921 млн.

Что касается колокейшн-ёмкостей, то в США и за их пределами компания использовала 387 и 96 ГВт∙ч соответственно — на них приходится около 20,6 % IT-энергопотребления компании. Кстати, впервые в истории Apple использование электричества её колокейшн-объектами упало с 487,9 ГВт∙ч в 2022 году. В предыдущие пять лет до 2022 года оно росло в среднем на 14,49 % ежегодно.

В доклад не вошла отчётность об использовании Apple облаков. Компания давно пользуется услугами Google Cloud и, похоже, это крупнейший клиент платформы, а прошлом году на базе облака Google начата разработка ИИ-моделей. Самое приблизительное представление даёт статистика 2019 года. Тогда сообщалось, что более $30 млн/мес. тратится на облако AWS.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Оператор ЦОД Involta предложил клиентам новую модель ценообразования. Как сообщает пресс-служба компании, покупатели сервисов колокейшн-провайдера смогут платить за подводимую мощность электропитания. Как правило операторы берут плату за стойко-место, иногда добавляя отдельную плату за энергию. Involta считает, что современная инфраструктура, связанная с ИИ, не вписывается в традиционные рамки.

На днях компания запустила тарифы SecurePower Colocation, представляющую собой, по словам компании, уникальную модель ценообразования, не учитывающую занимаемое стойками пространства. В Involta утверждают, что это позволит клиентам платить за используемые мощности с возможностью быстрого масштабирования инфраструктуры. SecurePower Colocation обеспечит экономию, гибкость и безопасность, необходимые для поддержки критических IT-нагрузок.

Фото: Nishant Parikh / Unsplash

Клиентам предлагаются два тарифка: SecurePower All-In и Flexible Commit. В первом случае за заказчиком резервируется желаемая мощность в кВт, а фиксированная ежемесячная плата покрывает расходы на энергию, пространство для стоек, охлаждение, ИБП и т.д. Если загрузка неравномерна, подойдёт вариант Flexible Commit. В этом случае на определённый срок фиксируется стоимость кВт и лимит по мощности. Оплата же производится помесячно за фактически потреблённую энергию в кВт·ч, при этом остаётся возможность при необходимости доплатить за увеличение мощности в рамках заданного лимита.

Компактное высокоплотное оборудование, системы иммерсионного охлаждения, квантовые компьютеры и иные современные платформы не соответствуют стандартам для обычных стоек — всё это диктует свои правила и классические модели ценообразования уже невозможно применять, считает Involta. На этом фоне колокейшн-провайдерам приходится рассматривать новые бизнес-схемы.

Объем российского рынка ЦОД в 2022 году составил 89,1 млрд руб., что на 28,1 % больше в сравнении с 2021 годом. Об этом рассказал ведущий консультант iKS-Consulting Станислав Мирин.

Количество стойко-мест в коммерческих дата-центрах России по итогам 2022 года составило 58,3 тыс. (прирост год к году 10,8 %), а по итогам 2023 года, согласно прогнозам, достигнет 70,3 тыс. (прирост 20,7 %). Ожидается, что в Москве к концу полугодия будет уже 53,3 тыс. стойко-мест (42,3 тыс. годом ранее), в Петербурге — 7,78 тыс. (7,24 тыс. годом ранее), а в регионах — 9,2 тыс. (8,71 тыс. годом ранее).

На первое место среди сервисов, предоставляемых дата-центрами, вышли облака (55 %, рост на 4 % в сравнении с годом ранее), а традиционная услуга колокации, наоборот, показала падение с 44 % по итогам 2021 года до 40 %. Об этом говорят и участники рынка. Так, в Selectel в 2022 году спрос на облачные услуги в Новосибирске вырос более чем в два раза по сравнению с предыдущим годом. Вместе с тем отмечается, что рынок всё больше концентрируется в руках наиболее крупных игроков. Абсолютным лидером по количеству стойко-мест является РТК-ЦОД/Ростелеком, который крупнее двух своих последователей в лице IXcellerate и DataPro вместе взятых.

Источник: iKS-Consulting

Драйверами российского рынка ЦОД iKS-Consulting называет переход на цифровые сервисы, рост объема хранимых и обрабатываемых данных. Также на развитие рынка влияют рост импортозамещения цифровых услуг и количества интернет-пользователей. Среди факторов, сдерживающих развитие, iKS-Consulting называет необходимость поддержки муниципальных властей. Участники рынка отмечают, что частично такая поддержка уже предоставляется. Так, в апреле 2023 года Совет по инвестициям Новосибирской области включил проект Alias Group (развивает инфраструктуру ЦОД в регионах в партнерстве с 3Data) по строительству дата-центра в число перспективных для региона и выделил под него земельный участок.

Аналитики компании Omdia отмечают, что рынок ЦОД получит важные преимущества от роста интереса корпоративных клиентов к ИИ-технологиям. По данным компании, главными выгодоприобретателями станут операторы дата-центров, поддержавших внедрение систем жидкостного охлаждения и серверных стоек высокой плотности.

Как сообщает Omdia в своём пресс-релизе, на рынке ЦОД всерьёз осознали востребованность ИИ-систем, которые корпоративные клиенты массово внедряют для повышения продуктивности и снижения издержек. При этом выиграют колокейшн-провайдеры, работающие как с одним, так и с несколькими клиентами одновременно.

В Omdia отмечают, что некоторые колокейшн-компании уже адаптировали структуру своих ЦОД под стойки высокой плотности — этот фактор имеет значение, поскольку энергопотребление серверов для обучения ИИ приблизительно соответствует показателям высокоёмких HPC-систем для научных вычислений. Лидерами колокейшн-рынка названы Equinix, Digital Realty и NTT Global Data Centres. Они же считаются компаниями, вовремя отреагировавшими на тренд развития ИИ-систем.

Изображение: Choong Deng Xiang / Unsplash

Три компании выступают операторами более 700 ЦОД и строят ещё более 100, на них приходится треть выручки всего колокейшн-рынка, составившей $41,6 млрд в прошлом году. В Omdia подчеркнули, что колокейшн-провайдеры, способные обеспечить стойки с наивысшей плотностью и доступ к СЖО, станут лидерами на рынке предложения мощностей ЦОД.

По данным CBRE и JLL, благодаря спросу на ИИ во II полугодии 2023 года в Европе ожидаются рекордные показатели ввода в эксплуатацию и освоения мощностей ЦОД, хотя, как отмечают эксперты, строительство объектов с передовыми характеристиками, подходящими для современных вычислительных систем, потребует больших затрат, поэтому с задачей справятся только те, у кого достаточно для этого средств.

Источник изображения: Omdia

Обеспечить необходимый уровень затрат смогут колокейшн-провайдеры Equinix, Digital Realty, NTT GDC, Flexential, DataBank, Compass, Aligned, Iron Mountain и некоторые другие из тех, что готовы взять на себя крупные финансовые риски, которые не пожелают взять на себя сами корпоративные клиенты и облачные провайдеры.

Впрочем, в Omdia уверены, что рынок колокейшн-услуг заметно вырастет в любом случае, хотя спрос корпоративных клиентов на обучение ИИ будет одним из определяющих факторов такого роста. По данным сервиса Colocation Services Tracker самой Omdia, уже к 2027 году соответствующий рынок колокейшн-услуг вырастет до $65,2 млрд, в течение пяти лет совокупный среднегодовой темп прироста рынка будет составлять 9,4 %.

Специалисты по недвижимости из компании CBRE опубликовали доклад, согласно которому во II полугодии 2023 года в Европе вырастет ёмкость колокейшн-центров. Как сообщает Computer Weekly, ожидается, что в основных колокейшн-хабах к концу 2023 года рост ёмкостей за соответствующий период составит 17 % год к году, несмотря на то, что операторы ЦОД по-прежнему испытывают проблемы с энергоснабжением своих площадок, причём по всему миру.

По данным CBRE, на рынках FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин) установленная мощность уже к концу года совокупно достигнет 4 ГВт, в каждом из указанных регионов ожидается двузначный рост в процентном выражении. Всё это происходит на фоне весьма скромного роста поставок энергии во II квартале текущего года. Впрочем, согласно докладу, временная пассивность будет компенсирована до конца года.

Так, в CBRE сообщают, что на 13 европейских рынках в 2023 году добавятся 578 МВт, из них 495 МВт — на рынках FLAPD. Крупные объекты появятся во втором полугодии в Амстердаме, Франкфурте и Париже. Всего на рынках FLAPD в течение года ожидается расширение уже существующих ЦОД или строительство новых на 36 площадках. Значительные мощности либо уже забронированы или для них имеются данные о предзаказах, либо они и вовсе строятся в расчёте на конкретных клиентов.

Источник изображения: Earth/Unsplash.com

Всего во II квартале 2023 года был освоен 51 МВт мощности на рынках FLAPD, намного выше квартал к кварталу (28 МВт). Ранее в CBRE рассчитывали, что в 2023 году будет освоено 480 МВт, на 25 % выше год к году (384 МВт). В то же время ожидается рост освоения мощностей второстепенных европейскими ЦОД, поскольку обеспечить электропитание во FLAPD становится всё проблематичнее. Для сравнения — в США всего за три месяца были подписаны договоры об аренде ЦОД на общую мощность 2,1 ГВт.

В целом, эксперты уверены, что спрос на мощности колокейшн-площадок в Европе будет только расти из-за спроса на ИИ-системы. В результате, например, гиперскейлеры начали увеличивать закупки даже в местах довольно отдалённых от основных кластеров ЦОД и ранее не особенно востребованных. Ёмкость ЦОД, по мнению экспертов, становится всё более дефицитным ресурсом — это косвенно свидетельствует о важности дата-центров для всей цифровой экономики.

Американский оператор дата-центров Digital Realty запустил новые колокейшн-услуги в 28 регионах по всему миру. Теперь допускается размещение нагрузок плотностью до 70 кВт на стойку. Таким образом, могут решаться сложные задачи, связанные с применением алгоритмов ИИ и машинного обучения. Одной из первых площадок, получившей новые возможности, стал парижский кампус оператора. Аналогичные предложения готовят и другие крупные операторы ЦОД.

Изображение: Digital Realty

Говорится, что высокая плотность размещения оборудования достигается благодаря применению инновационной технологии гибридного воздушно-жидкостного охлаждения (Air-Assisted Liquid Cooling, AALC). Какие именно поставщики отвечают за развёртывание данной системы, не уточняется. Сервис, как утверждается, позволит клиентам открыть новые возможности для развития бизнеса, быстро развернуть высокопроизводительную инфраструктуру, не беспокоясь об охлаждении и питании, и достичь оптимальной производительности для ИИ-сервисов.

Российский поставщик IT-продукции «Инферит» (ГК Softline) запустил собственный ЦОД в наукограде Фрязино, в особой экономической зоне «Исток». На базе этой площадки компания намерена предоставлять заказчикам услуги в сфере IT-инфраструктуры с использованием современного отечественного оборудования.

Дата-центр рассчитан на размещение 500 серверов собственного производства «Инферит техника». ЦОД оборудован системами кондиционирования, средствами пожаротушения, системой электроснабжения 2+1, а также двойным подключением к высокоскоростным интернет-провайдерам.

Подчёркивается, что ЦОД размещён на производственной площадке «Инферит». Благодаря этому компания сможет обеспечить быстрое развёртывание серверов для клиентов, оперативную замену комплектующих и изменение конфигурации, круглосуточную техническую поддержку и высокий уровень безопасности.

Источник изображений: «Инферит»

В дата-центре будут оказываться услуги Dedicated и Colocation: в первом случае клиент сможет арендовать мощности, а во втором — выкупить сервер и разместить его на площадке компании «Инферит». Кроме того, будут предоставляться облачные услуги провайдера «Инферит облако» с упором на информационную безопасность.

Заказчики смогут выбрать оптимальную конфигурацию серверов из широкого ассортимента готовых решений. Специалисты «Инферит» разработают и предоставят конфигурации оборудования с учётом всех индивидуальных потребностей клиента.

«В процессе строительства центра обработки данных мы сконцентрировались в первую очередь на надёжности решений, а также на предоставлении услуг на высоком уровне. Мы сделали всё необходимое для того, чтобы клиенты были уверены в непрерывной работе своих систем и защите данных», — отметил руководитель проекта центра обработки данных в компании «Инферит».

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий, в частности, услуги колокации и объединения сетей, обнародовала отчёт о работе во II квартале 2023 года. Выручка достигла $2,02 млрд, что на 11 % больше результата за аналогичный период 2022-го ($1,82 млрд).

Вместе с тем чистая прибыль в годовом исчислении сократилась на 4 % — с $216,24 млн до $207,01 млн. Прибыль в пересчёте на одну ценную бумагу упала с $2,38 до $2,21, то есть, приблизительно на 7 %.

Источник изображения: Equinix

Операционная прибыль зафиксирована на уровне $332,39 млн против $317,85 млн годом ранее. Таким образом, по этому показателю показан 5-процентный рост. Маржа (рентабельность) операционной прибыли составила 16 %. Скорректированное значение EBITDA (прибыль до вычета процентов, налогов и амортизационных отчислений) равно $901 млн, что на 5 % больше по сравнению с результатом за II квартал 2022 года.

В отчёте говорится, что в настоящее время Equinix реализует 53 крупных проекта в 40 городских агломерациях в 24 странах. Во II квартале 2023 года компания добавила 12 новых проектов, включая строительство дата-центров International Business Exchange (IBX) в Лиссабоне, Монтеррее и Мумбаи.

Результаты Equinix подчеркивают растущий спрос на услуги ЦОД для поддержки цифровой инфраструктуры, поскольку компании ускоряют внедрение ИИ и развивают гибридные облачные архитектуры. Среди ключевых партнёров Equinix значатся Accenture, Avant, Cisco Systems, Dell Technologies и Hewlett Packard Enterprise (НРЕ).