В минувшую субботу в дата-центре Equinix в Сингапуре произошёл сбой, повлекший за собой остановку банковских сервисов по всей стране, сообщил ресурс Data Center Dynamics. В настоящее время ведётся расследование «технической проблемы», вызвавшей повышение температуры в ЦОД, сообщили в Equinix.

Сообщается, что из-за сбоя в ЦОД компании были отключены сервисы банков DBS и Citibank в Сингапуре. Также проблемы наблюдались в работе других сервисов на Филиппинах, в Гонконге, Индии, Южной Африке, Камбодже, Индонезии, Шри-Ланке, ОАЭ и на Мальдивах, где многие пользователи не смогли получить доступ к своим аккаунтам в Facebook✴, Instagram✴ и Whatsapp.

Источник изображения: Equinix/Data Center Dynamics

В валютном управлении Сингапура (MAS) сообщили о том, что им известно о сбое, в связи с чем проводится расследование, а к Equinix применены ограничительные меры. Ранее подобные ограничения были применены к Equinix в феврале 2022 года в связи с происшедшим тогда сбоем. «Отключения, подобные инциденту 14 октября, показывают, насколько важны ЦОД для нашей повседневной жизни, и поэтому организациям необходимо постоянно анализировать отдельные точки сбоев и принимать соответствующие меры для снижения этих рисков», — сообщил Эдвард ван Леент (Edward van Leent) председатель сингапурской компании Enterprise Products Integration (EPI).

Количество сбоев ЦОД с годами не уменьшается. По данным Uptime Institute, основанным на анализе сбоев ЦОД в 2023 году, более двух третей всех сбоев обходятся более чем в $100 тыс., в том числе почти 25 % сбоев наносят убытки более чем в $1 млн. Патрик Чан (Patrick Chan), вице-президент Uptime Institute по азиатскому региону указал на важность проведения сертификации ЦОД с целью соблюдения стандартов и снижения рисков сбоев.

UPD 24.10.2023: Equinix обвинила в сбое стороннего подрядчика, который подал сигнал на закрытие вентилей ёмкостей с теплоносителем во время запланированного обновления инфраструктуры, в результате чего температура в некоторых машинных залах поднялась, что и привело к проблемам у клиентов компании. Кроме того, валютное управление Сингапура предписало банкам DBS и Citibank провести тщательное расследование, почему их резервные ЦОД не смогли вовремя принять нагрузку на себя.

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий, в частности, услуги колокации и объединения сетей, обнародовала отчёт о работе во II квартале 2023 года. Выручка достигла $2,02 млрд, что на 11 % больше результата за аналогичный период 2022-го ($1,82 млрд).

Вместе с тем чистая прибыль в годовом исчислении сократилась на 4 % — с $216,24 млн до $207,01 млн. Прибыль в пересчёте на одну ценную бумагу упала с $2,38 до $2,21, то есть, приблизительно на 7 %.

Источник изображения: Equinix

Операционная прибыль зафиксирована на уровне $332,39 млн против $317,85 млн годом ранее. Таким образом, по этому показателю показан 5-процентный рост. Маржа (рентабельность) операционной прибыли составила 16 %. Скорректированное значение EBITDA (прибыль до вычета процентов, налогов и амортизационных отчислений) равно $901 млн, что на 5 % больше по сравнению с результатом за II квартал 2022 года.

В отчёте говорится, что в настоящее время Equinix реализует 53 крупных проекта в 40 городских агломерациях в 24 странах. Во II квартале 2023 года компания добавила 12 новых проектов, включая строительство дата-центров International Business Exchange (IBX) в Лиссабоне, Монтеррее и Мумбаи.

Результаты Equinix подчеркивают растущий спрос на услуги ЦОД для поддержки цифровой инфраструктуры, поскольку компании ускоряют внедрение ИИ и развивают гибридные облачные архитектуры. Среди ключевых партнёров Equinix значатся Accenture, Avant, Cisco Systems, Dell Technologies и Hewlett Packard Enterprise (НРЕ). 

Компания Equinix, один из крупнейших операторов ЦОД, по сообщению ресурса Datacenter Dynamics, запустила в Японии новый дата-центр гиперскейл-класса. Площадка TY13x категории xScale располагается в Токио — по соседству с TY12x.

Сообщается, что на начальном этапе дата-центр TY13x обеспечит мощность в 8 МВт. В дальнейшем этот показатель может быть увеличен до 36 МВт. На базе дата-центра смогут функционировать высоконагруженные сервисы, в частности, системы ИИ и большие языковые модели.

Источник изображения: Equinix

Equinix заключила соглашение с сингапурским фондом национального благосостояния GIC с целью развития сети дата-центров xScale в октябре 2019 года. В апреле 2020-го было объявлено о планах по строительству трёх японских объектов xScale в Токио и Осаке. ЦОД TY12x открылся в марте 2021 года, а площадка OS2x — позднее в том же году.

В общей сложности на сегодняшний день Equinix открыла 12 дата-центров xScale по всему миру. Это TY12x и TY13x в Токио, OS2x в Осаке (все — Япония); SY9x в Сиднее (Австралия); DB5x в Дублине (Ирландия); FR9x и FR11x во Франкфурте (Германия); PA8x и PA9x в Париже (Франция); LD11x и LD13x в Лондоне (Великобритания); SP5x в Сан-Паулу (Бразилия).

ЦОД Equinix гиперскейл-класса в настоящее время обеспечивают мощность в сумме около 175 МВт. Ещё девять объектов xScale находятся в стадии разработки: их мощность превысит 80 МВт. В целом, компания намерена построить 36 дата-центров xScale общей мощностью 720 МВт.

Оператор дата-центров Equinix объявил о планах построить ЦОД вблизи Куала-Лумпура, столицы Малайзии, и дополнительно инвестировать в цифровую трансформацию экономики страны более $100 млн. Новый объект под названием KL1 IBX будет размещён в городе Сайберджая (Cyberjaya), известном как «кремниевая долина» Малайзии.

Запуск первой очереди ЦОД KL1 IBX намечен на I квартал 2024 года. На начальном этапе здесь будет размещено 450 стоек и обеспечено пространство для колокации на площади 1300 м². После завершения строительства ЦОД будет вмещать 900 стоек, а доступная площадь составит 2630 м². Это будет уже второй ЦОД компании в Малайзии. Первый объект (JH1) строится в Джохоре. Его запуск намечен на I квартал 2024 года. Этот ЦОД предложит 500 стоек и 1960 м².

Источник: Equinix

«KL1 позволит глобальным сетям, поставщикам контента и предприятиям обмениваться большими объёмами интернет-трафика через Equinix Internet Exchange. Благодаря одному из крупнейших в мире масштабных пиринговых решений поставщики интернет-услуг получат доступ к новым цифровым коридорам для прямого обмена данными с другими поставщиками интернет-услуг, участвуя в процветающей цифровой экономике и электронной коммерции в АСЕАН», — отметила компания.

Сейчас Equinix управляет 51 ЦОД в мегаполисах Азиатско-Тихоокеанского регионе (APAC), в том числе в Сингапуре, Южной Корее, Индии, Китае, Гонконге, Японии и Австралии. В прошлом году Equinix объявила о планах открыть своей первый объект в Джакарте (Индонезия).

Основным драйвером развития оператора ЦОД Equinix является цифровая трансформация. Как сообщает Light Reading, именно массовой цифровизации коммерческих компаний и некоммерческих организаций оператор обязан своему развитию. Теперь он планирует увеличить ёмкость приблизительно на 50 %.

По словам главы Equinix APAC Джереми Дойча (Jeremy Deutsch), ёмкость ЦОД компании в ближайшие 18 месяцев должен увеличиться на 258 МВт, это приблизительно половина от уже имеющихся у оператора мощностей. Сегодня компания переживает свои лучшие времена. По итогам I квартала она отчиталась о выручке в $2 млрд, рост составил 15 % год к году, а операционная прибыль выросла на 36 % до $384 млн. Крупнейшим сегментом являются облачные и IT-сервисы, на которые приходится 36 % выручки, на услуги корпоративным клиентам — 35 %, на сетевых операторов — 22 %.

Источник изображения: Equinix

По словам Дойча, компания намерена выступать в качестве платформы для цифровой трансформации корпоративных клиентов. Для самих дата-центров цифровая трансформация означает размещение IT-инфраструктуры ближе к пользователям и обеспечение повышенной производительности.

Сообщается, что значительную часть дел Equinix ведёт с гиперскейлерами, но самый большой потенциал — в работе с корпоративными клиентами. Всего пользователями сервисов Equinix являются более 10 тыс. компаний, более половины из которых входит в список Fortune 500, а точки взаимодействия бизнесов буквально находится внутри инфраструктуры оператора.

В задачи компании входит создание экосистем, поддерживающих цифровой бизнес компаний, от выполнения задач облачных игроков гиперскейл-уровня до предоставления сервисов и инструментов в разных отраслях, от финансов до здравоохранения. Особое внимание уделяется развивающимся технологиям генеративных ИИ-сервисов, в последнее время получивших вирусную популярность в компаниях, ожидающих обслуживания бизнес-уровня. В компании заявляют, что доступные сервисы хотя и отличает высокий уровень, они всё равно нуждаются в совершенствовании и очень скоро будут отвечать запросам массового бизнеса.

Компания постоянно работает над расширением числа услуг и круга партнёров. Так, в марте 2023 года британская компания Oxford Quantum Circuits (OQC) объявила о намерении установить квантовый компьютер в ЦОД Equinix в Токио. Он будет смонтирован на площадке Equinix TY11 Tokyo IBX, а сеть Equinix Fabric позволит обеспечить доступ к мощностям системы в формате «квантовые вычисления как услуга» для корпоративных заказчиков OQC по всему миру. Стоит отметить, что в том же месяце Equinix объявила о приостановке работы с клиентами из России.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о приобретении своего первого квантового компьютера у парижской фирмы Quandela. Систему планируется использовать в рамках различных исследовательских проектов в области квантовых вычислений.

Компьютер построен на платформе Quandela MosaiQ с фотонным процессором. OVHcloud заказала 2-кубитную систему, которая в процессе работы охлаждается до -265 °C. При этом система может быть смонтирована в стандартной 19″ стойке.

О стоимости проекта и месте размещения квантового компьютера ничего не сообщается. Но говорится, что поставки оборудования запланированы на осень 2023 года. Благодаря использованию фотоники платформа с течением времени может обновляться и модифицироваться. Пока не ясно, предложит ли OVHcloud доступ к квантовой системе своим клиентам.

Источник изображения: Quandela

Между тем британская компания Oxford Quantum Circuits (OQC) объявила о планах по установке квантового компьютера в дата-центре Equinix в Токио (Япония). Оборудование будет смонтировано на площадке Equinix TY11 Tokyo IBX. Благодаря использованию сети Equinix Fabric мощности системы станут доступны в формате «квантовые вычисления как услуга» для корпоративных заказчиков OQC по всему миру.

Технические характеристики квантового компьютера не разглашаются, но отмечается, что новый сервис будет запущен к концу текущего года. Это вторая подобная сделка OQC по размещению квантового компьютера в колокейшн-центре. В прошлом году компания сообщила об установке квантовой системы в дата-центре Cyxtera LHR3 в Великобритании. Таким образом, операторы ЦОД и площадок колокации стремятся догнать крупные облака, которые уже предлагают доступ сразу к нескольким системам.

Компания Equinix, один из крупнейших операторов ЦОД, по сообщению ресурса Datacenter Dynamics, открыла городскую ферму на крыше своего дата-центра в Париже. Уникальный проект реализован в сотрудничестве со специалистами Reid Brewin Architects (RBA). Комплекс на объекте PA10 в Сен-Дени (коммуна в 9 км к северу от центра Парижа) включает теплицу площадью 430 м².

Источник изображения: RBA

Оптимальная температура здесь поддерживается за счёт датчиков и теплообменников, подключённых к системе охлаждения ЦОД. В теплице будут выращиваться сезонные фрукты и овощи с использованием гидропонной системы: это даст возможность максимально эффективно использовать пространство и свести к минимуму расход воды. Предусмотрены автоматические солнцезащитные панели, системы орошения и вентиляции для обеспечения идеального микроклимата в течение всего года.

Источник изображения: Equinix

Кроме того, на крыше дата-центра PA10 развёрнуты сады площадью 570 м², окружающие теплицу. Они будут засажены растениями, опыляемыми насекомыми. Предполагается максимальное потребление дождевой воды, что в числе прочего поможет снизить нагрузку на ливневые каналы. Сады приспособлены для маломобильных граждан. Есть естественно затенённые места отдыха для посетителей и персонала.

Equinix и RBA утверждают, что подобный проект реализован во Франции впервые. Однако сама идея вторичного использования тепла, выделяемого дата-центрами, далеко не нова. К примеру, ещё в 2020 году было предложено использовать б/у-серверы гиперскейлеров для обогрева теплиц с помидорами. Существует также проект использования тепла ЦОД для обогрева теплиц или рыбных ферм, где разводят форель и угорь, а также выращивают омаров.

Компания Equinix, один из крупнейших операторов дата-центров в мире, по сообщению ресурса Datacenter Dynamics, оборудовала одну из площадок Equinix Metal высокоэффективной системой двухфазного жидкостного охлаждения. Сервис Equinix Metal предоставляет оборудование bare-metal по запросу: доступны ресурсы CPU, GPU и ИИ-ускорители.

Отмечается, что Equinix в течение года тестировала СЖО ZutaCore. Она использует в качестве теплоносителя жидкость 3M Novec с температурой кипения всего 33 ºC при стандартном давлении. Впрочем, в конце прошлого года 3M заявила о сворачивании производства Novec. Кроме того, сейчас Equinix экспериментирует с повышением температуры в машинных залах для сокращения энергозатрат, поэтому СЖО для неё актуальны.

Источник: ZutaCore / Equinix

После первичного тестирования в июне 2022 года Equinix оснастила новой СЖО серверы платформы Metal IaaS. Конфигурация включает 6U-теплообменник в нижней части стойки, который способен обслуживать не менее 20 1U-серверов. Система стабильно функционирует уже в течение шести месяцев в дата-центре NY5 в США. Для проведения эксперимента были выбраны односокетные серверы с 200-Вт процессорами AMD. Утверждается, что применённое решение при любых нагрузках поддерживает температуру CPU ниже 52 ºC, что «значительно меньше по сравнению с любыми системами воздушного охлаждения в 1U-серверах».

Система охлаждения была испытана под давлением для выявления возможных утечек. Коллектор и его быстроразъёмные соединения имеют герметичную конструкцию, что исключает возможные проблемы с утечками жидкости. Говорится, что прямое жидкостное охлаждение процессоров по большей части устраняет необходимость в серверных вентиляторах, что позволяет повысить показатель PUE при одновременном снижении общего энергопотребления.

Калифорнийская Equinix намерена потратить $160 млн на создание дата-центра в Йоханнесбурге — богатейшем городе Африки. Как сообщает Bloomberg, это часть плана экспансии на африканском континенте, где услуги связи и ЦОД становятся всё более востребованными.

По данным Equinix, Южная Африка стала основной целью африканской экспансии компании, поскольку страна является наиболее развитым экономически регионом континента к югу от Сахары. Компания уже владеет 249 ЦОД в 32 странах, а недавно анонсировала планы расширения в Малайзии и Индонезии. В дальнейшем она намерена обслуживать в Африке крупных клиентов вроде банков, медиакомпаний и создателей контента, а также гиперскейлеров. В целом бизнес ориентирован на «якорных» клиентов, потенциально способных вывести Equinix и в 5-6 других местных стран.

Йоханнесбург. Источник изображения: paul saad/unsplash.com

Ожидается, что ЦОД в Йоханнесбурге будет готов к эксплуатации к середине 2024 года. В прошлом году Equinix уже приобрела за $320 млн оператора ЦОД и кабельной сети — нигерийскую MainOne, действующую в нескольких странах на западе Африки. В своей стратегии развития Equinix делает ставку на растущие потребности молодёжи в информационной инфраструктуре, намереваясь повысить доступность информационных сервисов в регионе. Известно, что помимо Equinix здесь активно инвестируют в строительство ЦОД многие гиперскейлеры, включая Amazon и Microsoft. А Google и Meta✴ заняты постройкой ВОЛС.

Источник изображения: Hana El Zohiry/unsplash.com

Спрос на дата-центры в регионе продолжает расти, но пока на континент приходится всего 1 % от мировой ёмкости ЦОД. При этом инвесторам приходится сильно рисковать на этом крайне перспективном рынке, не в последнюю очередь из-за частых перебоев с энергообеспечением. Хотя южноафриканская Eskom является крупнейшим на континенте поставщиком электричества, она вынуждена бороться с перебоями в энергоснабжении не только в связи с ростом энергопотребления, но и из-за необходимости менять устаревшее оборудование.

В самой Equinix намерены использовать многоступенчатую систему питания своих объектов. Компания даже готова на строительство собственной электростанции помимо установки многочисленных резервных генераторов и заключения договоров с местными энергосетями.

Соперничать с Equinix намерена Vantage Data Centers, которая ещё год назад объявила о готовности потратить более $1 млрд на строительство ЦОД в Южной Африке. В июле 2022 года она ввела в строй первый ЦОД JNB11 (16 МВт, 12 тыс. м²), а кампус JBN1 предложит 80 МВт и 60 тыс м². Сегодня же компания анонсировала кампус JBN2, который заработает к середине 2024 года: 20 МВт и 33 тыс м².

Компания Equinix, известный провайдер колокации и один из крупнейших операторов ЦОД, пообещала «оптимизировать» температуру в своих машинных залах, постепенно увеличивая её, но оставляя в безопасных для оборудования пределах. Как сообщает The Register, это позволит сэкономить немало электроэнергии, снизив затраты на избыточное охлаждение.

Температура +27 °C для машинных залов давно одобрена индустриальными регуляторами и представителями IT-промышленности — ASHRAE указала, что такая температура достаточна для ЦОД ещё в 2008 году. По данным DataCenter Dynamics, в этом же году Intel провела эксперимент, в ходе которого 10 месяцев серверы в ряде ЦОД работали при +33,3 °C. В результате компания на 67 % сократила расходы на охлаждение, но доля отказов оборудования выросла на 2 %. Новейшие спецификации ASHRAE теперь тоже допускают температуры до +33,2 °C.

Источник изображения: Equinix

Впрочем, гиперскейлеры в собственных ЦОД могут позволить себе более высокие температуры, чем обычно. Уже к 2009 году Facebook✴ подняла планку до +29,4 °C, а сейчас добралась и до +32,2 °C. Google долго время придерживалась более умеренных значений, поддерживая температуру +26,6 °C. Однако для операторов ЦОД, сдающих в аренду свои площади, такие показатели нехарактерны. Напротив, зачастую они поддерживают даже более низкую температуру, чем необходимо, чтобы успокоить клиентов, опасающихся перегрева оборудования и сбоев в работе.

Стратегия Equinix предусматривает постепенное повышение температуры до приблизительно +27 °C в течение нескольких лет, что позволит избежать оттока пользователей, придерживаясь при этом последовательной политики. Делается это с целью повышения энергоэффективности охлаждения и снижения углеродных выбросов. Примечательно, что это скажется и на показателях клиентов, чьи углеродные выбросы класса Scope 3, (непосредственно не связанные с их деятельностью), тоже снизятся. Эксперты IDC сообщают, что Equinix способна сыграть ключевую роль в модернизации всей индустрии ЦОД.

Источник изображения: Equinix

По словам Equinix, на охлаждение приходится около четверти всех глобальных расходов компании на энергию. Ожидается, что в некоторых локациях рост энергоэффективности составит до 10 %. Пока в компании не отмечают какого-либо изменения клиентской базы в связи с нововведениями, хотя все клиенты обязательно получат уведомления об изменении политики охлаждения. По мере ужесточения требований клиентам и партнёрам придётся полагаться на Equinix для того, чтобы добиться показателей экоустойчивости в соответствии с новыми стандартами.

Однако на этом пути Equinix ожидает ряд проблем. В частности, не все системы (особенно старые) могут оказаться устойчивыми к росту температуру. Кроме того, новые высокопроизводительные на современных процессорах имеют повышенные требования к охлаждению в связи с выросшим TDP. Так что экономия на охлаждении может привести к перерасходу энергии по причине увеличившегося потребления вентиляторов в шасси.