На североамериканском рынке сложилась необычная ситуация — компании, желающие заполучить колокейшн-мощности, столкнулись с тем, что их либо нет совсем, либо за них придётся платить намного больше, чем обычно. По данным Network World, растущие аппетиты гиперскейлеров ставят под вопрос возможность доступа к необходимой инфраструктуре для всех участников рынка.

Как сообщают эксперты datacenterHawk, на долю гиперскейлеров приходится уже 80 % арендуемых в североамериканских ЦОД мощностей. Особенную активность большие игроки демонстрировали в прошлом и позапрошлом годах, забирая почти все доступные мощности. По мнению экспертов, хотя темпы роста на североамериканском рынке замедлились, спрос на мощности ЦОД остаётся рекордным, поскольку на основных региональных рынках свободны лишь 2,88 % мощностей, на вторичных рынках — 5 %.

Источник изображения: TheDigitalArtist/pixabay.com

Другими словами, свободных мест в ЦОД, особенно на крупных рынках вроде Северной Вирджинии или штата Вашингтон, почти не осталось. Если пару лет назад на рынке имелось до 10 провайдеров, способных предоставить до 4 МВт ёмкости, то теперь таковых не более четырёх, а цены выросли на 5–20 %. Причём мощности часто полностью забронированы гиперскейлерами, что не оставляет возможностей более мелким компаниям.

Источник: datacenterHawk

Операторы не могут удовлетворить спрос, и вряд ли свободные ёмкости вскоре появятся. Одна только Серверная Вирджиния обгоняет по ёмкости сверхкрупных дата-центров Европу и Китай. Хотя операторы работают над расширением своей инфраструктуры, ключевые компоненты — землю, энергию и финансирование — в последние два года становится всё труднее получить, так что темпы строительства падают, а его стоимость — растёт. Эксперты предрекают сохранение такого положения в ближайшие 3–5 лет. Многим компаниям приходится просто оптимизировать свои нагрузки или уменьшать их.

Теперь операторы ищут необходимые ресурсы для развёртывания ЦОД за пределами крупных агломераций и даже вне США — индустрия ЦОД в Латинской Америке переживает стремительное развитие. Во многом это обусловлено прогнозируемым постпандемийным ростом внедрения передовых технологий на континенте, что приведёт и к росту спроса на колокейшн-сервисы в Мексике, Бразилии, Чили и Колумбии в следующее десятилетие. При этом страны вроде Мексики будут не только сами потреблять новые мощности, но и, вероятно, обслуживать близлежащие государства.

Министерство энергетики США (DOE), по сообщению HPC Wire, предоставило компании JetCool Technologies финансирование в размере $1 265 747. Средства выделены Агентством передовых исследований в области энергетики (ARPA-E) в составе DOE в рамках комплексной программы COOLERCHIPS.

Инициатива COOLERCHIPS, или Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems, нацелена на разработку высокопроизводительных и энергоэффективных решений для охлаждения дата-центров.

Отмечается, что на ЦОД приходится приблизительно 2 % всего энергопотребления в США. При этом в самих дата-центрах до 40 % от общих энергозатрат может идти на поддержание работы систем охлаждения. Стартап Jetcool разрабатывает эффективные технологии жидкостного охлаждения на базе микроконвекции. Решение использует микротрубки для доставки охлаждающей жидкости непосредственно к чипам, откуда жидкость удаляется по мере нагрева.

Источник изображения: JetCool

Подход Jetcool, как сообщается, позволяет значительно снизить энергопотребление и затраты, связанные с охлаждением ЦОД. Утверждается, в частности, что при условии широкого внедрения по всему миру системы Jetcool обеспечат экономию 11,1 млрд кВт·ч электроэнергии и 150 млрд литров воды в год. Выбросы углекислого газа в атмосферу при этом сократятся на 35 млн метрических тонн.

Полученные от ARPA-E средства пойдут на дальнейшую разработку энергоэффективных и экономичных решений жидкостного охлаждения для повышения надёжности и производительности серверов в дата-центрах, сокращения времени простоя и уменьшения затрат на техническое обслуживание.

Компания Edge Cable Holdings, принадлежащая Meta✴, по сообщению Datacenter Dynamics, направила в Федеральную комиссию по связи США (FCC) заявку на прокладку нового подводного интернет-кабеля. Проект, получивший названием Anjana, предусматривает развёртывание высокоскоростной линии, соединяющей север Испании с восточным побережьем США.

Протяжённость кабеля составит 7121 км. Он должен пройти от кабельной станции DC Blox (CLS) в Мертл-Бич (Южная Каролина, США) до новой станции в Сантандере (автономное сообщество Кантабрия, Испания), принадлежащей Telxius. Сообщается, что кабель спроектирован специалистами NEC. Он рассчитан на пропускную способность до 480 Тбит/с по 24 парам волокон. Укладка должна начаться в августе 2023 года, а ввод в эксплуатацию намечен на IV квартал 2024-го.

Это будет самая скоростная в мире океанская подводная интернет-линия. На сегодняшний день рекордсменом является подводный кабель Google Grace Hopper, проложенный между США и Европой: он обеспечивает пропускную способность на уровне 350 Тбит/с. Впрочем, на коротких расстояниях можно достичь на порядок больших скоростей — 110-км кабель Olisipo получит ёмкость 4,3 Пбит/с.

Источник изображения: Vodacom

Ни один из участников проекта Anjana не сделал официальные заявления о планах по прокладке кабеля. Ранее NEC говорила, что намерена разработать для Meta✴ 500-Тбит/с кабель с 24 парами для связи между Европой и США, однако тогда ни название системы, ни конкретный маршрут не сообщались. Отмечается также, что в настоящее время в Сантандере нет кабельных станций. Telxius управляет таким пунктом в Сопелане (к востоку от Сантандеры), который является точкой подключения кабеля Meta/Microsft MAREA и системы Google Grace Hopper.

Центр суперкомпьютерных ресурсов Министерства обороны США (DoD) (Navy DSRC), по сообщению Datacenter Dynamics, получил новую НРС-систему под названием Nautilus: она расположилась в Космическом центре имени Джона Стенниса. Испытания комплекса завершились в апреле 2023 года.

Nautilus — это система Penguin TrueHPC, объединяющая 1352 узла. Каждый из них содержит до 128 ядер AMD EPYC Milan и 256 Гбайт памяти. Кроме того, задействованы 16 узлов визуализации на базе NVIDIA A40 и 32 ИИ-узла на основе четырёх ускорителей NVIDIA A100. Используется интерконнект NVIDIA Mellanox Infiniband 200 Гбит/с.

В общей сложности в состав Nautilus входят 176 128 ядер и 382 Тбайт памяти. Вместимость хранилища составляет 26 Пбайт. Производительность НРС-комплекса достигает 8,2 Пфлопс. Новый суперкомпьютер является частью Программы модернизации высокопроизводительных вычислений Министерства обороны США (HPCMP). Он поможет в моделировании климата, выполнении исследований в области гидродинамики, химии и пр.

Источник изображения: US Navy / MC3 Josue L. Escobosa

Сообщается также, что центр Navy DSRC модернизировал другой свой суперкомпьютер — систему Narwhal на платформе HPE Cray EX. Этот комплекс получил дополнительно 18 176 вычислительных ядер в составе 128 узлов. Кроме того, добавлены 14 узлов с 1 Тбайт памяти. Таким образом, теперь Narwhal оперирует 308 480 ядрами, а его пиковая производительность достигает 13,6 Пфлопс.

В дата-центрах TikTok в Северной Вирджинии (США) существуют большие проблемы с обеспечением безопасности данных, пишет ресурс Forbes со ссылкой на многочисленные свидетельства источников, а также более чем 60 документов, фотографий и видео. Как и многие компании, TikTok арендует площади в крупных кампусах ЦОД. Машинные залы TikTok частично управляются ByteDance, а частично — работниками по контракту из нескольких неизвестных фирм.

Документы, фотографии и сообщения источников свидетельствуют о том, что деятельность ЦОД TikTok по-прежнему тесно связана с бизнесом ByteDance в Китае. В частности, используются серверы Inspur, которую Министерство торговли США внесло в санкционный список. А на прошлой неделе заказы на профилактическое обслуживание серверов были отправлены техническим специалистам Beijing ByteDance Technology Co., дочерней компанией ByteDance, частично принадлежащей правительству Китая. При этом TikTok неоднократно утверждала, что власти Китая не имеют никакого отношения к её работе в США.

Изображение: visuals / Unsplash

ByteDance использует несколько систем учёта для отслеживания ремонта серверов и другого оборудования. По словам трёх источников, в ЦОД TikTok были установлены модификации серверов, которых нет в этих системах, а четыре информатора сообщили, что видели немаркированные и «незарегистрированные» флеш-накопители, подключённые к серверам. Ещё четыре собеседники Forbes рассказали, что размагничивающие устройства, используемые для очистки и уничтожения HDD, часто ломались. Сотрудникам приходилось относить диски для утилизации в другие ЦОД, что допускает возможность выноса с территории накопителей с любой информацией.

Также источники Forbes рассказали, что они слышали о сотрудниках, использующих серверы компании для майнинга криптовалюты. Кроме того, в машинных залах ЦОД можно увидеть посторонних без сопровождения и коробки с жёсткими дисками, оставленные без присмотра в коридорах. Согласно внутреннему регламенту компании, посетителей ЦОД, включая курьеров, поставщиков, электриков и других специалистов, должен сопровождать сотрудник TikTok. Но на практике, по словам сотрудников, этим требование не всегда выполняется. «У нас просто нет времени на это», — сказал один из них.

Изображение:ByteDance

Публикация Forbes появилась в критический момент для TikTok — компании грозит федеральное уголовное расследование из-за слежки за журналистами и возможный запрет в случае отказа ByteDance продать видеосервис. Белый дом неоднократно высказывал опасения по поводу того, что китайские власти могут использовать контроль ByteDance над TikTok для получения данных об американских гражданах или влияния на внутренний или международный общественный дискурс.

Комментируя публикацию, представитель TikTok Морин Шанахан (Maureen Shanahan) признала использование серверов Inspur, отметив, что TikTok «уже довольно давно не закупался у этого поставщика». Она добавила, что Inspur сотрудничала и с другими американскими компаниями, включая Microsoft, IBM и Intel. По поводу размещения заказов на ТО у Beijing ByteDance Technology, она сообщила, что речь идёт об артефакте тикет-системы, в рамках которой китайская фирма не имеет доступа к персональным данным.

Изображение:ByteDance

Касательно фотографий с оставленными без присмотра жёсткими дисками в коридорах ЦОД Шанахан сказала: «Во время строительства, до передачи операций, нередко можно увидеть такие предметы, как оставленные без присмотра деревянные поддоны или картонные коробки с новыми жёсткими дисками, которые не содержат данных. Наша политика обращения с носителями требует, чтобы использованные носители, ожидающие уничтожения, помещались в закрытые контейнеры».

Летом прошлого года TikTok перенесла данные американских пользователей в инфраструктуру Oracle, уточнив, что часть данных всё равно будет какое-то время храниться на её собственных площадках в США, в том числе в Вирджинии. Компания снизила объём арендуемых мощностей, но по состоянию на начало прошлого года всё ещё оставалась вторым по величине арендатором ЦОД в США.

Эксперты ESET предупредили об опасности продажи бывших в употреблении магистральных роутеров и иного сетевого оборудования, не прошедших предпродажного удаления данных. Как сообщает портал Dark Reading, в компании выяснили, что многие устройства подобного типа хранят большие массивы данных, позволяющие скомпрометировать корпоративные сети.

Б/у оборудование всегда было традиционным источником угроз для его бывших владельцев. Проданные или сданные на утилизацию смартфоны, жёсткие диски, принтеры и другое оборудование содержат немало важных сведений. По данным ряда исследований, лишь немногим устройствам очищают память должным образом.

Купив маршрутизатор Juniper SRX240H на eBay, один из сотрудников ESET обнаружил, что в памяти устройства сохранилась масса информации о бывшем владельце — разрабатывающей ПО компании из Кремниевой долины. После этого в ESET провели небольшое расследование, купив другие устройства: четыре Cisco Systems ASA 5500, три Fortinet FortiGate и одиннадцать экземпляров Juniper Networks SRX Series Services Gateway.

Изображение: Luke Robertson / Pixabay

Выяснилось, что девять из них содержали ключевую информацию о конфигурации сетей бывших владельцев, учётные данные, а также некоторые сведениях о клиентах, партнёрах, используемых с сетями приложениях и т.д. Фактически речь шла о полных макетах сетевой инфраструктуры компаний, как внутренней, так и внешней. Извлечённых сведений, по мнению ESET, оказалось достаточно для подготовки атак разных типов.

Конечно, довольно легко оказалось установить и сами компании, некогда владевшие оборудованием. По словам экспертов, маршрутизаторы связаны буквально со всем, что происходит в информационных системах подключённых организаций, включая облачные хранилища, а сведения об используемом ПО и ОС позволяют подобрать подходящие уязвимости и инструменты для их использования.

ESET попыталась связаться с бывшими владельцами. И если представители IT-компаний сразу поняли, о чём идёт речь, и даже выплатили вознаграждение, то с компаниями вне технологического сектора оказались не только сложно связаться, но и найти уполномоченных вести дела в случае раскрытия информации. При этом один из маршрутизаторов оказался снабжён доступом для удалённого администрирования из недружественной США страны. Впрочем, эксперты не исключили, что доступ в своё время просто использовался сотрудником на аутсорсе.

К счастью, как сообщают в ESET, стереть данные в маршрутизаторах «большой тройки» — Cisco, Fortinet и Juniper — довольно легко, а на сайтах компаний имеются подробные инструкции сброса до заводских настроек.

Компания Cyxtera, американский оператор центров обработки данных, управляющий более 60 ЦОД общей мощностью свыше 245 МВт в 29 странах, по слухам, снова рассматривает возможность продажи бизнеса и привлечения средств. Как сообщает DataCenter Dynamics со ссылкой на Bloomberg, это делается для того, чтобы избежать возможного банкротства.

В финансовом отчёте за IV квартал 2022 года компания сообщила о соглашениях со своими заёмщиками, согласно которым изменены условия возобновляемой кредитной линии — срок действия будет продлён с ноября 2023-го до апреля 2024 года. Это, как ожидается, даст компании передышку и позволит какое-то время удержаться на плаву. Дело в том, что в декабре 2022 года Cyxtera уже имела обязательства на сумму $1,12 млрд, а также $907 млн долгосрочных долгов. Большая часть из них должна быть погашена в текущем году. Компания уже сообщила, что активно пытается решить проблемы с кредитами и долгами, максимальные сроки погашения обязательств по которым наступят в апреле–мае 2024 года.

Источник изображения: Cyxtera

В обращении к Комиссии по ценным бумагам и биржам США (SEC) оператор отметил, что в случае, если компания не сможет выполнить долговые обязательства по истечении оговорённых сроков, она будет вынуждена «рассмотреть все стратегические альтернативы», но какие именно, не говорит. Не исключено, что речь может идти как о дополнительных кредитах, так и о продаже активов, ликвидации или банкротстве. Впрочем, компания рассчитывает продолжить деятельность, как минимум, в 2023 году. По слухам, потенциальными покупателями могут стать инвестиционные компании, некоторые из которых получили возможность оценки бизнеса.

Колокейшн-бизнес CenturyLink был преобразован в Cyxtera, которая в 2021 году вышла на NASDAQ, объединившись в результате сделки стоимостью $3,1 млрд со SPAC-компанией Starboard Value Acquisition Corp. В течение года компания якобы искала способы снова стать частной, но ей так и не удалось найти покупателей. Сейчас перспективы оператора остаются под вопросом. Ещё в феврале агентство Moody’s понизило корпоративный рейтинг Cyxtera с B3 до Caa2. Другими словами, речь идёт о том, что долговые обязательства Cyxtera «считаются плохо обеспеченными или подвержены очень высокому кредитному риску».

В последнее время Cyxtera прославилась лишь взрывом и задымлением в массачусетском кампусе, в результате которого произошло отключению сервисов Oracle NetSuite в США. Впрочем, это вряд ли оказало решающее влияние на финансовое положение компании.

Американская Green Energy Partners (GEP), специализирующаяся на ЦОД и энергетике, как сообщает DataCenter Dynamics, намерена возвести сразу 30 новых ЦОД по соседству с АЭС. Впоследствии компания планирует построить новые источники энергии для основного и резервного питания этих дата-центров. Причём речь идёт об атомной и водородной энергетике.

Строительство предполагается вести на участке рядом с 1,6-ГВт АЭС Surry Nuclear Power Plant, принадлежащей оператору Dominion Energy — здесь GEP приобрела участок площадью около 260 га. Два реактора станции (PWR) будут эксплуатироваться минимум до 2052–2053 гг. Они обеспечат новые ЦОД энергией на первое время, а когда дата-центры начнут приносить существенную прибыль, рядом будут построены и малые модульные реакторы (SMR).

Первый этап возведения кампусов начнётся в 2024 году. Они будут расположены между «долиной дата-центров» в Северной Вирджинии (преимущественно в округе Лаудон) и наземной станцией подключения подводных ВОЛС в Вирджиния-Бич. Это позволит разгрузить север региона, например — в округе Лаудон ЦОД потребляют около 20 % всей электроэнергии, из-за чего дальнейшее развитие индустрии ЦОД здесь затруднено из-за нехватки электричества и даже недостатка ЛЭП.

Источник изображения: NuScale

Изначально ЦОД будут питаться от уже существующей электросети, но позже будет организовано строительство 250-МВт SMR. Более того, в ближайшие 10–15 лет они будут не только давать «безуглеродную» энергию для ЦОД, но и станут использоваться для производства «зелёного» водорода для резервных генераторов всё тех же ЦОД и продажи сторонним заказчикам, в том числе для подачи по существующим газопроводам в смеси с природным газом. Ожидается, что реакторы займут площадь 14 га, а ещё 8 га — мощности для производства водорода.

Предполагается, что на площадке будут использоваться реакторы Voygr компании NuScale, уже сотрудничающей с Shell в деле изучения возможностей SMR для электролиза. Главная проблема в том, что энергия именно такого реактора на данный момент стоит $90 за МВт·ч — это не только дороже электричества из обычных источников, но даже и энергии из возобновляемых источников, солнечных или ветряных электростанций. В остальном проект представляет собой почти идеальную комбинацию, обеспечивающую производство и потребление зелёной энергии вблизи готовой кабельной инфраструктуры.

Возведение ЦОД рядом с прицелом на использование атомной энергии — уже не уникальный случай. Так, в конце января Talen Energy завершила строительство первой очереди ЦОД при АЭС в Пенсильвании, а Bahnhof собирается построить в Стокгольме реактор для питания своего дата-центра. При этом Вирджиния обгоняет по ёмкости сверхкрупных дата-центров и Европу, и Китай, поэтому малые модульные реакторы могут стать именно тем решением, которое позволит разгрузить местную энергетическую инфраструктуру.

Cisco объявила о планах запустить в 2024 году новую защищённцю облачную платформу Webex Air-Gapped Trusted Cloud для совместной работы, предназначенную для организаций, занятых в сфере обеспечения национальной безопасности и обороны США, которая предоставит дополнительный уровень безопасности для команд, взаимодействующих с помощью сервиса видеоконференций Webex.

Cisco отметила, что у правительства США имеется устоявшийся подход к оценке безопасности и авторизации облачных продуктов и услуг для национальной безопасности и обороны. В частности, в таких решениях должны использоваться облачные развёртывания с воздушным зазором, которые изолированы от общедоступных сетей и управляются на территории США местным персоналом со специальными допусками безопасности для обработки конфиденциальных данных.

Новое решение Webex для изолированных облачных развертываний обеспечит дополнительный уровень безопасности, позволяя командам совместно проводить совещания, чаты и осуществлять звонки через данную систему. Сообщается, что система Air-Gapped Trusted Cloud совместима с существующей системой управления унифицированными коммуникациями Cisco (CUCM). Это позволит клиентам использовать уже имеющиеся в продуктах Cisco функции как в подключённых, так и в автономных средах.

Источник изображения: Cisco

По словам Cisco, новые инструменты Webex будут соответствовать стандартам безопасности агентств США, занимающихся вопросами национальной безопасности и обороны, без ущерба для удобства пользователей. «Мы дополнили наше решение для совместной работы Webex средствами управления безопасностью и операционными возможностями, требуемыми госорганами, чтобы его можно было развернуть в автономной среде», — сообщил исполнительный вице-президент и генеральный менеджер по безопасности и совместной работе в Cisco.

Cisco сообщила, что и дальше будет предоставлять локальные решения для сверхсекретной совместной работы, включая звонки, обмен сообщениями, совещания и обмен файлами, приведя свою систему безопасности корпоративного уровня в соответствие с требованиями программы FedRAMP (Federal Risk and Authorization Management Program), которая обеспечивает стандартизированный подход к безопасности предложений облачных услуг.

Подчёркивается, что данное решение Cisco создано специально для компаний, работающих над проектами национальной безопасности и обороны, для удовлетворения их конкретных требований к сети и обработке данных, и поэтому не будет доступно другим клиентам. Заказчики смогут использовать данное решение при работе над государственными контрактами, которые требуют уровня безопасности, обеспечиваемого этим продуктом.

Компания также заявила, что все совместимые системы для совместной работы для правительственных организаций будут учитывать локальные правила, требования соответствия и меры безопасности для отдельных правительственных секторов. «Хотя это решение относится к сфере национальной безопасности и охраны, мы продолжим внедрять инновации в разработку полностью совместимых, настраиваемых решений для совместной работы во всех сферах государственного управления», — сообщается в блоге компании.

Крупные американские операторы ЦОД, по сообщению Datacenter Dynamics со ссылкой на исследование S&P Global, в течение 2022 года увеличили закупки энергии из возобновляемых источников приблизительно на 50 % по сравнению с предыдущим годом. Львиная доля таких контрактов приходится всего на четырёх гиперскейлеров: Amazon, Google, Meta✴ и Microsoft. Все они в перспективе намерены добиться нулевых выбросов парниковых газов в атмосферу.

Источник: S&P Global

Говорится, что дата-центры в США зарезервировали 40 ГВт «зелёной энергии». Это составляет примерно ⅔ от общего объёма ветровой и солнечной энергии, доступной американским корпоративным заказчикам. Лидером по закупкам является Amazon с контрактами на более чем 20 ГВт возобновляемой энергии. Google, Meta✴ и Microsoft занимают второе, третье и четвёртое места соответственно. Более мелкие заказчики, такие как Iron Mountain, Digital Realty, QTS и Switch, зарезервировали 1,5 ГВт. При этом Google, Microsoft и Iron Mountain стремятся к тому, чтобы их площадки питались возобновляемой энергией круглосуточно.

Источник изображения: Jan Huber/unsplash.com

На мировом рынке наблюдается аналогичная картина. С учётом потребностей Apple, «большая пятёрка» заключила контракты на закупку 45 ГВт «зелёной» энергии по всему миру — это более половины (приблизительно 57 %) от общей выработки, но без учёта изолированных источников вроде солнечных панелей на крышах самих ЦОД. Все вышеупомянутые компании намерены перейти на 100-% «зелёное» питание. Участники рынка полагают, что в долгосрочной перспективе темпы роста потребления возобновляемой энергии могут негативно повлиять на планы других предприятий по обеспечению нулевых углеродных выбросов.

Хотя гиперскейлеры заключили контракты на 40 ГВт возобновляемой энергии в США, текущая оценка их общего потребления составляет немногим более 22 ГВт, а в ближайшие несколько лет эта цифра вырастет до 33 ГВт. Такая картина объясняется тем, проекты по возобновляемым источникам энергии указывают свою пиковую мощность, в то время как средняя выработка электроэнергии намного ниже из-за погодных и других факторов.