Принадлежащий компании KKR оператор ЦОД CyrusOne получил в этом году кредитов на сумму порядка $8 млрд. Datacenter Dynamics сообщает, что новая кредитная линия Warehouse Credit Facility на $7,9 млрд дополнит уже имеющуюся линию Revolving Credit Facility на $1,8 млрд, открытую в мае 2024 года.

Warehouse Credit Facility в первую очередь предназначена для финансирования существующих и будущих проектов строительства ЦОД в США, а Revolving Credit Facility — на обеспечение оборотного капитала и общекорпоративные цели.

Источник изображения: CyrusOne

По словам главы по инвестициям CyrusOne Фрэн Федерман (Fran Federman), интерес со стороны заёмщиков — подтверждение прочности бизнеса компании и уверенности в её возможности продолжать развитие. По её словам, обе программы финансирования рассчитаны на устойчивое развитие. Условия кредитования будут меняться в зависимости от достижения компанией целевых показателей по выбросам парниковых газов.

Morgan Stanley, TD Securities и KKR Capital Markets выступили ведущими организаторами, стоящими за кредитной линией Warehouse Credit Facility, а Wells Fargo — за линией Revolving Credit Facility. В рамках сделок с компанией тесно сотрудничала и Global Infrastructure Partners (GIP), которая частично владеет CyrusOne и которая вскоре будет выкуплена BlackRock.

CyrusOne владеет десятками ЦОД на 13 региональных рынках США. Только в 2024 году она подала заявки на строительство кампусов в Чикаго (Иллинойс), Нью-Олбани (Огайо), а также начала строительство новых объектов в Сан-Антонио (Техас). В Аризоне власти города Меса рассмотрят предложение о строительстве компанией нового кампуса на 5 дата-центров в окрестностях Финикса. В 2018 году CyrusOne приобрела участок земли у Sunbelt Investment Holdings Inc. за $19,3 млн, а в прошлом году подала заявку на возведение кампуса.

Corning повысила прогноз продаж во II квартале 2024 года на $200 млн. Datacenter Knowledge сообщает, что во многом это обусловлено недооценённым ранее спросом на оптоволоконные соединения в дата-центрах для ИИ-задача. Теперь квартальные продажи должны достичь $3,6 млрд, тогда как ранее ожидалось, что они не превысят $3,4 млрд. Также компания прогнозирует возвращение роста выручки год к году.

Как заявили в компании, рост во многом связан с большой востребованностью новых оптоволоконных решений для генеративного ИИ. В следующие три года ожидается увеличение годовых продаж более чем на $3 млрд под влиянием «циклических факторов и долговременных трендов». Итоговые финансовые результаты II квартала будут объявлены 30 июля. На фоне этих заявлений акции Corning выросли в цене.

В компании связывают более оптимистичные прогнозы с рядом факторов, в первую очередь — успешными продажами оптоволокна для интерконнекта. Так, по данным Corning, параллельные ИИ-вычисления с помощью современных ускорителей требуют в 10 раз больше оптоволокна, чем традиционные облачные сети. Согласен расчётам компании, NVIDIA GB200 NVL72 требуется 576 волокон, то есть в 18 раз больше, чем в стойке с классическими серверными CPU.

Источник изображения: John Adams/unsplash.com

Corning является стратегическим активом для США, поскольку выпускает значительную часть оптоволокна для американских ВОЛС. Оптоволокно также является и важнейшим компонентом в самих ЦОД. А гиперскейлеры сейчас активно вкладываются в развитие инфраструктуры. Одна только Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров и рассчитывает до конца года иметь до 1,8 млн ускорителей на базе GPU, практически каждому из которых требуется собственное сетевое подключение.

По данным Synergy Research Group, количество крупных ЦОД, управляемых гиперскейлерами, достигло 992 шт. ещё в конце 2023 года. Ожидается, что ежегодно они будут вводить в строй ещё 120–130 дата-центров, а генеративный ИИ называют первоочередной причиной такого взрывного роста. Рост инвестиций в ЦОД совпадает со значительным падением трат телеком-операторов по всему миру — это отчасти сказалась на показателях вендоров от Ericsson до Crown Castle и Corning.

В результате многие вендоры стали искать новые возможности для роста. Так, Nokia назвала желание укрепиться на рынке ЦОД первоочередной причиной покупки Infinera за $2,3 млрд — это увеличит влияние компании на рынке ЦОД. Большие планы, связанные с развитием ИИ, вынашивают и в Cisco.

Тем не менее, поставщики уверены, что телеком-операторы со временем возобновят закупки оптоволокна. Пока они используют избыточные запасы, накопленные во время пандемии COVID-19, но скоро эти резервы истощатся. Кроме того, в последние месяцы ведутся переговоры о развёртывании новых широкополосных телеком-магистралей. Corning подтвердила эти ожидания, во многом связанные с масштабной государственной программой США Broadband Equity Access and Deployment (BEAD).

Бум спроса на дата-центры, работающие с ИИ-приложениями, сулит большие выгоды энергетическим компаниям, поставляющим природный газ. По данным Datacenter Dynamics, с соответствующим прогнозом выступили эксперты Wells Fargo.

Специалисты Инвестиционного института банка (Investment Institute, WFII) уверены, что сегодня такие энергоснабжающие структуры находятся в сильной позиции, позволяющей им снабжать новые ИИ ЦОД, активно строящиеся на территории Соединённых Штатов. В марте уже сообщалось, что проект нового газопровода Mountain Valley Pipeline, реализуемого Equitrans Midstream Corp., будет способствовать буму ИИ-технологий.

Хотя большинство операторов хотели бы получать энергию для новых объектов из возобновляемых источников и всеми силами стремятся к этому, природный газ в США всё ещё удовлетворяет 43 % спроса на энергию, о чём свидетельствует статистика Управления энергетической информации страны (Energy Information Administration, EIA). Согласно докладу WFII, компании, поставляющие природный газ, поспособствуют процветанию многих современных ЦОД.

Источник изображения: American Public Power Association/unsplash.com

В WFII заявляют, что возможности добычи природного газа в США и имеющиеся резервы достаточны для удовлетворения растущего спроса. Ключевым ограничением для роста пока является сопутствующая инфраструктура. Ожидается, что бенефициарами в сложившейся ситуации в первую очередь станут компании среднего уровня, им представляется возможность роста и более активного использования доступных активов, а ценность существующей газовой инфраструктуры со временем будет только расти. Эксперты ожидают, что доля природного газа в энергоснабжении США в ближайшем будущем останется стабильной, несмотря на то что в эксплуатацию вводятся всё новые источники возобновляемой энергии.

Получаемое с помощью природного газа электричество — более экобезопасная альтернатива прочим углеводородам из ископаемого топлива. По статистике EIA, при сжигании газа выбрасывается 430 г CO₂ на каждый кВт∙ч. В случае с углём речь идёт об 1 кг CO2, а для нефти — уже об 1,1 кг. Впрочем, по данным Всемирной ядерной ассоциации (World Nuclear Association), это несопоставимо с выбросами, связанными с эксплуатацией солнечных элементов питания (48 г/кВт∙ч) или АЭС (12 г/кВт∙ч).

В прошлом месяце появилась информация о том, что Amazon (AWS) отправила в долгий ящик планы по перекачке природного газа в Орегон для питания своих ЦОД — это увеличило бы углеродный выброс действующих объектах, поскольку сегодня те запитаны преимущественно от ГЭС (фактического разделения нет, электричество поставляется из электрических магистралей штата).

В ходе недавнего мероприятия Global Digital Economy Conference 2024 КНР не только раскрыла некоторые факты о национальной вычислительной инфраструктуре, но и обнародовала планы нарастить их только за 2024 год на 30 %, передаёт The Register.

Как заявил представитель Китайской академии информационных и коммуникационных технологий (China Academy of Information and Communications Technology) Ван Сяоли (Wang Xiaoli), Китай располагает более 8,1 млн стоек, а общая вычислительная мощность составила 230 Эфлопс (точность не указывается). Но уже к 2025 году она должна вырасти до 300 Эфлопс. Впервые соответствующие планы были обнародованы ещё в конце 2023 года.

Как именно Китай намерен добавить 70 Эфлопс, не уточнялось. Вопрос весьма актуальный, с учётом того, что Китаю удалось нарастить мощности со 180 Эфлопс в 2022 году лишь до 197 Эфлопс к августу 2023. Даже с учётом того, что сегодня этот показатель поднялся до 230 Эфлопс, Китаю придётся приложить немалые усилия, особенно с учётом санкций, ограничивающих поставки современных полупроводников в страну.

Источник изображения: 尧智 林/unsplash.com

В развитии современной инфраструктуры ЦОД сыграет роль даже Tesla. По данным СМИ, шанхайский оператор ЦОД Yovole Network использует водородную энергетику, энергохранилища, подключённые к солнечным электростанциям, непрямое испарительное охлаждение и СЖО для обеспечения работы своих дата-центров. В апреле компания начала сотрудничать с Tesla для внедрения энергохранилищ Tesla Megapack в одном из ЦОД.

Информация появилась в тот же день, когда китайские СМИ сообщили, что электротранспорт Tesla официально одобрен для закупок и использования в государственном секторе. В частности, Tesla Model Y приобрели некоторые принадлежащие государству шанхайские компании. При этом недавно тарифы на импорт китайских электромобилей подняли как в США, так и в Европе. На этом фоне китайские власти демонстративно подчёркивают, что в КНР одинаково относятся к местным и зарубежным предпринимателям, создавая им равные условия для развития бизнеса.

Конечно, на фоне санкций далеко не все иностранные компании смогут принять участие в наращивании китайских вычислительных мощностей. Каким бы образом в Китае не собирались добавить 70 Эфлопс за несколько месяцев, Пекин рассчитывает, что это поможет трансформировать экономику, позволив шире внедрять ИИ и потенциально обеспечит развитие и дополнительные доходы сельским районам, которые смогут заработать на цифровом буме.

Из-за ИИ-бума спрос на ЦОД высок на многих мировых рынках, но как передаёт The Register со ссылкой на последний отчёт CBRE, одной из главных проблем стала нехватка электричества — спрос на него на рынках ЦОД зачастую превышает предложение. Дефицит актуален для всех ключевых регионов, от Северной и Латинской Америки до Европы и Азиатско-Тихоокеанского сегмента — объёмы доступной энергии продолжают уменьшаться.

Проблемы с обеспечением необходимой ёмкости ЦОД возникли у крупных корпораций — не только из-за нехватки электричества, но и частых задержек со строительством. В CBRE отмечают, что правительства стран вынуждены принимать меры для решения вопроса с бесперебойными поставками энергии, в частности, упрощая разрешительные процедуры и поощряя интеграцию больших проектов в области возобновляемой энергии с энергосетями.

Источник изображения: Peter Robbins/unsplash.com

При этом в Северной Америке мощности ЦОД в I квартале 2024 года выросли на 24,4 % год к году, а на крупнейших рынках, включая Северную Вирджинию, Чикаго, Даллас и Кремниевую долину добавилось 807,5 МВт. В Европе рынок ЦОД вырос почти на 20 % за квартал, важные проекты реализуются во Франкфурте, Лондоне, Амстердаме и Париже (регион FLAP). В Париже рост и вовсе составил 40 % год к году, несмотря на общую нехватку соответствующих ресурсов на континенте, особенно на ключевых рынках вроде Франкфурта.

По данным CBRE, сегодня волне обычным делом стало предварительное бронирование аренды ещё не достроенных объектов. Соответствующий тренд в Европе и Северной Америке (в частности, в США) отмечен уже довольно давно. Предполагается, что статистика свидетельствует о необходимости строительства новых ЦОД, хотя ключевой проблемой и в этом случае является дефицит электричества для их дальнейшего снабжения. В CBRE добавили, что отмеченная ещё в прошлом году нехватка энергии является одним из важнейших препятствий для роста рынка наряду с дефицитом земли.

Источник изображения: CBRE

На латиноамериканском рынке мощности выросли на 15 % год к году, а для Азиатско-Тихоокеанского региона этот показатель составляет 22 %, поскольку на Токио, Сидней, Гонконг и Сингапур приходится по полгигаватта, несмотря на ограничения на строительство ЦОД в том же Сингапуре с некоторыми послаблениями.

Высокий спрос и нехватка мощностей неизбежно ведёт к росту цен. В CBRE сообщают, что в Северной Америке средняя цена на 250–500 кВт ёмкостей в I квартале выросла на 20 % год к году. Та же картина наблюдается и в Европе, где цены растут из-за высокого спроса и высоких цен на строительство. В Франкфурте квартальный рост составил рекордные 15 %, а в Лондоне стоимость аренды поступательно росла в течение 18 месяцев.

Источник изображения: CBRE

В Латинской Америке картина неоднородна, поскольку стоимость аренды ЦОД в сравнении с прошлым годом выросла не очень значительно, а в некоторых местах вроде Боготы в Колумбии колокация и вовсе подешевела. Тем временем в Азиатско-Тихоокеанском регионе цена поступательно росла из-за роста стоимости строительства и эксплуатации ЦОД. Так, Сингапур сегодня является одним из самых дорогих регионов. Увеличились и цены в Токио, хотя в Сиднее они довольно стабильны.

Хотя в докладе CBRE учитываются четыре ключевых рынка, высокий спрос на них заставляет бизнес перенаправлять инвестиции на другие территории — например в Осло и окрестности и Мадрид, где спрос на ЦОД тоже начал расти. В компании заявляют, что вторичные европейские рынки растут по ряду причин, в числе которых как амбиции гиперскейлеров, так и относительно низкие цены. В некоторых случаях это позволяет регионам становиться новыми «горячими точками», где дата-центры особенно востребованы.

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Китайская телекоммуникационная компания China Mobile объявила об официальном запуске в Пекине «интеллектуального вычислительного центра» — дата-центра площадью 57 тыс. м², оснащённого серверами с 4 тыс. ИИ-ускорителей общей производительностью 1 Эфлопс (точность вычислений здесь и далее не указывается). Треть установленных в дата-центре ускорителей (33 %) — местного производства, сообщил ресурс China Daily.

China Mobile также сообщила, что разместила у местных компаний заказ на поставку оборудования для своих «интеллектуальных вычислительных центров» на сумму $2,6 млрд. В общей сложности China Mobile закупит в период с 2024 по 2025 год 8054 единиц оборудования для своих для ЦОД, включая 7994 ИИ-сервера вместе со вспомогательным оборудованием, а также 60 коммутаторов, сообщил ресурс Data Center Dynamics.

Источник изображения: China Mobile

В числе победителей тендера — Wuhan Guangxun Technology, Kunlun Technology, Huakun Zhenyu, Boyd Computer, Powerleader и Yangtze Computing. Kunlun Technology поставляет ИИ-серверы и периферийное оборудование, Huakun Zhenyu выпускает серверы на базе Arm-процессоров Huawei Kunpeng и ИИ-ускорителей Huawei Ascend, а Powerleader специализируется на выпуске серверов и ПК для корпоративного сегмента.

Ранее China Mobile сообщила, что построила крупнейший ЦОД в Хух-Хото (Внутренняя Монголия, Китай), оснащённый 20 тыс. ИИ-ускорителями общей производительностью 670 Тфлопс. В дальнейшем компания планирует построить ЦОД в Харбине (Harbin) на северо-востоке Китая и Гуйяне (Guiyang) на юге страны. Сейчас у China Mobile есть 12 «интеллектуальных» ЦОД в КНР, общая производительность которых составляет 17 Эфлопс.

Принадлежащий Bain Capital оператор ЦОД Chindata занял $490 млн у банков, желающих заработать на развитии стремительно растущей в Азии цифровой инфраструктуры. Datacenter Dynamics сообщает, что пятилетний синдицированный заём пойдёт на рефинансирование малазийского подразделения компании.

Новый заём послужит для рефинансирования старого на сумму $500 млн, взятого на три года в 2022 году. В числе новых кредиторов: DBS Group Holdings, China Merchants Bank, Credit Agricole SA, China Minsheng Banking Corp, сингапурское подразделение Bank of East Asia, Bayfront Infrastructure Management, Fubon Bank Hong Kong и China Citic Bank International.

Источник изображений: ChinData

Основанная в 2015 году ChinData сегодня управляет более 15 ЦОД в Китае, Малайзии и Таиланде, но некоторые некитайские активы находятся под контролем дочерней компанией Bridge Data Centres (BDC). Bain Capita выкупила ChinData l у Wangsu Science & Technology Co. в 2019 году, а позже состоялось слияние с Bridge Data Centres, которая уже входило в портфель Bain.

В прошлом году Bain вновь сделала ChinData частной компанией в ходе сделки по слиянию, в ходе которой та объединилась с принадлежащими Bain подразделениями BCPE Chivalry Bidco Limited и BCPE Chivalry Merger Sub Limited. На тот момент услуги компании пользовалась спросом и её покупкой интересовались GDS, EdgeConneX (EQT) и поддерживаемая властями КНР China Merchants. Правда, в марте появилась новость о том, что Bain намерена продать часть активов компании.

ChinData известна как оператор ЦОД TikTok (ByteDance). Ранее сообщалось, что ByteDance потратит более $2 млрд на новый ИИ-хаб в Малайзии, причём компания как раз и является якорным арендатором крупного кампуса BDC MY06 в технопарке Седенак (Sedenak) в Джохоре. Примерно столько же готовы вложить в местные проекты Google и Microsoft. Но есть и масса других начинаний. Так, в мае Yondr взяла в долг $150 млн для строительства ЦОД в Sedenak. Там же построит свой кампус и Princeton Digital Group (PDG), для создания «зелёного» ЦОД она заняла $280 млн. А местная YTLP вложит $4,3 млрд в дата-центры и ИИ-суперкомпьютеры.

Австралийские власти объявили о намерении построить защищённое облако TS Cloud силами Amazon Web Services (AWS). По данным The Register, его создадут при участии Австралийского радиотехнического управления (Australian Signals Directorate, ранее Управление радиотехнической обороны), ответственного за кибербезопасность и радиоразведку.

Top Secret Cloud (TS Cloud) будет построено для оборонного и разведывательного сообщества страны с целью безопасного хранения и обработки наиболее секретной информации. Предполагается, что TS Cloud даст Австралии возможность защищённо, быстро и в больших масштабах делиться данными между компетентными ведомствами и анализировать их, а также использовать передовые технологии, включая ИИ и машинное обучение. Кроме того, оно упростит взаимодействие со спецслужбами США.

На облако планируется потратить AUD$2 млрд ($1,35 млрд) в течение десяти лет. Сумма должна покрыть возведение трёх независимых дата-центров и создание местного подразделения AWS. Также будет создано 2 тыс. рабочих мест.

Источник изображения: AWS

В облаке будут храниться наиболее секретные данные. У разных правительственных ведомств могут быть разные определения суверенитета, возможно, для некоторых потребуется соблюдение самых строгих норм. Австралия входит в разведывательный альянс «Пяти глаз», также включающий США, Канаду, Великобританию и Новую Зеландию и ей необходима возможность защищённого обмена данными с партнёрами.

AWS уже строила Top Secret облака для американского правительства, Великобритания тоже пользуется сервисами Amazon для хранения и обработки совершенно секретной информации. Наконец, в 2021 году AWS объявила о подписании сделки на строительство аналогичных ЦОД в Новой Зеландии на сумму $7,5 млрд новозеландских долларов ($5,3 млрд).

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.

«Каждый доллар, вложенный провайдером облачных услуг в ускорители, вернётся пятью долларами через четыре года», — заявил Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA на конференции BofA Securities 2024 Global Technology Conference. Он отметил, что использование ускорителей для инференса несёт ещё больше выгоды, позволяя получить уже семь долларов за тот же период.

Как сообщается, инференс ИИ-моделей Llama, Mistral и Gemma становится всё масштабнее. Для удобства NVIDIA упаковывает открытые ИИ-модели в оптимизированные и готовые к запуску контейнеры NIM. Компания отметила, что её новейшие ускорители Blackwell оптимизированы для инференса. Они, в частности, поддерживают типы данных FP4/FP6, что повышает энергоэффективность оборудования при выполнении рабочих нагрузок ИИ с низкой интенсивностью.

Источник изображений: NVIDIA

Провайдеры облачных услуг планируют строительство ЦОД на пару лет вперёд и хотят иметь представление о том, какими будут ускорители в обозримом будущем. Бак отметил, что провайдерам важно знать, как будут выглядеть ЦОД с серверами на базе чипов Blackwell и чем они будут отличаться от дата-центров на Hopper. Скоро на смену Blackwell придут ускорители Rubin. Их выпуск начнётся в 2026 году, так что гиперскейлерам уже можно готовиться к обновлению дата-центров.

Как ожидается, чипы Blackwell, первые партии которых будут поставлены к концу года, будут в дефиците. «С каждым новым технологическим переходом возникает… сочетание проблем спроса и предложения», — отметил Бак. По его словам, операторы ЦОД постепенно отказываются от инфраструктуры на базе CPU, освобождая место под большее количество ускорителей. Ускорители Hopper пока остаются в ЦОД и всё ещё будут основными «рабочими лошадками» для ИИ, но вот решения на базе архитектур Ampere и Volta уже перепродаются.

Microsoft и Google сделали ставку на ИИ и сейчас работают над более функциональными большими языковыми моделями, причём Microsoft (и OpenAI) в значительной степени полагается на ускорители NVIDIA, тогда как Google опирается на TPU собственной разработки для использования в своей ИИ-инфраструктуре. Пока что самая крупная модель насчитывает порядка 1,8 трлн параметров, но по словам Бака, это только начало. В дальнейшем появятся модели с триллионами параметров, вокруг которой будут построены более мелкие и более специализированные модели. Так, свежая GPT-модель (вероятно, речь о GPT-4o) включает 16 отдельных нейросетей.

NVIDIA уже адаптирует свои ускорители к архитектуре Mixture of Experts (MoE, набор экспертов), где процесс обработки запроса пользователя делится между несколькими специализированными «экспертными» нейросетями. GB200 NVL72, по словам Бака, идеально подходит для MoE благодаря множеству ускорителей связанных быстрым интерконнектом, каждый из которых может обрабатывать часть запроса и быстро делится ответом с другими.