Microsoft и BlackRock совместно инвестируют в строительство дата-центров и энергетику для поддержки быстроразвивающейся ИИ-отрасли. По данным Silicon Angle, для этого сформирована новая группа Global AI Infrastructure Investment Partnership (GAIIP). Помимо Microsoft и BlackRock, в неё входят купленная последней в январе за $12,5 млрд инвестиционная компания Global Infrastructure Partners (GIP), а также дубайский инвестор MGX.

Предполагается, что партнёры будут вкладывать средства в новые ЦОД и расширение уже действующих для удовлетворения растущего спроса на вычислительные мощности. Также средства будут тратиться на энергетическую инфраструктуру для создания новых источников энергии для этих ЦОД. Целевым рынком для вложения средств считается США, а остатки потратят на территории «американских стран-партнёров».

Согласно пресс-релизу GIP, планируется поддерживать открытую архитектуру и обширную экосистему, обеспечивая полный доступ к наработкам самому широкому кругу компаний. NVIDIA будет поддерживать GAIIP, предлагая экспертные консультации, связанные с технической частью ИИ-проектов. GAIIP рассчитывает получить в распоряжение $30 млрд инвестиционных капиталов для начальных вложений в проекты, что, в свою очередь, позволит увеличить общий инвестиционный потенциал до $100 млрд с учётом долгового финансирования.

Источник изображения: Sebastian Herrmann/unsplash.com

Помимо участия в новой структуре, Microsoft уже инвестировала в связанные с ИИ многочисленные проекты немало средств. Так, в мае Microsoft обязалась выделить $2,2 млрд на облачную и ИИ-инфраструктуру в Малайзии, чуть позже в том же месяце — $3,3 млрд на строительство ИИ ЦОД в Висконсине (США). В июне компания объявила о планах потратить $3,2 млрд для расширения ЦОД в Швеции. Крупнейшие «внешние» инвестиции Microsoft в ИИ связаны с небезызвестной компанией OpenAI, в которую IT-гигант вложил уже около $13 млрд с 2019 года, вполне вероятны и дальнейшие инвестиции.

Global Infrastructure Partners, основанная в 2006 год, управляет активами на сумму более $100 млрд. Среди активов есть крупные транспортные узлы, поставщики энергии из возобновляемых источников, а также оператор ЦОД CyrusOne и ряд других инфраструктурных компаний. Кроме того, фонд неоднократно инвестировал в других операторов дата-центров.

Intel и Amazon Web Services (AWS) объявили о намерении совместно инвестировать в разработку и выпуск кастомных чипов в рамках многомиллиардного многолетнего проекта, в котором будет задействовано производство Intel. Пресс-служба компании сообщает, что расширение сотрудничества поможет клиентам AWS справиться почти с любыми рабочими нагрузками и повысить производительность ИИ-приложений.

Intel будет выпускать ИИ-ускорители для AWS по техпроцессу Intel 18A в рамках инициативы AI Fabric, а также кастомные процессоры серии Xeon 6 по техпроцессу Intel 3. По словам руководства Intel и AWS, взаимодействие на новом уровне для работ в сфере ИИ и машинного обучения не только будут способствовать росту обеих компаний, но и обеспечат устойчивую цепочку поставок ИИ-решений непосредственно на территории США. При этом производственное подразделение Intel Foundry фактически превратится в независимую дочернюю компанию Intel.

Заявление о расширенном сотрудничестве подкрепляет обязательства компаний по ускоренной организации производства полупроводников на территории США и созданию динамичной ИИ-экосистемы в Огайо. Intel по-прежнему планирует создание передовых производств полупроводников в этом штате (в районе Нью-Олбани), а AWS намерена вложить $7,8 млрд в расширение ЦОД в Центральном Огайо — помимо тех $10,3 млрд, которые уже инвестированы в штат с 2015 года.

Власти Огайо приветствуют инициативу и предполагают, что это поможет укрепить позиции штата в качестве лидера ИИ-сферы и демонстрирует приверженность Intel развитию национальных производственных площадок, а AWS — инвестициям в штат в качестве оператора ЦОД.

Источник изображения: Intel

В AWS подчёркивают, что сотрудничество с Intel началось ещё в 2006 году с создания EC2-инстансов на чипах последней. История отношений Intel и AWS насчитывает более 18 лет. В дальнейшем компании намерены изучить потенциал новых разработок на основе техпроцесса Intel 18A, а также перспективных Intel 18AP и Intel 14A. Соответствующие технологии будут, как ожидается, внедряться на фабрике в Огайо, которую ещё предстоит построить.

Правда, в своём пресс релизе Intel не преминула добавить стандартную приписку, что заявления относительно выгод и влияния сотрудничества на бизнес основаны на ожиданиях руководства компаний и влекут за собой «риски неопределённости», поскольку многие факторы находятся вне контроля партнёров.

В Сент-Луисе (штат Миссури, США) появилось предложение о сдаче подземного дата-центра, расположенного в бывшем правительственном бункере. По данным Datacenter Dynamics, бункер по адресу 3280 McKibbon Road сдаётся на условиях договора типа Triple Net (NNN), при котором арендатор несёт полную ответственность за расходы на объект, включая не только собственно арендные платежи, но и все эксплуатационные и коммунальные расходы, налоги на имущество и страхование.

Бункер площадью 351 м² имеет фальшпол для собственно ЦОД и офисных помещений. Есть два резервных генератора, а питание обеспечивается от трёхфазной сети. В объявлении об аренде указывается, что объект был построен в качестве правительственного бункера на случай чрезвычайных ситуаций на данной территории.

Источник изображения: LoopNet

Помещения расположены под землёй, возведены из усиленного бетона. Объект защищён от ядерных ударов, неблагоприятных природных условий и ЭМИ-импульсов. В здании расположены системы обеспечения дополнительной надёжности. Другими словами, подобный «осколок» Холодной войны может быть вполне востребован и сегодня. Объект построен в 1976 году, находится в «хорошем состоянии» и готов к размещению клиентов. Утверждается, что он идеально подходит на случай создания центра хранения и восстановления данных и защиты от катастроф различного характера.

Это уже не первый случай, когда ЦОД создают в бывших военных и правительственных бункерах. Такими пользуются даже преступники — несколько лет назад в Германии местные силовые ведомства взяли под контроль крупный узел «даркнета», который тоже размещался в бывшем подземном убежище НАТО. В итоге восемь местных операторов получили тюремные сроки.

Белый дом, по сообщению Datacenter Dynamics, намерен создать рабочую группу по инфраструктуре ИИ ЦОД (Task Force on AI Datacenter Infrastructure). Такое решение принято по итогам встречи с участием ряда гиперскейлеров, разработчиков ИИ-платформ, чипмейкеров и компаний, занимающихся строительством ЦОД: AES, Alphabet, Anthropic, AWS, CoreWeave, Electric Power Research Institute, Exelon, Meta✴, Microsoft, NVIDIA, OpenAI и QTS.

Говорится, что власти США намерены упростить получение доступа к энергоресурсам и выдачу необходимых разрешений при создании новых дата-центров по всей стране суммарной мощностью в несколько ГВт. Создаваемая рабочая группа под руководством Национального экономического совета, Совета национальной безопасности и Офиса заместителя начальника штаба Белого дома обеспечит координацию политик в области развития дата-центров. Участники рынка и сторонние эксперты неоднократно подчёркивали, что именно проблемы с доступом к энергии ограничивает рост ИИ ЦОД.

Источник изображения: pixabay.com

Группе предстоит работать с участниками рынка, занимающимися ЦОД-инфраструктурой. Целями инициативы названы обеспечение необходимого финансирования, определение единых точек взаимодействия и расстановка приоритетов в области создания дата-центров, ориентированных на задачи ИИ. Предполагается, что это поможет в укреплении национальной безопасности и экономических интересов США. Кроме того, будут определены те сферы, в которых требуются законодательные изменения, направленные на поддержку развития отрасли ЦОД.

Вместе с тем Совет по выдаче разрешений будет сотрудничать с участниками рынка ИИ ЦОД для определения сроков и выделения средств агентствам, чтобы ускорить оценку проектов в области «чистой» энергии, подпадающих под акт FAST-41 (Fixing America’s Surface Transportation Act). Этот документ устанавливает новые процедуры координации и надзора над инфраструктурными проектами. Одновременно Корпус инженеров Армии США (USACE) определит общенациональные разрешения, которые могут помочь ускорить строительство дата-центров для ИИ.

Сообщается также, что Министерство энергетики США также создаст специальную группу по взаимодействию с участниками отрасли ЦОД для дальнейшей поддержки сектора. Ведомство намерено регулярно организовывать встречи с игроками соответствующего рынка, поставщиками решений в области «чистой» энергии, операторами энергосетей и другими заинтересованными сторонами «для стимулирования разработки инновационных решений».

DC01UK представила план строительства в Хартфордшире (Великобритания) одного из крупнейших, по словам компании, дата-центров в Европе. Пресс-служба DC01UK сообщает, что площадь строений составит почти 186 тыс. м2, а площадь территории кампуса — около 34 га. National Grid уже обеспечила на территории резервную мощность 400 МВА. Будущий кампус расположится недалеко от национальных и международных ВОЛС и относительно близко к уже существующим ЦОД.

DC01UK готовятся ввести в эксплуатацию в 2029 году, это сулит экономические выгоды как на местном, так и на общегосударственном уровнях. Оценочная стоимость проекта составляет £3,75 млрд ($4,9 млрд). На этапе строительства будет обеспечено не менее 500 рабочих мест. После ввода в эксплуатацию будет создано 200 постоянных рабочих мест. Местные жители смогут обучиться новым профессиям на базе учебного центра кампуса.

Источник изображений: DC10UK

Косвенно DC01UK обеспечит увеличение валовой добавленной стоимости (GVA) на £1,1 млрд/год и поможет создать 13,7 тыс. рабочих мест в смежных отраслях. Кроме того, DC01UK должен привлечь в регион инвестиции со всех концов света. В рамках проекта предполагается обновление местной дорожной и транспортной инфраструктуры, а также использование тепла ЦОД для отопления новых домов и предприятий — подобные проекты уже реализуются в Великобритании.

Строительство предусматривает использование технологий с низким уровнем углеродных выбросов, предусмотрена и генерация возобновляемой энергии на месте. Утверждается, что не менее 54 % участка останется «открытым зелёным пространством». В компании заявляют, что экопоказатели новых ЦОД превысят отраслевые стандарты. Кампус будет построен в интересах неназванного гиперскейлера.

Примечательно, что буквально вчера в Великобритании объявили о присвоении дата-центрам статуса критически важных инфраструктурных объектов, подлежащих разносторонней государственной защите. Новые меры повысят уверенность бизнеса в инвестициях в эту сферу в Великобритании. Отрасль, по некоторым оценкам, уже приносит £4,6 млрд выручки ежегодно.

Великобритания отнесла дата-центры к элементам критически важной национальной инфраструктуры (CNI). По данным The Register, в результате сектор будет обеспечен господдержкой, направленной на предотвращение негативных последствий сбоев в работе IT, примером которых может служить инцидент с CrowdStrike, а также на защиту от кибератак и природных катаклизмов.

ЦОД стали четырнадцатым дополнением к списку CNI-объектов Великобритании. Также в список входят гражданская атомная промышленность, энергетика, финансы, здравоохранение и др. Это первое обновление списка почти за 10 лет после добавления в него в 2015 году космической и оборонной сфер. Новость появилась через год после того, как NCSC предупредил о растущем уровне угрозы CNI-объектам Великобритании. В ноябре 2023 года было объявлено, что готовность справляться с киберугрозами в стране оставляет желать лучшего.

За поддержку отвечает специальная команда из высокопоставленных правительственных чиновников, которая будет отслеживать ландшафт угроз и прогнозировать возможные риски. Кроме того, та же команда будет отвечать за реагирование на чрезвычайные ситуации. Национальный центр кибербезопасности Великобритании (NCSC), а также другие спецслужбы будут получать приоритетный доступ к ЦОД, если те подвергнутся той или иной угрозе. Пока власти не комментируют, что подразумевается под «приоритетным доступом».

Источник изображения: Stanley Dai/unsplash.com

Как заявляют представители властей, уже само присвоение дата-центрам статуса CNI будет сдерживать киберпреступников от атак. СМИ усомнились в таких выводах, предположив, что это сделает объекты более привлекательной целью для злоумышленников. Также ожидается, что присвоение дата-центрам нового статуса повысит уверенность в будущих инвестициях в сектор.

Параллельно правительство Великобритании приветствовало инвестиции в объёме £3,75 млрд ($4,89 млрд) в крупнейший в Европе дата-центр, строительство которого запланировано компанией DC01UK в Хартфордшире, что недалеко от Лондона. После победы на выборах лейбористское правительство отозвали решения, блокировавшие строительство ЦОД в Хартфордшире и Бакингемшире, граничащими с «Большим Лондоном».

Впрочем, некоторые эксперты подчёркивают, что сегодня хранение и обработка данных обычно не ограничивается одной страной, так что любые новые правила стоит прорабатывать и принимать на международном уровне. При этом многие ЦОД обслуживают по несколько или даже много клиентов одновременно, поэтому ограничения затронут всех пользователей, даже тех, чей бизнес не относится к критической инфраструктуре. Это может замедлить инновации и повысить расходы. Возможно, операторам ЦОД придётся создать специальные кластеры только для критической инфраструктуры, что дополнительно усложнит решение вопросов и повысит затраты — необходимо будет найти баланс между безопасностью и небольшими затратами.

Облачная платформа Amazon Web Services (AWS), по сообщению Reuters, намерена инвестировать R$10,1 млрд (около $1,8 млрд) в развитие своей инфраструктуры ЦОД в Бразилии. Масштабная инициатива рассчитана на десять лет — до 2034 года. Средства, как отмечается, пойдут на «расширение, строительство, подключение, эксплуатацию и обслуживание дата-центров».

В 2011–2023 гг. AWS уже вложила в создание экосистемы ЦОД в этой стране около R$19,2 млрд ($3,39 млрд). У AWS есть облачный регион в Сан-Паулу с тремя зонами доступности, который был запущен в 2011 году. Кроме того, развёрнуты edge-площадки в Рио-де-Жанейро, Сан-Паулу и Форталезе. В 2020 году компания объявила, что в течение следующих двух лет инвестирует $240 млн в свою бразильскую облачную инфраструктуру, хотя подробности о том, на что будут потрачены эти деньги, не разглашались.

Источник изображения: Eduardo Soares / Unsplash

Другие ведущие облачные провайдеры также развивают инфраструктуру в Бразилии. В частности, Microsoft запустила регион São Paulo Azure (Brazil South) в Кампинасе (Campinas) в 2014 году. В 2021-м он был расширен до трёх зон доступности. В текущем году компания начала работу над дополнительными ЦОД в штате Сан-Паулу. В свою очередь, Google запустила бразильский облачный регион, также расположенный в Сан-Паулу, в 2017 году. А на днях принадлежащая DigitalBridge компания Scala Data Centers объявила о намерении построить огромный кампус ИИ ЦОД Scala AI City в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul).

Принадлежащая DigitalBridge компания Scala Data Centers планирует построить огромный кампус ИИ ЦОД Scala AI City в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul). Компания начнёт со скромных 54 МВТ и R$3 млрд ($500 млн) инвестеций, но со временем намерена масштабировать проект до 4,75 ГВт и $90 млрд. Scala уже приобрела около 700 га для AI City в муниципалитете Эльдорадо-ду-Сул (Eldorado do Sul) в 32 км от Порту-Алегри (Porto Alegre).

ЦОД изначально будет рассчитан на поддержку ИИ-нагрузок и предложит 150-кВт стойки с СЖО. Питание будет осуществляться исключительно из возобновляемых источников, PUE не превысит 1,2, а WUE и вовсе будет составлять 0, т.е. ЦОД не будет использовать питьевую воду. Отчасти достичь таких результатов поможет более прохладный климат юга страны. ЦОД будет введён в строй в течение двух лет и станет одним из крупнейших в Бразилии, где общая ёмкость ЦОД составляет 777 МВт.

Источник изображения: Scala Data Centers

В комментарии Datacenter Dynamics представитель оператора отметил, что проекты в Латинской Америке во многом отстают в технологическом плане из-за нестабильного курса валют и правовой неопределённости, но теперь ситуация изменилась. Появилась базовая инфраструктура для передачи данных и электроэнергии и огромные возможности генерации «чистой» энергии, равных которым нет во всём мире. В компании напомнили, что в Северной Вирджинии — крупнейшем рынке ЦОД ёмкостью 4 ГВт — вынуждены до семи лет ждать присоединения к энергосети

Тем временем в бразильских сетях имеются 12 ГВт, готовые к использованию, 5 из которых зарезервировала Scala. Предполагается, что в Северной Америке сегодня дата-центрам не хватает 4–6 ГВт. Так что клиенты вполне могут обратиться к бразильским ресурсам, если их не смущает достаточно высокая задержке при передаче данных.

Для сравнения, общая ёмкость дата-центров Microsoft Azure по всему миру оценивается приблизительно в 5 ГВт, хотя компания стремитально наращивает парк ЦОД. Две компании, одна из которых, по слухам, и есть Microsoft, ведут переговоры о строительстве в Северной Дакоте кампусов на 5–10 ГВт. Также на этой неделе Oracle объявила, что построит в США 1-ГВт ЦОД с питанием от малых модульных реакторов (SMR).

UPD 29.09.2024: Scala Data Centers получила $500 млн долгового финансирования, по $250 млн от Coatue Tactical Solutions и Investment Management Corporation of Ontario (IMCO).

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.