В Сент-Луисе (штат Миссури, США) появилось предложение о сдаче подземного дата-центра, расположенного в бывшем правительственном бункере. По данным Datacenter Dynamics, бункер по адресу 3280 McKibbon Road сдаётся на условиях договора типа Triple Net (NNN), при котором арендатор несёт полную ответственность за расходы на объект, включая не только собственно арендные платежи, но и все эксплуатационные и коммунальные расходы, налоги на имущество и страхование.

Бункер площадью 351 м² имеет фальшпол для собственно ЦОД и офисных помещений. Есть два резервных генератора, а питание обеспечивается от трёхфазной сети. В объявлении об аренде указывается, что объект был построен в качестве правительственного бункера на случай чрезвычайных ситуаций на данной территории.

Источник изображения: LoopNet

Помещения расположены под землёй, возведены из усиленного бетона. Объект защищён от ядерных ударов, неблагоприятных природных условий и ЭМИ-импульсов. В здании расположены системы обеспечения дополнительной надёжности. Другими словами, подобный «осколок» Холодной войны может быть вполне востребован и сегодня. Объект построен в 1976 году, находится в «хорошем состоянии» и готов к размещению клиентов. Утверждается, что он идеально подходит на случай создания центра хранения и восстановления данных и защиты от катастроф различного характера.

Это уже не первый случай, когда ЦОД создают в бывших военных и правительственных бункерах. Такими пользуются даже преступники — несколько лет назад в Германии местные силовые ведомства взяли под контроль крупный узел «даркнета», который тоже размещался в бывшем подземном убежище НАТО. В итоге восемь местных операторов получили тюремные сроки.

Белый дом, по сообщению Datacenter Dynamics, намерен создать рабочую группу по инфраструктуре ИИ ЦОД (Task Force on AI Datacenter Infrastructure). Такое решение принято по итогам встречи с участием ряда гиперскейлеров, разработчиков ИИ-платформ, чипмейкеров и компаний, занимающихся строительством ЦОД: AES, Alphabet, Anthropic, AWS, CoreWeave, Electric Power Research Institute, Exelon, Meta✴, Microsoft, NVIDIA, OpenAI и QTS.

Говорится, что власти США намерены упростить получение доступа к энергоресурсам и выдачу необходимых разрешений при создании новых дата-центров по всей стране суммарной мощностью в несколько ГВт. Создаваемая рабочая группа под руководством Национального экономического совета, Совета национальной безопасности и Офиса заместителя начальника штаба Белого дома обеспечит координацию политик в области развития дата-центров. Участники рынка и сторонние эксперты неоднократно подчёркивали, что именно проблемы с доступом к энергии ограничивает рост ИИ ЦОД.

Источник изображения: pixabay.com

Группе предстоит работать с участниками рынка, занимающимися ЦОД-инфраструктурой. Целями инициативы названы обеспечение необходимого финансирования, определение единых точек взаимодействия и расстановка приоритетов в области создания дата-центров, ориентированных на задачи ИИ. Предполагается, что это поможет в укреплении национальной безопасности и экономических интересов США. Кроме того, будут определены те сферы, в которых требуются законодательные изменения, направленные на поддержку развития отрасли ЦОД.

Вместе с тем Совет по выдаче разрешений будет сотрудничать с участниками рынка ИИ ЦОД для определения сроков и выделения средств агентствам, чтобы ускорить оценку проектов в области «чистой» энергии, подпадающих под акт FAST-41 (Fixing America’s Surface Transportation Act). Этот документ устанавливает новые процедуры координации и надзора над инфраструктурными проектами. Одновременно Корпус инженеров Армии США (USACE) определит общенациональные разрешения, которые могут помочь ускорить строительство дата-центров для ИИ.

Сообщается также, что Министерство энергетики США также создаст специальную группу по взаимодействию с участниками отрасли ЦОД для дальнейшей поддержки сектора. Ведомство намерено регулярно организовывать встречи с игроками соответствующего рынка, поставщиками решений в области «чистой» энергии, операторами энергосетей и другими заинтересованными сторонами «для стимулирования разработки инновационных решений».

Высокопроизводительный вычислительный комплекс Summit, установленный в Окриджской национальной лаборатории (ORNL) Министерства энергетики США, будет выведен из эксплуатации в ноябре 2024 года. Обслуживать машину становится всё дороже, а по эффективности она уступает современным суперкомпьютерам.

Summit был запущен в 2018 году и сразу же возглавил рейтинг мощнейших вычислительных систем мира TOP500. Комплекс насчитывает 4608 узлов, каждый из которых оборудован двумя 22-ядерными процессорами IBM POWER9 с частотой 3,07 ГГц и шестью ускорителями NVIDIA Tesla GV100. Узлы соединены через двухканальную сеть Mellanox EDR InfiniBand, что обеспечивает пропускную способность в 200 Гбит/с для каждого сервера. Энергопотребление машины составляет чуть больше 10 МВт.

Источник изображения: ORNL

FP64-быстродействие Summit достигает 148,6 Пфлопс (Linpack), а пиковая производительность составляет 200,79 Пфлопс. За шесть лет своей работы суперкомпьютер ни разу не выбывал из первой десятки TOP500: так, в нынешнем рейтинге он занимает девятую позицию.

Источник изображения: ORNL

Отправить Summit на покой планировалось в начале 2024-го. Однако затем была запущена инициатива SummitPLUS, и срок службы вычислительного комплекса увеличился практически на год. Отмечается, что этот суперкомпьютер оказался необычайно продуктивным. Он обеспечил исследователям по всему миру более 200 млн часов работы вычислительных узлов.

В настоящее время ORNL эксплуатирует ряд других суперкомпьютеров, в число которых входит Frontier — самый мощный НРС-комплекс в мире. Его пиковое быстродействие достигает 1714,81 Пфлопс, или более 1,7 Эфлопс. При этом энергопотребление составляет 22 786 кВт: таким образом, система Frontier не только быстрее, но и значительно энергоэффективнее Summit. А весной этого года из-за растущего количества сбоев и протечек СЖО на аукционе был продан 5,34-ПФлопс суперкомпьютер Cheyenne.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Техасский центр передовых вычислений (TACC) при Техасском университете в Остине (США) объявил о том, что мощности нового НРС-комплекса Vista полностью доступны открытому научному сообществу. Суперкомпьютер предназначен для решения ресурсоёмких задач, связанных с ИИ.

Формальный анонс машины Vista состоялся в ноябре 2023 года. Тогда говорилось, что Vista станет связующим звеном между существующим суперкомпьютером TACC Frontera и будущей системой TACC Horizon, проект которой финансируется Национальным научным фондом (NSF).

Vista состоит из двух ключевых частей. Одна из них — кластер из 600 узлов на гибридных суперчипах NVIDIA GH200 Grace Hopper, которые содержат 72-ядерный Arm-процессор NVIDIA Grace и ускоритель H100/H200. Обеспечивается производительность на уровне 20,4 Пфлопс (FP64) и 40,8 Пфлопс на тензорных ядрах. Каждый узел содержит локальный накопитель вместимостью 512 Гбайт, 96 Гбайт памяти HBM3 и 120 Гбайт памяти LPDDR5. Интероконнект — Quantum 2 InfiniBand (400G).

Второй раздел суперкомпьютера объединяет 256 узлов с процессорами NVIDIA Grace CPU Superchip, содержащими два кристалла Grace в одном модуле (144 ядра). Узлы укомплектованы 240 Гбайт памяти LPDDR5 и накопителем на 512 Гбайт. Интерконнект — Quantum 2 InfiniBand (200G). Узлы произведены Gigabyte, а за интеграцию всей системы отвечала Dell.

Источник изображения: TACC

Общее CPU-быстродействие Vista находится на отметке 4,1 Пфлопс. В состав комплекса входит NFS-хранилише VAST Data вместимостью 30 Пбайт. Суперкомпьютер будет использоваться для разработки и применения решений на основе генеративного ИИ в различных секторах, включая биологические науки и здравоохранение.

Юридическая фирма Robbins Geller Rudman & Dowd LLP, по сообщению ресурса Storage Newsletter, раскрыла информацию о том, что в коллективном иске под названием «Averza против Super Micro Computer» (№24-cv-06147; Северный Округ Калифорнии) указанный производитель серверного оборудования, а также некоторые его руководители обвиняются в нарушении Закона о ценных бумагах 1934 года.

Напомним, ранее инвестиционная компания Hindenburg Research опубликовала разгромный доклад об операциях Supermicro. В частности, выявлены соглашения между связанными сторонами — такие договоры обычно заключаются между компанией и её дочерними структурами на нерыночных условиях. Hindenburg Research также обвинила Supermicro в нарушении санкционного режима. После этого акции компании упали в цене более чем на 20 %.

Источник изображения: Supermicro

В иске №24-cv-06147, а также в позднее поданной жалобе «Menditto против Super Micro Computer» (№24-cv-06149; Северный Округ Калифорнии) компания Supermicro обвиняется в ложных и (или) вводящих в заблуждение заявлениях и в сокрытии определённой информации. Компании в числе прочего вменяется:

• Регулярное завышение объёмов продаж и занижение расходов;
• Повторный приём на работу нескольких руководителей, которые были уволены из-за предыдущего скандала с бухгалтерской отчетностью;
• Тесные отношения со своими связанными сторонами;
• Продажи продукции заказчикам, подпавшим под американские санкции в связи со сформировавшейся геополитической обстановкой.

Отмечается, что 28 августа 2024 года Supermicro объявила о задержке подачи формы 10-K за 2024 финансовый год, заявив, что «руководству необходимо дополнительное время для завершения оценки состояния и эффективности своих внутренних средств контроля над финансовой отчётностью».

Техасский стартап Xockets подал в Окружной суд США по Западному округу Техаса в городе Уэйко (Waco) на NVIDIA и Microsoft, обвинив их в нарушении антимонопольного законодательства и патентных прав. Сам иск был опубликован на этой неделе на сайте Xockets.

Согласно иску, NVIDIA незаконно использунт запатентованную Xockets технологию нового класса процессоров — Data Processing Unit (DPU), изобретённую соучредителем Xockets Парином Далалом (Parin Dalal) в 2012 году. Эта технология повышает эффективность облачной инфраструктуры, позволяя разгружать CPU, перенося на DPU рабочие нагрузки с интенсивным использованием данных, такие как обеспечение безопасности, обслуживание сетей и хранилищ, которые делают возможными распределённые вычисления в облачных ЦОД, а также обучение больших языковых моделей.

Xockets подала свою первую патентную заявку на DPU в мае 2012 года и теперь владеет несколькими патентами, которые касаются её архитектуры и компоненты DPU. Как утверждает Xockets, технология является основополагающей для систем ИИ на базе ускорителей NVIDIA и ИИ-платформ Microsoft. По её словам, решения NVIDIA BlueField, ConnectX и NVLink Switch, основаны на её запатентованной технологии.

Xockets сообщила, что её патенты были изначально нарушены компанией Mellanox после того, как DPU Xockets был продемонстрирован на конференции в 2015 году. И NVIDIA продолжила деор Mellanox после её приобретения в марте 2019 года за $6,9 млрд. Microsoft также указана в качестве нарушителя патентных прав, поскольку, являясь клиентом NVIDIA, имеет «привилегированный доступ к нарушающим права GPU-серверам NVIDIA для ИИ».

Источник изображения: Xockets

После подачи иска Xockets заявила: «Использование NVIDIA запатентованной технологии DPU Xockets позволило NVIDIA монополизировать сферу серверов ИИ на базе GPU, а Microsoft — сферу ИИ-платформ на базе GPU, что имеет решающее значение для их успеха и рыночной капитализации».

Xockets также обвинила компании в картельном соглашении, выразившемся в создании организации под названием RPX по управлению патентными рисками, которая, по словам стартапа, была «сформирована по просьбе крупных технологических компаний для создания картелей покупателей интеллектуальной собственности», чтобы избежать уплаты справедливой рыночной цены за запатентованную технологию DPU Xockets.

В иске указано, что Xockets пыталась лицензировать свою технологию NVIDIA и Microsoft, но компании заключили соглашение о проведении любых переговоров по лицензированию через RPX, которая также указана в иске в числе ответчиков.

Xockets потребовала установить судебный запрет на деятельность незаконного картеля и выпуск новых ИИ-систем на базе ускорителей NVIDIA Blackwell, а также использование Microsoft систем Blackwell для своих платформ генеративного ИИ. Xockets также требует возмещения ущерба в максимально допустимом законом объёме.

Взрывной рост ИИ сделал индустрию ЦОД одной из самых привлекательных сфер для вложения средств. Как сообщает The Register, NVIDIA совместно с другими инвесторами намерена вложить $160 млн в техасского оператора дата-центров Applied Digital, ранее известного как Applied Blockchain. Это не первый заметный игрок на рынке майнинговых ЦОД, которые переключился на ИИ и получил поддержку NVIDIA.

Акции Applied Digital торгуются на Nasdaq, но по данным Silicon Angle, в данном случае компания привлекла финансирование посредством т.н. «частного размещения» (private placement), которое предусматривает прямую передачу акций инвесторам без посредничества биржи. При этом в сделке обычно участвуют заранее одобренные компании. Applied Digital выпустила 49,38 млн акций по $3,24 за каждую.

Applied Digital занимается строительством дата-центров с СЖО для высокоплотных вычислений. Компания также сдаёт в аренду кластеры ускорителей, в частности, NVIDIA H200 и A40. Облачное подразделение — довольно весомая часть бизнеса Applied Digital. В финансовом году, закончившемся 31 марта, на его долю пришлось $29 млн из $165,6 млн общей выручки. За четыре последних месяца в эксплуатацию введено четыре новых ИИ-кластера, а ещё два запустят в ближайшие месяцы.

Источник изображения: Applied Digital

В августе Applied Digital объявила о строительстве 400 МВт ёмкостей для неназванного американского облачного оператора. Речь идёт о строящемся 100-МВт кампусе в Эллендейле (Северная Дакота) и двух других объектах. По данным СМИ, $160 млн новых инвестиций потратят на создание основы для раундов долгового финансирования, а оно уже будет истрачено на расширение кампуса ЦОД в Северной Дакоте и облачные инициативы компании. Интересно, что именно в этом штате две неизвестных компании готовы потратить $250 млрд на гигантские ИИ ЦОД.

Поскольку передовые ускорители NVIDIA стоят порядка $30-40 тыс. каждый, некоторые операторы вынуждены обращаться за крупными займами. Так, в июле оператор CyrusOne занял $7,9 млрд для покупки новейших ускорителей, не считая $1,8 млрд, привлечённых ещё весной. В мае CoreWeave привлекла $1,1 млрд, а несколькими неделями позже убедила инвесторов одолжить ещё $7,5 млрд. Lambda Labs начала текущий год с раунда финансирования на $320 млн, ещё $500 млн она привлекла весной и теперь планирует закупить десятки тысяч новых ускорителей.

Помимо традиционных венчурных инвесторов вроде BlackRock, Magnetar Capital и Coatue, в некоторых из подобных проектов участвует и сама NVIDIA, ранее уже поддерживавшая CoreWeave, которая прославилась тем, что взяла в долг $2,3 млрд под залог ускорителей, чтобы купить ещё больше ускорителей. Мотивация NVIDIA очевидна — продавать ускорители компания сможет до тех пор, пока на них есть спрос, а спрос может обеспечить только строительство новых дата-центров.

Американская телекоммуникационная корпорация Verizon объявила о заключении соглашения по приобретению провайдера широкополосного интернет-доступа Frontier Communications Parent. Сумма сделки составляет около $20 млрд; осуществить её планируется полностью за счёт денежных средств.

Frontier специализируется исключительно на оптоволоконных сетях. Компания обслуживает примерно 2,2 млн клиентов в 25 американских штатах. Путём приобретения этого провайдера Verizon планирует расширить свою ВОЛС-инфраструктуру, охватив 31 штат и округ Колумбия. Объединённая организация потенциально сможет обслуживать 25 млн клиентов.

По условиям соглашения, Verizon приобретет Frontier из расчёта за $38,5 за акцию, что представляет собой премию в размере 43,7 % к 90-дневной средневзвешенной стоимости ценных бумаг ШПД-провайдера по состоянию на 3 сентября 2024 года (последний торговый день перед сообщениями СМИ о слиянии). Сделка единогласно одобрена советами директоров обеих компаний.

Источник изображения: Verizon

Ожидается, что транзакция будет осуществлена в течение примерно 18 месяцев при условии одобрения акционерами Frontier и получения необходимых разрешений со стороны регулирующих органов. В качестве консультантов в рамках соглашения выступают Centerview Partners LLC, Morgan Stanley & Co. LLC, Debevoise & Plimpton LLP, PJT Partners, Barclays, Cravath, Swaine & Moore LLP, Paul, Weiss, Rifkind, Wharton & Garrison LLP.

По состоянию на 30 июня 2024-го общий долг Frontier составлял $11,25 млрд, Verizon рефинансирует его в рамках сделки. Нужно отметить, что в 2016 году Verizon продала свой телевизионный и интернет-бизнес в Калифорнии, Техасе и Флориде компании Frontier за $10,54 млрд. В периметр этой сделки вошла часть оптоволоконных сетей Verizon. На сегодняшний день оптоволоконная инфраструктура Verizon охватывает менее 10 % территории США, а приобретение Frontier даст ещё примерно 3 %.