Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.

По неподтверждённым пока данным, компания AMD провалила попытку снизить производительность своих ИИ-ускорителей таким образом, чтобы те соответствовали экспортным ограничениям США. Bloomberg сообщает, что по этой причине Вашингтон пока запретил поставлять их в Китай.

Это довольно распространённая тактика среди производителей чипов — Китай является одним из крупнейших рынков полупроводников в мире и отказываться от него по политическим соображениям компании не хотели бы, поскольку должны учитывать интересы акционеров, рассчитывающих на максимальную прибыль. Возможно, рынок заметно вырастет в ближайшее время, поскольку Пекин огласил планы сделать ИИ сердцем экономического развития. Другими словами, выпуск продуктов для Китая — очень выгодный бизнес.

В Bloomberg предполагают, что в AMD посчитали новые ускорители, известные как MI309, пригодными для продажи в Поднебесную, но Министерство торговли США, ответственное за выдачу экспортных лицензий, посчитало чипы чересчур производительными. Речь идёт об урезанной версии MI300, при этом ускорители MI210 в Китай поставляются. Упрощённые ускорители A800 и H800 уже выпускала NVIDIA, но после ужесточения запретов в октябре 2023 года она разработала новые варианты (H20, L20 и L2) с ещё более скромной производительностью. Пока же её продажи в КНР упали.

Источник изображения: Maxence Pira/unsplash.com

Тем временем китайские IT-гиганты накопили огромные запасы ускорителей впрок и компании вроде Baidu и Tencent сообщают, что складских остатков хватит на год-два бесперебойного обеспечения ИИ-проектов. Примечательно, что Baidu говорит о своих разработках в контексте их сравнения с мировыми, а не местными конкурентами. При этом Baidu закупила и местные ИИ-ускорители Huawei Ascend 910B. Хотя китайские лидеры полупроводниковой отрасли хотя и отстают от AMD, Intel и NVIDIA, сбрасывать со счетов их не стоит.

При этом некоторые китайские производители чипов занимаются созданием совместимых с CUDA решений. Это косвенно свидетельствует о том, что просто качественного «железо» для успеха мало — необходима совершенная программная среда для его эксплуатации. Это пока является слабым местом китайских разработок, отмечает The Register.

Облачный гигант Amazon Web Services (AWS) приобрёл у Talen Energy Corporation кампус ЦОД, строящийся у атомной электростанции Susquehanna в Пенсильвании (США). По данным Datacenter Dynamics, ещё на минувшей неделе Talen объявила о продаже кампуса «крупному облачному провайдеру». В презентации для инвесторов было раскрыто, что речь идёт об AWS.

Кампус Cumulus Data площадью более 485 га впервые анонсировали ещё в 2021 году — он находится в непосредственной близости от принадлежащей Talen АЭС мощностью 2,5 ГВт. Компания начала строительство в 2021 году и завершила первый объект гиперскейл-уровня на 28,9 тыс. м² и 48 МВт в 2023 году. Параллельно возводилась отдельная ферма для криптомайнинга для компании TeraWulf, но она, похоже, не является частью сделки с Amazon.

Изображение: Cumulus Data

Площадка и активы Cumulus Data проданы за $650 млн — $350 млн выплачены сразу, ещё $300 млн будут выплачены после завершения этапов строительства, запланированных на 2024 год. Дополнительно предусмотрена и гарантированная продажа «безуглеродной» электроэнергии станции Susquehanna по фиксированной цене, которая может быть пересмотрена только через 10 лет. В Talen уже сообщили, что довольны сделкой, которая принесла выгода и обеспечила возврат инвестиций.

Источник: Talen Energy

Ожидается, что в конечном итоге ёмкость кампуса AWS достигнет 960 МВт. У компании есть обязательства по минимальному потреблению энергии, они будут увеличиваться в течение нескольких лет с шагом в 120 МВт. Впрочем, у AWS остаётся возможность единовременно ограничить обязательства лимитом в 480 МВт. В рамках сделки предусмотрены и другие договорённости. Например, Talen обязуется поставлять с АЭС электричество кампусу AWS в рамках PPA.

Электростанция Susquehanna Steam Electric мощностью 2,5 ГВт была сдана в эксплуатацию в 1983 году — это одна из крупнейших атомных станций в США. Теперь ей владеет Talen Energy, основанная в 2015 году. В 2020 году компания основала Cumulus Growth для инвестиций «на стыке цифровой инфраструктуры и энергетики», а также Cumulus Coin, занимающуюся майнингом криптовалют. В России с 2018 года действует дата-центр «Калининский», расположенный у одноимённой АЭС в Тверской области.

Расположенная в Нью-Йорке Брукхейвенская национальная лаборатория (Brookhaven National Laboratory) Министерства энергетики США перепрофилировала помещения, относившиеся к ускорителю частиц, в дата-центр для научных исследований. Datacenter Dynamics сообщает, что после реновации объект вошёл в состав научно-вычислительного центра (SDDC) при лаборатории.

Проект обошёлся в $74,85 млн, средства были получены в рамках программы Science Laboratories Infrastructure Министерства энергетики. Новый ЦОД занимает площадь 5481 м². Ранее комплекс обслуживал источник синхротронного излучения NSLS, который работал с 1982 по 2014 год. В 2015 году его заменил проект NSLS-II. Благодаря NSLS были получены две Нобелевские премии по химии.

Источник изображения: Brookhaven National Laboratory

Строительство ЦОД началось в III квартале 2021 года, а функционировать он начала ещё в IV квартале 2021. Однако переходный период не завершился до сих пор. К концу 2022 года в дата-центре имелись 54 серверных стойки, в том числе обслуживающие NSLS-II. Ожидалось, что к концу 2023 года число стоек увеличится до 106. Из 135 стоек старого ЦОД только 20 перенесли в здание NSLS, остальные утилизировали или заменили. В 2024–2027 гг. никаких крупных переездов более не планируется.

Источник изображения: Brookhaven National Laboratory

Кампус соответствует уровню Tier III, а также отвечает требованиям к надёжности и доступности. Дата-центр может длительное время работать без магистрального электричества и охлаждённой воды извне. Уровень PUE равен 1.2, а суммарная ёмкость составляет 9,6 МВт. Инфраструктура отдельные помещения для ленточной библиотеки, сетевое оборудования и основного машинного зала. Последний который разбит на две секции: для HTC- и HPC-вычислений.

Источник изображения: Brookhaven National Laboratory

Доступ к мощностям нового объекта получают учёные-физики, биологи, климатологи и, конечно, специалисты по энергетике. В частности, обрабатываются данные, полученные ускорителем NSLS-II, а также другая информация. Дополнительно ЦОД поддерживает международные исследования, проводимые экспертами Большого адронного коллайдера и ускорителя SuperKEKB в Японии.

Китайские киберпреступники из группировки Volt Typhoon внедрили вредоносный код в сотни устаревших SOHO-маршрутизаторов Cisco и Netgear. В ФБР заявляют, что целью хакеров является критическая информационная инфраструктура США. Злоумышленники загрузили VPN-модуль на уязвимые устройства и сформировали зашифрованный канал связи c ботнетом KV Botnet. При этом, как утверждается, группировка планировала атаки на водоочистные сооружения, электросети, нефте- и газопроводы, а также транспортные системы.

Специалистам ФБР удалось нейтрализовать ботнет. Для выявления заражённых устройств отсылались специфичные для ботнета команды: на них реагировали только заражённые маршрутизаторы. Затем были получены разрешения на массовый удалённый доступ к инфицированному оборудованию. Сотрудники правоохранительных органов собрали сведения о деятельности зловреда, после чего удалили вирус из памяти роутеров, не затронув иные данные. Таким образом, ФБР фактически получило контроль над не принадлежащим ведомству сетевым оборудованием для нейтрализации угрозы, что само по себе является прецедентом.

Источник изображения: pixabay.com

Агентство по кибербезопасности и защите инфраструктуры США заявляет, что кибервторжения со стороны Китая становятся всё более изощрёнными. Для защиты маршрутизаторов рекомендуется использовать функцию автоматического обновления прошивки и ограничить доступ к интерфейсу управления только с устройств, подключенных к локальной сети.

Директор ФБР Кристофер Рэй (Christopher Wray) сообщил Конгрессу США, что специалистам удалось сорвать диверсию хакерской группировки. Внедрённое в маршрутизаторы вредоносное ПО злоумышленники намеревались задействовать в случае усиления конфликта с США. Китайские власти отрицают причастность к Volt Typhoon. «Китайские хакеры нацелены на критически важные элементы американской гражданской инфраструктуры, готовясь нанести реальный вред в случае конфликта», — заявил Рэй.

Гавайский университет (UH) и компания Ocean Networks, Inc. (ONI) объявили о государственно-частном партнёрстве по строительству новой подводной волоконно-оптической кабельной системы, которая свяжет Гавайские острова и обеспечит высокоскоростной широкополосный интернет-доступ по всему штату Гавайи.

Стоимость проекта под названием HIFL (Hawaiian Islands Fiber Link) оценивается в $120 млн. Он является ключевым элементом масштабной инициативы Connect Kākou, цель которой заключается в том, чтобы предоставить всем слоям гавайского населения надёжные и доступные интернет-услуги.

ONI отвечает за строительство, эксплуатацию и обслуживание межостровной кабельной системы. Финансирование частично будет осуществляться посредством федерального гранта. Оставшиеся средства ONI получит через прямые инвестиции и обеспеченный долг. После ввода в эксплуатацию система HIFL сможет обрабатывать большие объёмы данных с минимальными задержками. Эта линия станет межостровной магистралью инициативы Connect Kākou.

Источник изображения: businesswire.com

В состав HIFL войдут 24 пары волокон с расчётным сроком службы 25 лет. Запуск системы планируется в конце 2026 года. Проектом управляет Системный офис информационных технологий UH при поддержке Исследовательской корпорации Гавайского университета. Ожидается, что магистраль HIFL будет нейтральной к операторам связи с площадками на Оаху, Гавайях, Мауи, Кауаи, Ланаи и Молокаи.

Отмечается также, что в целом бюджет инициативы Connect Kākou превышает $500 млн в виде федеральных грантов, государственных средств и частных инвестиций. Реализация программы поможет в устранении цифрового неравенства: почти каждое десятое домохозяйство на Гавайях не имеет интернет-подключения.

В рамках проекта Data Center Ridge в Западной Вирджинии (США) будет изучена эффективность применения шахтных вод с заброшенных рудников для охлаждения местных ЦОД, передаёт Datacenter Dynamics. В частности, планируется задействовать 37,8 млн м³ воды с бывшей шахты Bullitt близ городка Аппалачия (Appalachia) в округе Уайз (Wise). Проект ожидает грант в размере $3 млн в рамках федеральной программы Abandoned Mine Land Economic Revitalization (AMLER), ещё $1,5 млн намерено выделить Министерство энергетики США.

Проект включен в план по перестройке и обустройству территории угольной шахты (26,3 тыс. га), закрытой ещё в 1990-х годах. Финансирование будет поступать из разных источников, включая некоммерческую организацию объединение Energy Delta Lab, поддерживаемую местными властями, бизнесом и коммунальными службами. Data Center Ridge займёт площадь более 160 га и получит до 1 ГВт «чистой» энергии. Он позиционируется как самый экоустойчивый и энергоэффективный кампус ЦОД в мире.

Источник изображения: Energy Delta Lab

Energy Delta Lab разработала HVAC-систему с закрытым контуром, которая использует подземные воды с температурой ниже 12 °C. Она же работает над типовым проектом дата-центра мощностью 36 МВт и площадью 23 тыс. м², включающего офисные помещения, телеком-инфраструктуру, электро- и техническое оснащение, а также системы безопасности. Для обслуживания такого объекта потребуется порядка 40 человек. Предполагается, что такие типовые дата-центры заинтересуют гиперскейлеров.

Кампус является часть гораздо более крупной инициативы Virginia Energy Plan объёмом до $8,25 млрд. Energy Delta Lab как раз и была сформирована в рамках этой инициативы. Организация будет реализовать различные инициативы в области энергетики, в том числе связанные с природным газом и водородом, АЭС, ветряной и солнечной энергией, а также аккумуляторными хранилищами. Территория шахты, например, была выбрана в качестве потенциальной площадки для ЦОД с питанием от малых модульных реакторов (SMR). Ожидается, что подобные проекты помогут привлечь в регион новые ЦОД.

Медиакомпания X/Twitter получила налоговую льготу на сумму $10,1 млн за то, что согласилась разместить оборудование ЦОД в Атланте (Джорджия). Datacenter Dynamics сообщает, что бизнес Илона Маска (Elon Musk) пригрозил в противном случае отправить оборудование для ИИ-вычислений в Портленд (Орегон).

На прошлой неделе Управление по развитию округа Фултон (Development Authority of Fulton County) провело голосование, в результате которого подавляющим большинством голосов (шесть против двух) решено предоставить налоговые льготы сроком на 10 лет для проекта стоимостью $700 млн в Атланте. Предполагается дооснащение уже существующего объекта.

Фото: Kelly Sikkema / Unsplash

Инфраструктуру будут использовать для создания ИИ-продуктов X Platform. Например, больших языковых моделей (LLM) и инструментов семантического поиска. X заказала 10 тыс. ускорителей для этого проекта в апреле 2023 года, но в декабре местные власти отказали ей в налоговых льготах. X заявила о необходимости подобной «скидки», чтобы якобы не пришлось делать трудный выбор и размещать оборудование в Портленде (Орегон).

Несмотря на явный шантаж, в декабре X признала, что начнёт обновлять инфраструктуру независимо от того, предоставят ли местные власти льготу или нет. В январе представитель X признался, что большая часть ИИ-оборудования уже доставлена в ЦОД в Атланте, не считая одной партии стоимостью $200 млн. Тем не менее, он предупредил, что оставшееся «железо» могут направить в Портленд, если власти не пойдут навстречу.

X ссылается на то, что без льгот обслуживание инфраструктуры в Атланте будет на 21 % дороже, чем в Орегоне, а при их наличии стоимость в обоих штатах будет одинаковой. При этом проект не предусматривает создания новых рабочих мест, хотя и позволит сохранить 24 из уже существующих. Налоговые поступления в следующие 10 лет должны составить более $16 млн.

Фото: Taylor Vick / Unsplash

Пикантность ситуации в том, что у X практически не осталось собственных площадок. ЦОД в Атланте порядка десяти лет является одним из основных для компании. После прихода Маска компания покинула сначала один дата-центр в Сакраменто (Калифорния), а затем и второй, причём один из них в итоге достался Tesla. Суммарно компания высвободила 48 МВт, перенеся часть нагрузок в оставшиеся ЦОД. Ожидалось, что она сократит присутствие и в Атланте.

Компанию также обвиняли в иной форме «оптимизации» — неуплате счетов облачным провайдерам, включая Google, Oracle и Amazon. Маск требовал пересмотреть условия контрактов, но в результате X/Twitter столкнулась с техническими проблемами, вызвавшими сбои в работе сервисов. При этом компания по-прежнему во многом полагается на облака.

Облачная платформа Amazon Web Services (AWS), по сообщению ресурса Datacenter Dynamics, займётся реализацией крупного проекта по строительству сети дата-центров в округе Мадисон (Миссисипи, США). Инициатива получила название «Проект Атлас» (Project Atlas). Суммарные затраты оцениваются в $10 млрд.

«Проект Атлас» уже одобрен на законодательном уровне, причём власти утвердили ряд стимулирующих мер. Это, в частности, 100 % освобождение от корпоративного подоходного налога на 10 лет, а также налоговые льготы на продажи и любые инвестиции, сделанные в течение 12 месяцев после завершения проекта. Amazon также получит возврат в размере 3,15 % от затрат на строительство и полное освобождение от налога на продажи и использование оборудования.

Более того, компания получит 30-летнее освобождение от налогов при условии, что будет ежегодно инвестировать в регионе как минимум $500 млн и открывать по 50 дополнительных рабочих мест. В результате Amazon начнёт платить подоходный налог через 10 лет, а все налоговые льготы прекратят своё действие только в 2057 году.

Изображение: AWS

Согласно обнародованным данным, инвестиции Amazon предусматривают создание ряда кампусов ЦОД в двух промышленных зонах округа Мэдисон, что позволит сформировать не менее 1 тыс. рабочих мест. Эти дата-центры займут в общей сложности площадь около 688 га. Ожидается, что в проект будут вовлечены 6–7 тыс. строителей. Завершить работы планируется к 2027 году.

Питанием новые объекты обеспечит энергетическая компания Entergy Mississippi. Для этого будут развёрнуты дополнительные солнечные фермы в Хиндсе, Вашингтоне и Таллахатчи. Ожидается, что Entergy Mississippi вложит в эти площадки от $2 до $3 млрд. Amazon утверждает, что с 2010 года она инвестировала $2,3 млрд в проекты, включающие пять солнечных ферм и ветряную электростанцию в Миссисипи.

Изображение: AWS

Кроме того, Amazon пообещала создать различные обучающие программы, в том числе бесплатные, в области сетевых инфраструктур, дата-центров и облаков для старшеклассников, студентов и преподавателей местных образовательных организаций.

Корпорация Meta✴, по сообщению Bloomberg, построит в Индиане (США) один из своих первых дата-центров, специально спроектированных для генеративного ИИ. Ожидается, что затраты на реализацию этого масштабного проекта составят приблизительно $800 млн. Об инициативе объявили губернатор штата Индиана и руководители Meta✴.

ЦОД расположится в центре River Ridge в Джефферсонвилле, заняв площадь около 65 тыс. м². Планируется, что объект будет получать питание исключительно от возобновляемых источников энергии. Дата-центр будет оснащён стойками высокой плотности. Говорится о применении собственных чипов и сторонних ускорителей. Серверы и сетевые компоненты будут использовать одну и ту же физическую инфраструктуру. Жидкостное охлаждение планируется реализовать по схеме Direct-to-chip.

Источник изображения: pixabay.com

В процесс строительства ЦОД будут вовлечены около 1250 инженеров и рабочих. Запустить объект в эксплуатацию компания Meta✴ намерена к 2026 году. Он же даст работу примерно сотне высокооплачиваемых специалистов. По условиям соглашения с властями штата, Meta✴ получит 35-летнее освобождение от налога с продаж в Индиане. Причём этот срок может быть увеличен, если компания решит и дальше развивать свои кампусы ЦОД в регионе.