Базирующаяся в ОАЭ компания Core42 занялась строительством ИИ-суперкомпьютера, в эксплуатацию объект должны ввести до конца текущего года. HPC Wire сообщает, что компьютер Condor Galaxy 3 (CG-3) получит 192 узла с 5-нм мегачипами Cerebras WSE-3 и 172,8 млн ИИ-ядер.

WSE-3 в 50 раз крупнее актуальных ИИ-ускорителей NVIDIA и, конечно, гораздо производительнее. По данным Core42, развёртывание CG-3 в Далласе (Техас) начнётся в июне и завершится в сентябре–октябре. Core42 уже считается значимым игроком на рынке ЦОД, HPC- и ИИ-систем. Машины G42 уже попадали в TOP500 — это системы Artemis (NVIDIA) и POD3 (Huawei). Последняя покинула рейтинг в 2023 году.

Суперкомпьютер CG-3, как теперь сообщается, получит 192 узла CS-3. Каждый узел с чипом WSE-3 обеспечивает до 125 Пфлопс (FP16 с разрежением), так что общая производительность Condor Galaxy 3 составит 24 Эфлопс. Всего же Cerebras намеревается построить девять суперкомпьютеров семейства Condor Galaxy. Машины GC-1 и GC-2 на базе чипов WSE-2 также созданы при участии G42.

Источник изображения: Cerebras

Core42 появилась в 2023 году в результате слияния G42 Cloud и G42 Inception AI. Родительская компания G42, основанная в 2018 году, также сотрудничает с NVIDIA, AMD, OpenAI и другими компаниями. G42 не так давно попала под пристальное внимание американских властей. Её подозревали в том, что она помогала Китаю получать доступ к новейшим ускорителям NVIDIA и другому ИИ-оборудованию американских компаний. В результате, как считается, она была вынуждена отказать от сотрудничества с Huawei.

Также сообщалось, что G42 заключила с американским правительством взаимовыгодное секретное соглашение — компания обязалась лишить КНР доступа к ускорителям, а в ответ ей самой разрешали сохранить доступ к продукции NVIDIA. Не исключено, что были оговорены и иные пункты. По некоторым данным, именно в то же время, когда было заключено соглашение с руководством США, Microsoft инвестировала в G42 около $1,5 млрд.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

Прошла всего неделя после того, как Google удалила облачную учётную запись австралийского пенсионного фонда UniSuper, но, похоже, инженеры компании только начинают входить во вкус. По данным The Register, в минувшую пятницу Google Cloud нарушила работу десятков сервисов.

Изначально в Google Cloud объявили о запуске «автоматизации техобслуживания для отключения неиспользуемого компонента контроля сети в одной локации». Но в результате отключение состоялось сразу в 40 локациях, так что почти три часа пользователи 33 сервисов Google Cloud, включая крупные службы вроде Compute Engine и Kubernetes Engine, столкнулись с рядом проблем:

• новые инстансы не имели сетевого подключения;
• перенесённые/перезапущенные виртуальные машины потеряли сетевое подключение;
• конфигурации виртуальных сетей (брандмауэров и т.п.) обновить не удалось;
• частичная потеря пакетов для отдельных сетевых потоков VPC (Virtual Private Cloud) в регионах us-central1 и us-east1;
• невозможность выделения портов (DPA) в Cloud NAT;
• сбои при создании новых узлов и пулов GKE (Google Kubernetes Engine).

Прочие сервисы, требовавшие использования виртуальных машин в Google Cloud Engine или обновление конфигураций сети, столкнулись с проблемами с 15:22 по 18:10 по тихоокеанскому времени США.

Источник изображения: NOAA/unsplash.com

В Google объяснили инциденты ошибкой в системе автоматизированного отключения сетей. После перезапуска некорректно работавшего компонента проблема была устранена. Инструмент автоматизации заблокировали до принятия необходимых мер безопасности, а клиентам сообщили, что пока риска повторения сбоев нет. Впрочем, подмоченная репутация компании позволяет усомниться в её заявлениях. Облачное подразделение Google пообещало со временем раскрыть больше информации о произошедшем.

Компания NVIDIA сообщила о том, что её система DGX SuperPOD ляжет в основу нового вычислительного комплекса для задач ИИ, который будет использоваться различными правительственными учреждениями США для проведения исследований в области климатологии, здравоохранения и кибербезопасности.

Внедрением суперкомпьютера занимается MITRE — американская некоммерческая организация, специализирующаяся в области системной инженерии. Она ведёт разработки и исследования в интересах госорганов США, включая Министерство обороны (DoD), Федеральное управление гражданской авиации (FAA) и пр.

Система DGX SuperPOD станет основой вычислительной платформы MITRE Federal AI Sandbox, доступ к ресурсам которой будет предоставляться различным организациям на федеральном уровне. Государственные учреждения смогут сообща использовать суперкомпьютер для обучения больших языковых моделей (LLM), развёртывания генеративных приложений и других современных ИИ-решений.

Источник изображения: NVIDIA

В состав MITRE Federal AI Sandbox войдут 32 системы NVIDIA DGX H100, а общее количество ускорителей NVIDIA H100 составит 256 штук. Производительность на операциях ИИ будет достигать примерно 1 Эфлопс. Быстродействие FP64 — приблизительно 17 Пфлопс. Ввод суперкомпьютера в эксплуатацию состоится позднее в текущем году.

«Развёртывание MITRE DGX SuperPOD поможет ускорить реализацию инициатив федерального правительства США в области ИИ. Технологии ИИ обладают огромным потенциалом для улучшения государственных услуг в гражданской области и решения серьёзных проблем, в том числе в сфере кибербезопасности», — сказал Энтони Роббинс (Anthony Robbins), вице-президент NVIDIA.

После того, как компании Foxconn не удалось наладить крупное производство на площадке в Маунт-Плезант (Висконсин, США), её передали Microsoft для строительства кампуса ЦОД общей стоимостью $3,3 млрд, передаёт The Register.

Получив налоговые льготы на сумму в $3 млрд, Foxconn так и не смогла ими воспользоваться — проект не отвечал требованиям штата, например, по количеству созданных рабочих мест. Компанию даже поймали на подтасовке статистики путём найма сотрудников с последующим увольнением сразу после подачи отчётности. К 2021 году объём планируемых инвестиций сократился до $672 млн, а налоговые льготы — до $80 млн.

Впрочем, Foxconn так и не удалось реализовать амбициозный проект — инициатива по созданию 13 тыс. рабочих мест провалилась, было снесено порядка 100 домов и ферм, а на подготовку площадки совершенно зря ушло $500 млн средств налогоплательщиков. Компания смогла сформировать только небольшое производство серверов.

Источник изображения: Dave Hoefler/unsplash.com

В 2023 году участок в 400 га, предназначавшийся для строительства завода, приобрела Microsoft. Здесь компания намерена построить кампус ЦОД, модернизировать местную инфраструктуру и совместно с Университетом Висконсина создать центр AI Co-Innovation Lab для внедрения машинного обучения в процессы автоматизации и обучения 100 тыс. местных жителей генеративным ИИ-технологиям вроде Copilot. Дополнительно компания намерена подготовить и сертифицировать 3 тыс. местных разработчиков ИИ-систем и 1 тыс. техников для обслуживания ЦОД.

Строительство началось в конце 2023 года. Ранее местные СМИ писали минимум о четырёх дата-центрах на территории кампуса. В Microsoft попытались развеять страхи, что кампус будет потреблять слишком много энергии — компания работает с National Grid над строительством в Висконсине солнечной электростанции на 250 МВт, последняя должна заработать в 2027 году. Также Microsoft намерена использовать замкнутую систему жидкостного охлаждения для большей части мощностей на площадке, которая будет потреблять воду только во время очень жаркой погоды. Ранее Microsoft попала в неприятности в окрестностях Финикса (Аризона), где её фактически заставили отказаться от испарительного охлаждения.

Что касается трудоустройства, планы у Microsoft даже близко не столь масштабные, как были у Foxconn: бизнес из Редмонда рассчитывает задействовать 2,3 тыс. человек в строительстве к 2025 году и сформировать 2 тыс. постоянных рабочих мест.

Dominion Energy в прошлом году подключила к энергосети в Вирджинии — крупнейшем в мире рынке ЦОД — 15 дата-центров общей ёмкостью 933 МВт. По данным Datacenter Dynamics, в 2024 году электроснабжение получат ещё столько же ЦОД, суммарная ёмкость которых пока не подсчитана. А всего с 2019 года Dominion Energy подключила в Северной Вирджинии 94 дата-центра общей ёмкостью 4 ГВт. Для сравнения — ёмкость ЦОД Microsoft по всему миру только недавно превысила 5 ГВт.

В докладе Dominion Energy за 2023 год сообщается, что на дата-центры приходится 24 % продаж электричества дочерней Virginia Power, тогда как в 2022 году их доля была 21 %. При этом подчёркивается, что спрос отдельных ЦОД вырос с приблизительно с 30 МВт до 60–90 МВт, а запросы кампусов выросли с 300 МВт до «нескольких гигаватт». При этом на максимальное потребление они теперь выходят не за 4–5 лет, а всего за 2–3 года, причём в дальнейшем нагрузка только увеличится.

Источник изображения: American Public Power Association/unsplash.com

American Electric Power (AEP) получила запросы на поставку до 15 ГВт, львиная доля которых приходится на ЦОД. Драйверами спроса служат гиперскейлеры вроде AWS и Google. Компания имеет мощности около 38 ГВт и готова инвестировать более $27 млрд в линии электропередач и системы распределения энергии в следующие пять лет. Она ожидает увеличение капитальных издержек в будущем, связанных с ростом потребления энергии ЦОД.

Public Service Enterprise Group (PSEG) ведёт переговоры о строительстве ЦОД ёмкостью 50–100 МВт рядом со своими АЭС. Наконец, отвечающая за электропередачу компания PJM заявила, что располагает достаточными ресурсами для того, чтобы удовлетворить спрос летом 2024 года. Однако она предупреждает о проблемах в будущем из-за того, что для замены 1 МВт энергии от обычных электростанций на ископаемом топливе, которые активно выводятся из эксплуатации, фактически требуется несколько МВт из возобновляемых источников из-за нестабильности последних.

Проблема энергоснабжения ЦОД в США вообще и Северной Вирджинии в частности носит системный характер. В апреле сообщалось, что «зелёные» энергопроекты не смогут «прокормить» ИИ на крупнейшем в мире рынке ЦОД, причём тревогу поставщики бьют уже не первый год. Если ситуацию не удастся оперативно исправить, то дефицит энергии может привести к сокращению ИИ-нагрузок или даже к постройке ТЭС непосредственно на территории кампусов, как это уже происходит в Европе.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Житель Майами (Флорида) Онур Аксой (Onur Aksoy) приговорён к 6,5 годам тюремного заключения за многомиллионные аферы с продажей поддельного оборудования Cisco. The Register сообщает, что главной ошибкой предпринимателя, вероятно, стало то, что он рискнул поставлять фейковое железо и военным.

Хотя в подделке электронных комплектующих нет ничего нового, Аксой подошёл к делу с размахом — он курировал не менее 19 компаний в Нью-Джерси и Флориде, а также вёл 15 аккаунтов на Amazon и ещё 10 на eBay. По данным прокурора по округу Нью-Джерси, в ходе многолетней деятельности злоумышленник создал одну из крупнейших схем по поставкам контрафактного оборудования.

Источник изображения: Tingey Injury Law Firm/unsplash.com

Находившиеся под его управлением бизнесы приобретали дешёвые сетевые комплектующие в Китае и Гонконге, после чего те модифицировались так, чтобы выглядеть как новое оборудование Cisco — с соответствующей символикой, упаковкой и документацией. При этом «под капотом» применялись старые комплектующие, бывшее в употреблении или отбракованное «железо» с пиратским или модифицированным ПО и компонентами, помогающими обойти защитные механизмы Cisco.

Таможня США перехватила 180 поставок, но не смогла полностью перекрыть поток контрафакта, поскольку бизнесмен и его китайские партнёры разбивали партии на относительно небольшие посылки и рассылали их на подставные адреса на имена несуществующих людей. По данным Министерства юстиции США, схема принесла $1 млрд выручки, включая $100 млн от продаж на eBay. Сам бизнесмен заработал на ней миллионы долларов.

Примечательно, что Cisco неоднократно делала ему предупреждения в 2014–2019 гг., но длинная рука закона дотянулась до него только тогда, когда он продал поддельное оборудование Пентагону, причём некоторые продукты, как оказалось, даже использовались в реальных боевых операциях.

Судя по всему, военные категорически не пожелали ограничиваться предупреждениями и в 2021 году правоохранительные органы провели рейды по складам Аксоя, а в 2022 году его, наконец, арестовали. В июне того же года он признал вину в обороте контрафактных товаров, мошенничестве с использованием почтовых служб и электронных средств связи. С тех пор обвиняемый ожидал приговора.

По словам представителя военных, случай должен стать уроком тем, кто пытается продать контрафактные товары американскому правительству. Вероятно, без условно-досрочного освобождения за хорошее поведения Аксою придётся оставаться в тюрьме до 2030 года. Кроме того, он должен заплатить компенсацию в $100 млн компании Cisco и неизвестные пока суммы жертвам мошеннических поставок.

Компании Google и Vocus объединили усилия, чтобы увеличить протяжённость призванного связать США и Австралию подводного интернет-кабеля до Новой Зеландии. Datacenter Dynamics сообщает, что соответствующее соглашение уже подписано.

Планы прокладки двух кабелей, связывающих Соединённые Штаты, Фиджи, Французскую Полинезию и Австралию обнародовали в октябре 2023 года в рамках инициативы Pacific Connect. Кабель Honomoana изначально должен был объединять только три основных локации — США, Австралию и Французскую Полинезию. Теперь посадочная станция появится и в Окленде (Новая Зеландия). Также подтвердилась информация о том, что в Австралии будет две посадочных станции, в Мельбурне и Сиднее.

Ожидается, что в 2026 году кабель обеспечит передачу до 30 Тбит/с между Австралией и Новой Зеландией. В Vocus добавили, что для этой ветки системы Pacific Connect предусматривается и прокладка внутриавстралийской магистрали от Сиднея до Мельбурна, а также магистрали через Тасманское море. В Vocus подчёркивают, что после объединения с существующими кабелями сеть компании будет простираться от Юго-Восточной Азии до США с многочисленными посадочными станциями в Тихоокеанском регионе.

Источник изображения: Vocus

Инициатива Pacific Connect предусматривает создание транстихоокеанского подводного комплекса кабелей между Австралией, США, Японией и Чили с кольцом между Фиджи, Французской Полинезией и Гуамом. Также система предусматривает ответвления для ещё не проложенным маршрутов к другим тихоокеанским локациям в будущем. Кроме того, ведутся работы над кабельной системой Apricot.

Vocus в настоящее время выступает оператором кабеля Australia Singapore Cable (ASC) протяжённостью 4600 км, North West Cable System, а также кабельной системы Darwin-Jakarta-Singapore. Ранее в этом году Intelia анонсировала планы прокладки кабеля от южного острова Новой Зеландии к Австралии. Также посадочные станции в Новой Зеландии уже имеют кабели Aqualink, Southern Cross Cable, Southern Cross NEXT, Hawaiki и Tasman Global Access.

Google активно вкладывала средства в многочисленные кабельные проекты, как частные, так и строившиеся специально созданными консорциумами. Ранее в этом месяце техногигант потратил $1 млрд на несколько кабельных магистралей между США и Японией.

Демонстрационная платформа на водородных топливных элементах, запущенаная в Остине (Техас), запитает ЦОД суперкомпьютерного центра Texas Advanced Computing Center (TACC). Проект стал частью инициативы H2@Scale и будет моделью для будущих масштабных водородных проектов, объединяющих производство, распределение, хранение и использование данного вида топлива, передаёт Datacenter Dynamics.

Объект, расположенный в одном из кампусов Техасского университета, представляет собой плод сотрудничества GTI Energy, её «дочки» Frontier Energy, университетского Центра электромеханики, а также пары десятков акционеров, представляющих промышленные предприятия. Площадка будет генерировать водород, путём электролиза, используя энергию солнца и ветра, а также переработку метана с хранилищ отходов. Полученный водород будет применяться в топливных ячейках и для заправки парка электромобилей Toyota Mirai и БПЛА, тоже применяющих водородные топливные элементы.

Техасский университет не первое десятилетие работает над соответствующими технологиями и намерен поставлять для проекта квалифицированные кадры и инженерные данные. Помимо текущего проекта, исследовательская площадка пригодится и для развития других решений в «зелёной» водородной индустрии. А основанный в 2001 году центр TACC стал пристанищем для нескольких суперкомпьютеров, включая Frontera, JetStream2, Lonestar6, Maverick2 и Stampede3. Не так давно анонсировано строительство кластера Vista на ускорителях NVIDIA.

Источник изображения: Техасский университет

Инициативу H2@Scale в Техасском университете начали реализовать в 2020 году. В задачи входит продвижение пилотных проектов, связанных с «возобновляемым» водородом в качестве экологически чистого и экономически эффективного источника топлива. В числе промышленных партнёров университета есть Air Liquide, CenterPoint Energy, Chart Industries, Chevron, ConocoPhillips, Hitachi Energy, Low-Carbon Resources Initiative, McDermott, Mitsubishi Heavy Industries America, OneH2, ONE Gas, ONEOK, Shell, SoCalGas, Texas Commission on Environmental Quality, Toyota и WM.

Государственно-частные проекты в рамках инициативы H2@Scale поддерживает Министерство энергетики США. Техасский университет отмечает, что штат имеет оптимальные условия для реализации водородных проектов, уже имея значительную водородную инфраструктуру, включая около 1500 км подходящих трубопроводов. Но эксперименты H2@Scale ведутся и в других местах. Так, в январе Caterpillar Electric Power и Microsoft объявили об успешном эксперименте, в ходе которого для питания дата-центра применялись исключительно водородные топливные ячейки в течение 48 часов.