Стало известно, что компания OpenAI вела переговоры с разработчиками чипов, включая Broadcom, по поводу создания нового серверного ИИ-ускорителя. Сообщивший об этом ресурс The Information утверждает, что данная инициатива, которую возглавил руководитель OpenAI Сэм Альтман (Sam Altman), является частью более широкого плана по увеличению вычислительной мощности компании для разработки ИИ, преодолению дефицита ИИ-ускорителей и снижению зависимости от NVIDIA. На фоне этих сообщений акции Broadcom выросли на 3 %.

По словам источников The Information, компания наняла несколько сотрудников Google, участвовавших в создании ИИ-ускорителей TPU. Примечательно, что Broadcom работала с Google над созданием TPU, а это означает, что у компании есть опыт разработки чипов для обработки ИИ-приложений. И у неё есть подразделение, которое занимается созданием кастомных ASIC.

«Миру нужно больше инфраструктуры ИИ — больших мощностей, энергии, ЦОД и т. д. — чем в настоящее время планируют построить, — сказал ранее Альтман. — OpenAI постарается помочь!». В настоящее время доля рынка ИИ-чипов NVIDIA оценивается от 70 % до 95 % рынка, а это означает, что компании, занимающиеся ИИ, находятся в полной зависимости от неё с точки зрения доступа к вычислениям. Если OpenAI удастся создать свой ИИ-ускоритель, то ей больше не нужно будет всецело полагаться на NVIDIA.

Источник изображения: Broadcom

Если бы такой чип был создан, его производство началось бы не раньше 2026 года, сообщил один из источников, поскольку отдельные детали всё ещё прорабатываются, включая вопросы упаковки и доступности памяти. Альтман вёл переговоры с южнокорейскими компаниями Samsung и SK Hynix о поставках HBM и обсуждал планы по производству чипов, сообщил The Information со ссылкой на информированные источники. Кроме того, Альтман общался с TSMC по поводу возможности выпуска нового чипа, а также увеличения поставок ИИ-ускорителей NVIDIA для его компании.

OpenAI не стала подтверждать факты, изложенные в публикации The Information, но и не опровергла её. Представитель компании заявил, что «OpenAI ведёт постоянные переговоры с представителями отрасли и правительства о расширении доступа к инфраструктуре, необходимой для обеспечения широкой доступности преимуществ ИИ».

Ускорители собственной разработки есть у Amazon (Trainium и Inferentia), Google (TPU), Microsoft (Maia), Meta✴ (MTIA), а также Tesla (D1). Однако все эти компании всё равно массово скупают ускорители NVIDIA для работы над ИИ или для предоставления их своим клиентам. И всё возрастающая стоимость оборудования их пока не останавливает, хотя новейший суперускоритель NVIDIA GB200 NVL72, как ожидается, будет стоить $3 млн.

Компания Microsoft обратила внимание на ценный источник редкоземельных элементов — отслужившие своё жёсткие диски. По данным Datacenter Dynamics, канадский стартап Cyclic Materials получил инвестиции в акционерный капитал от подконтрольной Microsoft структуры — Climate Innovation Fund. Условия финансирования не разглашаются.

Основанная в 2021 году компания Cyclic Materials занимается переработкой металлов. Она разработала и запатентовала технологию CC360, позволяющую извлекать редкоземельное сырьё из HDD. Списанные жёсткие диски часто отправляются на утилизацию, в рамках которой в лучшем случае из комплектующих извлекаются преимущественно драгоценные металлы вроде золота и серебра, говорит стартап. Технология CC360 позволит отделять некоторые компоненты HDD для извлечения редкоземельных элементов, а оставшиеся фрагменты обрабатывать в обычном порядке.

Источник изображения: Art Wall - Kittenprint/unsplash.com

По словам представителя Climate Innovation Fund, в Microsoft работают над достижением нулевых выбросов к 2030 году переходу к «экономике замкнутого цикла». При этом важность редкоземельных элементов продолжает расти, а новые инвестиции помогут обеспечить их экобезопасные поставки. Поддержка Microsoft позволит Cyclic Materials ускорить внедрение коммерческих мощностей. Но технология будет полезна и другим крупным операторам дата-центров.

Весной 2023 года Cyclic Materials закрыла раунд финансирования серии А, получив $27 млн. Раунд возглавили BMW i Ventures (BiV) и Energy Impact Partners (EIP), также в нём приняли участие Fifth Wall, Bioindustrial Innovation Canada (BIC) и инвестор Planetary Capital. Кроме того, в том же году т.н. Sustainable Development Technology Council of Canada (SDTC) вложил в стартап CA$3,6 млн ($2,6 млн).

Источник изображения: Cyclic Materials

Недавно Cyclic Materials открыла в Кингстоне (Онтарио, Канада) завод Hub100 — первую в Северной Америке площадку для получения смеси редкоземельных оксидов (rMREO) с использованием проприетарной гидрометаллургической технологии REEPure. Hub100 ежегодно может перерабатывать до 100 т магнитных материалов в концентрат rMREO. Кроме того, попутно добываются соединения никеля и кобальта. Все их можно повторно использовать для создания новых продуктов.

Впрочем, жёсткие диски можно не перерабатывать, а восстанавливать, очищать и снова продавать — именно этим с недавних пора занимается Seagate. Другими альтернативными методами переработки отходов занимается не только Microsoft. Например, Meta✴ и Mycocycle ещё в прошлом году начали эксперимент по утилизации отходов после строительства ЦОД с помощью грибов.

NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

Компания NVIDIA значительно увеличила заказ на ускорители Blackwell у TSMC, сообщает TrendForce со ссылкой на United Daily News (UDN). По данным источника, NVIDIA намерена получить уже не 40 тыс., а 60 тыс. суперускорителей нового поколения, причём 50 тыс. из них придётся на стоечные системы GB200 NVL36. При этом Blackwell всё равно будут в дефиците, как и обещал ещё зимой глава NVIDIA Дженсен Хуанг (Jensen Huang).

B200 включает два тайла, объединённых 2,5D-упаковкой CoWoS-L и соединённых интерконнектом NV-HBI. Чип имеет 208 млрд транзисторов, изготовленных по кастомному техпроцессу TSMC 4NP. GB200 объединяет два ускорителя B200 и один 72-ядерный Arm-процессор Grace. А суперускоритель GB200 NVL72, в свою очередь, объединяет в рамках одной стойки сразу 18 1U-узлов с парой GB200 в каждом (плата Bianca, 72 × B200 и 36 × Grace), провязанных шиной NVLink 5. Вся эта система потребляет порядка 120 кВт, оснащена СЖО и единой DC-шиной питания.

NVIDIA GB200

Однако у GB200 NVL72 довольно специфические требования к окружению, поэтому NVIDIA предлагает суперускоритель попроще — GB200 NVL36, который как раз и должен стать наиболее массовым в данной серии. Эта платформа точно так же занимает целую стойку, но использует 2U-узлы с теми же платами Bianca (суммарно 36 × B200 и 18 × Grace), потребляя всего 66 кВт. При этом всё равно подразумевается использование двух стоек GB200 NVL36, объединённых интерконнектом, так что GB200 NVL72 всё равно получается более энергоэффективным решением.

Источник изображения: NVIDIA

Как отмечает SemiAnalysis, GB200 NVL36 также будет доступен в варианте с платами Ariel, имеющими по одному чипу B200 и Grace. Наконец, во II квартале 2025 года появятся системы B200 NVL72 и B200 NVL36 с x86-процессорами (Miranda). Кроме того, NVIDIA представила и отдельные MGX-узлы GB200 NVL2 с парой GB200. В общем, ускорителей B200 компании понадобится много, чтобы наверняка удержать лидерство на рынке.

По словам UDN, GB200 NVL36 будет стоить порядка $1,8 млн, а GB200 NVL72 обойдётся уже в $3 млн. Одиночный GB200 будет стоить $60–$70 тыс., а самый простой ускоритель B100 оценён в $30–$35 тыс. Нужно подчеркнуть, что это оценки сторонних аналитиков. Сама компания официально не раскрывает стоимость своих продуктов. Это устоявшаяся практика на данном рынке, против которой пошла только Intel, публично назвавшая стоимость ИИ-ускорителей Gaudi. Впрочем, ранее глава NVIDIA намекнул, что B200 будет стоить приблизительно $30–$40 тыс.

На мероприятии Nasdaq MarketSite Analyst Day специалист по HPC-решениям Smart Global Holdings (SGH) объявил о намерении стать Penguin Solutions, Inc. HPCWire сообщает, что необычный ребрендинг продолжит трансформацию калифорнийской компании, идущую уже несколько лет. «Новая» Pengiun Solutions позиционирует себя как эксперт по комплексным инфраструктурным решениям в области ИИ.

По словам представителя SGH, ИИ становится драйвером обеспечения конкурентных преимуществ во всех отраслях экономики. Большие языковые модели (LLM), ИИ-аналитика, симуляции и другие связанные темы приобретают критически важное значение, поэтому предприятия любого масштаба стремятся к внедрению систем искусственного интеллекта.

В компании отмечают, что ИИ-инфраструктура невероятно сложна и значительно отличается от традиционных корпоративных IT-решений, требует новых технологических навыков, которые у многих организаций всё ещё отсутствуют. Зачастую сложность ИИ-технологий ведёт к их медленному внедрению, использованию неэффективных систем и нереализованной прибыли на инвестиции.

Источник изображения: Businesswire/SGH

SGH поглотила Penguin Solutions в 2018 году, так что теперь у неё есть более 25 лет опыта работы с HPC-системами. Компания внедрила и управляет более 75 тыс. ускорителей — она фактически уже является доверенным партнёром для многих клиентов, желающих использовать возможности ИИ. Решение SGH поменять имя строится на заработанной ранее репутации и знаменует новую для компании эру.

Ожидается, что SGH завершит своё превращение в Penguin Solutions в этом году после одобрения акционерами. Cree LED — подразделение SGH, сохранит свою идентичность и продолжит вести дела под прежним именем. Ребрендинг — не единственное важное изменение для компании в этом году. Южнокорейская SK Holdings намерена вложить $200 млн в развитие её бизнеса в обмен на акции.

Южнокорейская телекоммуникационая компания SK Telecom вложит $200 млн в бизнес Smart Global Holdings (SGH), связанный с системами искусственного интеллекта и инфраструктурными ИИ-проектами. По данным Datacenter Dynamics, в обмен на инвестиции SK получит часть акций SGH.

В дальнейшем компании намерены совместно работать над использованием «взаимодополняющих возможностей» для расширения спектра предложений клиентам и создания дифференцированных комплексных решений и сервисов в области ИИ и дата-центров, предлагать передовые решения для рынка памяти и периферийных ИИ-серверов на базе NPU-чипов. Калифорнийская SGH уже продаёт ряд платформ и сервисов для HPC, ИИ, машинного обучения, отказоустойчивых вычислений и Интернета вещей, в том числе периферийные и облачные решения.

Благодаря приобретению в 2018 году бизнеса Penguin Solutions компания предлагает интегрированные ИИ-решения для ЦОД, от разработки ИИ-кластеров до внедрения и поддержки эксплуатации таких продуктов. Совсем недавно компания объявила о ребрнединге — теперь SGH почти полностью уходит под «зонтик» Penguin Solutions, компания должна сменить имя до конца текущего года. Стоит отметить, что Penguin Solutions известна как поставщик HPC-решений для государственных и военных ведомств США.

Источник изображения: Alexander Schimmeck/unsplash.com

Глава SGH поприветствовал SK Telecom в качестве нового стратегического инвестора, заявив, что новость стала свидетельством возможностей Penguin Solutions по внедрению в больших масштабах «фабрик ИИ», ПО и прочих решений. Ожидается, что сотрудничество принесёт немало выгоды и акционерам. Ранее в текущем году SGH приняла участие в раунде финансирования серии C другой компании — Lambda Labs, привлёкшей $320 млн.

SK Telecom получит 200 тыс. привилегированных акций в SGH, которые она сможет конвертировать в простые акции по цене $32,81 каждая. Компания расширяет своё ИИ-портофолио. В прошлом году она инвестировала $100 млн в Anthropic, стоящей за серией LLM Claude. По словам представителя SK Telecom, инвестиции и дальнейшее сотрудничество укрепит позиции южнокорейского гиганта в сфере ИИ.

Ведущий поставщик аппаратных решений для дата-центров Supermicro занял место в биржевом индексе Nasdaq 100. По данным HPC Wire, производитель серверов, СХД и иных решений вытеснил из индекса фармацевтический холдинг Walgreens Boots Alliance.

В индексе отслеживаются показатели 100 крупнейших по капитализации компаний, торгующихся на бирже Nasdaq, но не относящихся к финансовому сектору. Для сохранения присутствия в индексе есть целый ряд требований, учитывающих капитализацию, объём торгов, долю акций на бирже и т.д. Попадание в Nasdaq 100 косвенно свидетельствует о влиянии, прибыльности и успешности компании. Общая стоимость индекса составляет сегодня порядка $20 трлн., это рекордное значение.

Источник изображения: Woldai Wagner/unsplash.

По словам президента и генерального директора Supermicro Чарльза Ляна (Charles Liang), компания считает за честь быть включенной в индекс. Глава компании заявил, что Supermicro по-прежнему будет фокусироваться свою деятельность на уникальных для рынка инновациях, «зелёных» вычислениях, продолжит оставаться в лидерах рынка ИИ и по-прежнему будет уделять много внимания устойчивому развитию, в то же время обеспечивая высокую стоимость акций.

Ранее Supermicro попала в рейтинг S&P 500, а её выручка год к году продолжает увеличиваться. Бизнес продолжает инвестиции в технологии и решения для конечных пользователей, расширяет новые производственные мощности для удовлетворения растущего спроса участников индустрии ЦОД. Так, компания намерена стремительно нарастить долю продуктов с СЖО.

По информации портала Trading View, Walgreens потеряла долю в Nasdaq 100, поскольку её акции в этом году упали в цене более чем на 50 %, из-за чего рыночная капитализация упала до $10 млрд или около 0,05 % рыночной стоимости индекса. В то же время внимание Supermicro к ИИ-системам позволило значительно укрепить позиции компании в 2024 году. С начала года компания подорожала более чем на 200 % до $52 млрд или более 0,25 % стоимости Nasdaq 100, причём признаки стремительного роста были очевидны ещё в феврале.

Японский национальный институт передовых промышленных наук и технологий (AIST) объявил о планах по строительству в Касива (Kashiwa, префектура Тиба) нового суперкомпьютера AI Bridging Cloud Infrastructure 3.0 (ABCI 3.0), представляющего собой очередное обновление ИИ-платформы ABCI, запущенной в 2018 году. Новый суперкомпьютер будет предлагаться в качестве облачного сервиса как государственным, так и частным организациям страны, сообщается в блоге NVIDIA.

В качестве подрядчика выступает HPE, которая построит систему с использованием платформы Cray XD с ускорителями NVIDIA H200, объединённых 200G-интерконнектом NVIDIA Quantum-2 InfiniBand. HPE не стала раскрывать подробности об общем количестве узлов, стоимости системы и сроках её ввода в эксплуатацию. Как полагает ресурс The Register, речь идёт о системе с 5U-узлами Cray XD670, способными вместить восемь ускорителей NVIDIA H200/H100 и пару Intel Xeon Emerald Rapids. Кроме того, готовится машина ABCI-Q на базе ускорителей NVIDIA H100, ориентированная на исследования в области квантовых и гибридных вычислений.

Источник изображения: AIST

HPE сообщила, что ABCI 3.0, как ожидается, станет самым быстрым ИИ-суперкомпьютером в Японии — примерно 6,2 Эфлопс (FP16?) или 410 Пфлопс (FP64). Проект ABCI 3.0 реализуется при поддержке Министерства экономики, торговли и промышленности Японии (METI) с целью укрепления вычислительных ресурсов страны через Фонд экономической безопасности. Это часть более широкой инициативы METI стоимостью $1 млрд, которая включает в себя как программу ABCI, так и инвестиции в облачные вычисления на базе ИИ.

Согласно исследованию 2024 Midyear Global Outlook инвестиционной компании BlackRock, опубликованному на прошлой неделе, в ближайшие годы ЦОД будут играть ключевую роль в развитии искусственного интеллекта (ИИ). BlackRock утверждает, что мир переживает технологическую трансформацию, сопоставимую с промышленной революцией, и ожидает, что ЦОД укрепят свои позиции в качестве важнейшего компонента инфраструктуры. Причём на фоне растущего спроса на ИИ потребность в них в ближайшем будущем резко возрастёт.

Источник изображений: BlackRock

Вэй Ли (Wei Li), главный глобальный инвестиционный стратег BlackRock, сообщил, что рост рынка ЦОД ИИ может составить в ближайшие годы 60–80​% в годовом исчислении. Жан Буавен (Jean Boivin), глава Инвестиционного института BlackRock, отметил, что эта оценка во многом основана на ожиданиях отраслевых аналитиков. Ли подчеркнул, что в исследовании показано, как гонка за расширением возможностей ИИ уже стимулирует крупные капитальные расходы.

«ИИ и переход к низкоуглеродным технологиям могут стимулировать исторически крупные капитальные расходы — и в гораздо более короткий промежуток времени, чем предыдущие технологические революции», — говорится в исследовании. По оценкам BlackRock, капитальные затраты на ИИ уже сопоставимы с крупнейшими вложениями в истории в рамках крупных глобальных преобразований, включая промышленную революцию. BlackRock тоже стремится извлечь выгоду из бума ИИ, поэтому вкладывает средства в развёртывание ЦОД в Северной Вирджинии (США) и во Франкфурте (Германия).

В комментарии Data Center Knowledge главный аналитик Omdia Алан Ховард (Alan Howard) отметил, что бум строительства ЦОД начался давно. «Пандемия стала важным катализатором роста спроса на цифровую инфраструктуру, а затем появился новый спрос на ИИ, который снова увеличил спрос на ЦОД», — пояснил он. Ховард также заявил, что во II половине 2024 года появится ещё больше новостей о новых проектах и инициативах на рынке ЦОД.

«Инвестсообщество, особенно фонды прямых инвестиций в инфраструктуру, уже давно вкладывает значительные средства в ЦОД, но возможности ИИ вдохнут новую жизнь в отрасль, поскольку капитала для хорошо проверенных проектов ЦОД предостаточно», — сказал Ховард, добавив, что сдержать взрывной рост ИИ могут проблемы в цепочках поставок оборудования, а также высокие затраты и доступность ЦОД. «Эти факторы могут побудить многих потребителей перейти на ИИ-сервисы гиперскейлеров или других облачных провайдеров уровня Tier 2. Эта эволюция займёт пару лет, и главным вопросом станет то, как производители ИИ-серверов будут конкурировать с NVIDIA», — говорит аналитик.

Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific,Northern Data, Hut 8 и Applied Digital.