Японская Mitsubishi Electric Corp. пытается справиться с нарастающим в мире спросом на оптические компоненты, используемые в ИИ ЦОД, передаёт Bloomberg. Компания контролирует почти половину мирового рынка устройств оптической передачи данных для ЦОД, выпуская высокоэффективные лазерные диоды, модуляторы и сборки, которые используются в трансиверах. При этом в выручке самой компании данное направление занимает очень небольшую долю.

В Bloomberg сообщают, что, например, в США, без преувеличения все гиперскейлеры так или иначе являются клиентами Mitsubishi Electric. По словам представителя компании, уже в следующем месяце Mitsubishi Electric сможет нарастить выпуск оптических компонентов на 50 % в сравнении с прошлым годом, но этого всё равно будет недостаточно, чтобы удовлетворить все получаемые запросы. Понадобится вдвое нарастить производство в сравнении с тем, на что оно будет способно в сентябре.

Высказывания официального представителя компании стали последним из признаков дефицита компонентов для ИИ-инфраструктур. По оценкам Mitsubishi Electric, спрос со стороны пятёрки первых ведущих провайдеров США «очень силён» и продолжает расти. Буквально на днях компания пообещала начать поставки образцов решения для сетей 800 Гбит/с и 1,6 Тбит/с.

Источник изображения: Mitsubishi Electric

На оптические компоненты приходится лишь малая часть бизнеса Mitsubishi Electric, выпускающей самую разную продукцию, от промышленных роботов до спутникового оборудования. Подразделение, занимающееся соответствующими полупроводниками и устройствами, принесло в прошлом финансовом году 4 % от выручки компании. В июне эксперты уже предупреждали о росте спроса на оптическое оборудование для дата-центров.

Любой производитель не застрахован от сбоя цепочки поставок небольших комплектующих, ведущих к значительным убыткам, иногда исчисляемым сотнями миллионов долларов. Как сообщает Tom’s Hardware, Supermicro не удалось вовремя получить достаточное количество быстроразъёмных соединений для систем жидкостного охлаждения (СЖО), из-за чего произошла задержка поставок готовой продукции покупателям. В результате сформировалась «отложенная выручка» в размере $800 млн, которую пришлось перенести с одного квартала на другой.

СЖО чрезвычайно важны для ИИ-серверов и обычно состоят из нескольких компонентов, объединяемых быстроразъёмными соединениями. Такие разъёмы могут подтекать, поэтому их качество имеет ключевое значение. Из-за высокого спроса на ИИ-серверы спрос на соединения тоже вырос. Их цена уже поднялась с $40 до $60, причём потенциальные покупатели готовы переплачивать ещё больше, лишь бы забронировать поставки.

Источник изображения: Cejn

Рынок быстроразъёмных соединителей контролируется семью компаниями, в том числе двумя китайскими, попавшими под санкции США, что только усугубляет глобальный дефицит. Тайваньские производители Global Tek, Fositek и Lotes охотно пользуются ситуацией, наращивая и ускоряя производство и сертификацию соответствующих продуктов — это поможет заполнить «пустоту» от ухода попавших под санкции китайских компаний. Global Tek активно работает с партнёрами на своих заводах, образцы уже проходят тестирование. Компания рассчитывает, что выручка от этих проектов начнёт поступать уже в IV квартале 2024 года.

Спрос на СЖО действительно высок и ожидается, что к 2028 году они займут треть рынка систем охлаждения для дата-центров. При этом уже поступают рекламации — не исключено, что поставки суперускорителей NVIDIA GB200 могут задержаться из-за протечек вспомогательной «фурнитуры» систем жидкостного охлаждения.

Американские энергокомпании US Energy Transfer и Williams Cos. обсуждают с операторами дата-центров возможность строительства трубопроводов для поставки газа непосредственно на территорию кампусов для питания электростанций. По данным Datacenter Dynamics, бум ИИ ведёт к росту спроса на энергию и многие видят в получении энергии на месте возможное решение проблемы.

По словам представителя Energy Transfer, общавшегося с отраслевыми экспертами, компания обсуждает возможности с ЦОД разных масштабов. Многие из них весьма положительно относятся к самой идее генерировать электричество на месте. Сейчас компания расширяет уже существующие электростанции и изучает возможность подключения к газовым магистралям новых.

Williams Cos. также отмечает рост спроса и, как сообщают в компании, пытаются найти решение в ответ на многочисленные запросы. В частности речь идёт о юго-восточной части США и центре атлантического побережья страны. В число регионов попал и штат Вирджиния, на территории которого расположено огромное количество ЦОД, уже страдающих от дефицита электроэнергии.

Источник изображения: Quinten de Graaf/unsplash.com

Местный поставщик электричества Dominion Energy в докладе за 2023 год сообщил, что принадлежащая ему распределяющая компания Virginia Power продавала 24 % всего поставляемого здесь электричества именно дата-центрам в минувшем году, в 2022 году рост составлял 21 %. Компания объявила, что потребление индивидуальных объектов выросло с приблизительно 30 МВт до 60–90 МВт, а аппетиты кампусов могут составлять от 300 МВт до нескольких гигаватт.

В январе 2024 года PJM Interconnection отметила, что ожидает роста энергопотребления в зонах своей ответственности почти на 40 % в следующие 15 лет, одним из ключевых драйверов роста должны стать дата-центры. С увеличением ограничений для сетей электропередач выработка энергии на месте может стать единственным средством получения одобрения на строительство новых ЦОД.

Нечто подобное уже происходит и в Ирландии. В результате фактического моратория на строительство дата-центров в районе Дублин, некоторые ЦОД выразили намерение подключиться к газовым магистралям вместо попыток присоединения к энергосети. С тех пор Ирландия уже начала реализовывать политику частного энергоснабжения, позволяя компаниям строить собственную энерготранспортную инфраструктуру во избежание проблем с энергоснабжением в других сферах, использующих сети общего пользования.

Компания NVIDIA, по сообщению ресурса The Information, вынуждена повременить с началом массового выпуска ИИ-ускорителей следующего поколения на архитектуре Blackwell, сохранив высокие темпы производства Hopper. Проблема, как утверждается, связана с технологией упаковки Chip on Wafer on Substrate (CoWoS) от TSMC.

Отмечается, что NVIDIA недавно проинформировала Microsoft о задержках, затрагивающих наиболее продвинутые решения семейства Blackwell. Речь, в частности, идёт об изделиях Blackwell B200. Серийное производство этих ускорителей может быть отложено как минимум на три месяца — в лучшем случае до I квартала 2025 года. Это может повлиять на планы Microsoft, Meta✴ и других операторов дата-центров по расширению мощностей для задач ИИ и НРС.

По данным исследовательской фирмы SemiAnalysis, задержка связана с физическим дизайном изделий Blackwell. Это первые массовые ускорители, в которых используется технология упаковки TSMC CoWoS-L. Это сложная и высокоточная методика, предусматривающая применение органического интерпозера — лимит возможностей технологии предыдущего поколения CoWoS-S был достигнут в AMD Instinct MI300X. Кремниевый интерпорзер, подходящий для B200, оказался бы слишком хрупок. Однако органический интерпозер имеет не лучшие электрические характеристики, поэтому для связи используются кремниевые мостики.

В используемых материалах как раз и кроется основная проблема — из-за разности коэффициента теплового расширения различных компонентов появляются изгибы, которые разрушают контакты и сами чиплеты. При этом точность и аккуратность соединений крайне важна для работы внутреннего интерконнекта NV-HBI, который объединяет два вычислительных тайла на скорости 10 Тбайт/с. Поэтому сейчас NVIDIA с TSMC заняты переработкой мостиков и, по слухам, нескольких слоёв металлизации самих тайлов.

Вместе с тем у TSMC наблюдается нехватка мощностей по упаковке CoWoS. Компания в течение последних двух лет наращивала мощности CoWoS-S, в основном для удовлетворения потребностей NVIDIA, но теперь последняя переводит свои продукты на CoWoS-L. Поэтому TSMC строит фабрику AP6 под новую технологию упаковки, а также переведёт уже имеющиеся мощности AP3 на CoWoS-L. При этом конкуренты TSMC не могут и вряд ли смогут в ближайшее время предоставить хоть какую-то альтернативную технологию упаковки, которая подойдёт NVIDIA.

Таким образом, как сообщается, NVIDIA предстоит определиться с тем, как использовать доступные производственные мощности TSMC. По мнению SemiAnalysis, компания почти полностью сосредоточена на стоечных суперускорителях GB200 NVL36/72, которые достанутся гиперскейлерам и небольшому числу других игроков, тогда как HGX-решения B100 и B200 «сейчас фактически отменяются», хотя малые партии последних всё же должны попасть на рынок. Однако у NVIDIA есть и запасной план.

План заключается в выпуске упрощённых монолитных чипов B200A на базе одного кристалла B102, который также станет основой для ускорителя B20, ориентированного на Китай. B200A получит всего четыре стека HBM3e (144 Гбайт, 4 Тбайт/с), а его TDP составит 700 или 1000 Вт. Важным преимуществом в данном случае является возможность использования упаковки CoWoS-S. Чипы B200A как раз и попадут в массовые HGX-системы вместо изначально планировавшихся B100/B200.

На смену B200A придут B200A Ultra, у которых производительность повысится, но вот апгрейда памяти не будет. Они тоже попадут в HGX-платформы, но главное не это. На их основе NVIDIA предложит компромиссные суперускорители MGX GB200A Ultra NVL36. Они получат восемь 2U-узлов, в каждом из которых будет по одному процессору Grace и четыре 700-Вт B200A Ultra. Ускорители по-прежнему будут полноценно объединены шиной NVLink5 (одночиповые 1U-коммутаторы), но вот внутри узла всё общение с CPU будет завязано на PCIe-коммутаторы в двух адаптерах ConnectX-8.

Главным преимуществом GX GB200A Ultra NVL36 станет воздушное охлаждение из-за относительно невысокой мощности — всего 40 кВт на стойку. Это немало, но всё равно позволит разместить новинки во многих ЦОД без их кардинального переоборудования пусть и ценой потери плотности размещения (например, пропуская ряды). По мнению SemiAnalysis, эти суперускорители в случае нехватки «полноценных» GB200 NVL72/36 будут покупать и гиперскейлеры.

Облачная платформа Google Cloud, по сообщению TechCrunch, развернула выделенный субсидируемый кластер для ИИ-стартапов, которые поддерживаются венчурным фондом Y Combinator. Предполагается, что данная инициатива поможет Google привлечь в своё облако перспективные компании, которым в будущем могут понадобиться значительные вычислительные ресурсы.

Отмечается, что для ИИ-стартапов на ранней стадии одной из самых распространённых проблем является ограниченная доступность вычислительных мощностей. Крупные предприятия обладают достаточными финансами для заключения многолетних соглашений с поставщиками облачных услуг на доступ к НРС/ИИ-сервисам. Однако у небольших фирм с этим возникают сложности. Ожидается, что Google Cloud поможет в решении данной проблемы.

Google предоставит выделенный кластер с приоритетным доступом для стартапов Y Combinator. Платформа базируется на ускорителях NVIDIA и тензорных процессорах (TPU) самой Google. Каждый участник программы получит кредиты на сумму $350 тыс. для использования облачных сервисов Google в течение двух лет. Кроме того, Google предоставит стартапам кредиты в размере $12 тыс. на расширенную поддержку и бесплатную годовую подписку Google Workspace Business Plus. Молодые компании также смогут консультироваться с экспертами Google в области ИИ.

Источник изображения: Google

Оказав поддержку ИИ-стартапам, Google в дальнейшем сможет рассчитывать на заключение с ними долгосрочных контрактов на обслуживание. Говорится, что за последние 18 лет примерно 5 % стартапов Y Combinator стали единорогами с оценкой $1 млрд и более. Такие компании могут принести облачной платформе Google значительную выручку в случае заключения соглашения о сотрудничестве. С другой стороны, фонд Y Combinator сможет привлечь больше перспективных ИИ-проектов, предлагая вычислительные ресурсы Google вместе со своей поддержкой.

Аналогичные программы есть и у других игроков. Так, венчурный инвестор Andreessen Horowitz (a16z) тоже запасается ИИ-ускорителями, чтобы стать более привлекательным для ИИ-стартапов. AWS предлагает ИИ-стартапам доступ к облаку и сервисам, а Alibaba Cloud готова предоставить ресурсы в обмен на долю в стартапе. Сама Google на днях наняла основателей стартапа Character.AI и лицензировал его модели. Стартапу, по-видимому, не хватило средств на ИИ-ускорители для дальнейшего развития.

По итогам 2023 года на дата-центры в Ирландии пришлось более 21 % всего энергопотребления страны. По данным Datacenter Dynamics, в 2015 году на ЦОД приходилось лишь 5 %.

Данные Центрального статистического управления (Central Statistics Office, CSO) свидетельствуют о том, что дата-центрам в 2023 году потребовалось на 20 % больше энергии, чем годом ранее. В прошлом году в CSO заявили, что дата-центры потребляли на 31 % больше электричества в 2022 году, чем в 2021-ом, когда на ЦОД пришлось 18 % потребления Ирландии. Ежеквартально измеряемый расход электричества ЦОД увеличился с 290 ГВт∙ч в I квартале 2015 года до 1661 ГВт∙ч в IV квартале 2023 года, рост составил впечатляющие 473 %. Для сравнения, на сельские домохозяйства сейчас приходится 18 %, а на городские — 10 %.

Источник изображения: Gregory DALLEAU/unsplash.com

Согласно заявлению местных чиновников, в стране приветствуют строительство дата-центров, но приходится учитывать ограниченные ресурсы электростанций и энергетических сетей, а также климатические факторы. После временного взлёта показателей строительства ЦОД в районе Дублина местному государственному оператору энергосетей EirGrid пришлось ввести мораторий на новые объекты. Было заявлено, что заявки на новые объекты соответствующего профиля не будут одобряться до 2028 года.

Некоторые операторы ЦОД пытаются обойти ограничения, организовав генерацию непосредственно на территории своих кампусов, в том числе с подключением к газовым магистралям. Другие сумели получить разрешения на подключение к энергосети до введения моратория, поэтому теперь могут реализовать уже одобренные планы. Наконец, гиперскейлеры предлагают строить собственные ЛЭП, чтобы разгрузить государственные.

В прошлом месяце Google объявила о намерении построить свой третий ЦОД в Дублине, хотя пока неизвестно, получил ли проект разрешение от EirGrid. Amazon (AWS) также пытается построить три новых ЦОД в ирландской столице после отсрочек, вызванных судебными апелляциями. Ранее в этом году AWS пришлось ограничить для своих действующих ЦОД объём доступных ресурсов на фоне сомнений в наличии достаточного количества энергии.

Венчурная инвестиционная компания Andreessen Horowitz (a16z) получила тысячи современных ускорителей, включая большое количество NVIDIA H100. The Information сообщает, что компания создаёт собственные запасы для привлечения к сотрудничеству ИИ-стартапов. Компания явно не согласна с позицией венчурного фонда Sequoia Capital и аналитиков Goldman Sachs, которые опасаются, что нынешний бум ИИ — лишь пузырь.

Инвестор имеет в управлении активы на $42 млрд. Как сообщают СМИ со ссылкой на источники, знакомыми с делами компании, своим подопечным компания сдаёт в аренду запасённые ускорители. Пока нет сведений, идёт ли речь о наполнении складов или компания только арендует их для передачи в субаренду. В будущем Andreessen Horowitz намерена получить более 20 тыс. ускорителей. Компания рассматривает оборудование как критически важный актив для дальнейшего развития бизнеса.

Источник изображения: NVIDIA

На запросы журналистов Andreessen Horowitz и NVIDIA пока не отвечают. Уже не в первый раз ИИ-ускорители используются не вполне традиционным способом по мере того, как нарастает ажиотаж на рынке ресурсоёмких вычислений, связанных с искусственным интеллектом. Например, в прошлом августе облачный стартап CoreWeave, поддерживаемый NVIDIA, получил в долг $2,3 млрд под залог крупной партии NVIDIA H100 для покупки ещё большего количества ускорителей.

В условиях дефицита ускорителей стартапам предлагаются различные варианты решения проблемы. Так, Alibaba Cloud предлагает ИИ-стартапам GPU-мощности в обмен на долю в компании, а AWS готова выделить им миллионы долларов, но в виде кредитов для оплаты ресурсов в своём же облаке. Некоторые стартапы сами готовы поделиться интеллектуальной собственностью в обмен на доступ к ускорителям.

Из-за ИИ-бума спрос на ЦОД высок на многих мировых рынках, но как передаёт The Register со ссылкой на последний отчёт CBRE, одной из главных проблем стала нехватка электричества — спрос на него на рынках ЦОД зачастую превышает предложение. Дефицит актуален для всех ключевых регионов, от Северной и Латинской Америки до Европы и Азиатско-Тихоокеанского сегмента — объёмы доступной энергии продолжают уменьшаться.

Проблемы с обеспечением необходимой ёмкости ЦОД возникли у крупных корпораций — не только из-за нехватки электричества, но и частых задержек со строительством. В CBRE отмечают, что правительства стран вынуждены принимать меры для решения вопроса с бесперебойными поставками энергии, в частности, упрощая разрешительные процедуры и поощряя интеграцию больших проектов в области возобновляемой энергии с энергосетями.

Источник изображения: Peter Robbins/unsplash.com

При этом в Северной Америке мощности ЦОД в I квартале 2024 года выросли на 24,4 % год к году, а на крупнейших рынках, включая Северную Вирджинию, Чикаго, Даллас и Кремниевую долину добавилось 807,5 МВт. В Европе рынок ЦОД вырос почти на 20 % за квартал, важные проекты реализуются во Франкфурте, Лондоне, Амстердаме и Париже (регион FLAP). В Париже рост и вовсе составил 40 % год к году, несмотря на общую нехватку соответствующих ресурсов на континенте, особенно на ключевых рынках вроде Франкфурта.

По данным CBRE, сегодня волне обычным делом стало предварительное бронирование аренды ещё не достроенных объектов. Соответствующий тренд в Европе и Северной Америке (в частности, в США) отмечен уже довольно давно. Предполагается, что статистика свидетельствует о необходимости строительства новых ЦОД, хотя ключевой проблемой и в этом случае является дефицит электричества для их дальнейшего снабжения. В CBRE добавили, что отмеченная ещё в прошлом году нехватка энергии является одним из важнейших препятствий для роста рынка наряду с дефицитом земли.

Источник изображения: CBRE

На латиноамериканском рынке мощности выросли на 15 % год к году, а для Азиатско-Тихоокеанского региона этот показатель составляет 22 %, поскольку на Токио, Сидней, Гонконг и Сингапур приходится по полгигаватта, несмотря на ограничения на строительство ЦОД в том же Сингапуре с некоторыми послаблениями.

Высокий спрос и нехватка мощностей неизбежно ведёт к росту цен. В CBRE сообщают, что в Северной Америке средняя цена на 250–500 кВт ёмкостей в I квартале выросла на 20 % год к году. Та же картина наблюдается и в Европе, где цены растут из-за высокого спроса и высоких цен на строительство. В Франкфурте квартальный рост составил рекордные 15 %, а в Лондоне стоимость аренды поступательно росла в течение 18 месяцев.

Источник изображения: CBRE

В Латинской Америке картина неоднородна, поскольку стоимость аренды ЦОД в сравнении с прошлым годом выросла не очень значительно, а в некоторых местах вроде Боготы в Колумбии колокация и вовсе подешевела. Тем временем в Азиатско-Тихоокеанском регионе цена поступательно росла из-за роста стоимости строительства и эксплуатации ЦОД. Так, Сингапур сегодня является одним из самых дорогих регионов. Увеличились и цены в Токио, хотя в Сиднее они довольно стабильны.

Хотя в докладе CBRE учитываются четыре ключевых рынка, высокий спрос на них заставляет бизнес перенаправлять инвестиции на другие территории — например в Осло и окрестности и Мадрид, где спрос на ЦОД тоже начал расти. В компании заявляют, что вторичные европейские рынки растут по ряду причин, в числе которых как амбиции гиперскейлеров, так и относительно низкие цены. В некоторых случаях это позволяет регионам становиться новыми «горячими точками», где дата-центры особенно востребованы.

ИИ-стартап Character.AI провёл переговоры с несколькими IT-гигантами, передаёт The Information. По слухам, компания обсуждала возможности сотрудничества с Google, Meta✴ и контролируемой Илоном Маском (Elon Musk) xAI.

Основанная бывшими сотрудниками Google компания уже привлекла $150 млн на создание чат-ботов, имитирующих поведение героев аниме, игр и др. На прошлой неделе компания представила функцию Character Call, обеспечивающую голосовое общение с ИИ-аватарами, готовыми ответить на запрос пользователя. Предполагается, что это добавит популярности сервисам компании.

Если бы стартапу удалось заключить сделку с одним из крупных игроков вроде Google или xAI, он получил бы доступ к огромным вычислительным ресурсам, а в ответ поделился бы интеллектуальной собственностью, связанной со своими передовыми разработками. По сведениям The Information, компания обсуждала заключение аналогичной сделки о совместном участии в исследованиях и с Meta✴ Platforms.

Источник изображения: Character.AI

Пока потенциальные участники сделки, включая Character.AI, не ответили на запросы журналистов. Некоторые эксперты полагают, что у компании слишком мало собственных вычислительных ресурсов, поэтому ей неизбежно пришлось бы прибегнуть к помощи игроков покрупнее. В индустрии это уже привычная практика. Так, Alibaba Cloud предлагает стартапам ИИ-мощности в обмен на долю в компании, а различные программы поддержки начинающих компаний в области ИИ нередко предполагают «выплаты» именно облачными ресурсами, а не живыми деньгами.

UPD 03.08.2024: Google наняла основателей Character.AI и лицензировала ИИ-модели компании.

Американская энергетическая Pacific Gas and Electric Company (PG&E) в последнем отчёте для инвесторов отметила, что в Калифорнии, особенно в северной и центральной частях, в ближайшие годы построят много дата-центров. Datacenter Dynamics сообщает, что речь идёт строительстве ЦОД ёмкостью 3,5 ГВт до 2029 года, причём треть приходится на единственного клиента.

В Сан-Хосе от 11 клиентов поступил запрос на строительство ЦОД общей ёмкостью 1,6 ГВт в 2025–2029 гг., отдельные объекты требуют подвод от 10 МВт до 600 МВт. В Хейварде речь идёт о вводе к 2028 году 975 МВт для четырёх клиентов, причём 800 МВт приходится лишь на одного из них. В остальных городах запросы скромнее. Так, во во Фримонте нужно 230 МВт, в Гилрое и Милпитасе — 210 МВт, в Сан-Франциско — 70 МВт, в Саннивейле и Санта-Кларе — по 100 МВт, а в Ричмонде — всего лишь 35 МВт.

Источник изображения: Lala Miklós/unsplash.com

Подавшие заявки компании не называются и указываются в отчёте под номерами. Например, первый клиент запросил суммарно более 1,3 ГВт в пяти локациях, все должны заработать в 2028 году. Клиент №3 (второй по значимости) запросил 500 МВт в одном месте, объекты должны ввести в эксплуатацию между 2025 и 2029 гг.

В среднем нагрузка PG&E должна вырасти на 2–4 % с 2023 по 2040 гг. (эквивалент 144 ТВт∙ч), на дата-центры из них придётся 0,5–1,5 %, а на электромобили — 1,25–2 % роста. На обеспечение роста потребностей ЦОД потребуется $0,5–$1,6 млрд. Однако аналитики CBRE предупреждают, что многие подстанции в районе Кремниевой долины не получат энергии до 2028–2029 гг., причём их сдача в эксплуатацию может быть отложена из-за превышения возможностей электросетей в Санта-Кларе.

Digital Core (Digital Realty) уже отмечала проблемы с энергоснабжением в Калифорнии. Ещё в I квартале 2023 года местный поставщик энергии на севере штата предупреждал о приостановке выделения дополнительных мощностей для ЦОД до 2028 года. Один из ключевых поставщиков энергии, Silicon Valley Power, сообщает, что многие проекты получают максимум 2 МВт, что сильно ограничивает их возможный будущий рост.

В прошлом году Silicon Valley Power объявила, что нагрузка на электросети из-за ЦОД почти удвоится к 2035 году, а дата-центры и без того являются крупнейшим потребителем калифорнийских энергорезервов. В PG&E тоже отметили, что компания медлит с новыми поставками энергии из-за нехватки резервов и роста её потребления. Ожидается, что новые мощности будут массово введены лишь к 2028 году. Пока же пытаются реализовать необычные зелёные проекты. например, ЦОД Microsoft в Сан-Хосе запитают от биогаза, получаемого из пищевых отходов.