Через четыре месяца после покупки японским конгломератом SoftBank британский стартап Graphcore, разрабатывающий ИИ-ускорители, занялся наймом новых сотрудников. По данным EE Times, сейчас у компании открыто 75 позиций в сферах разработки и тестирования полупроводников, управления инфраструктурой ЦОД и ИИ-исследований. Всего год назад компания спешно искала финансирование и сокращала персонал.

Сейчас штат Graphcore насчитывает 375 человек, но компания намерена увеличить количество сотрудников на 20 % в Великобритании, Польше и на Тайване. Прочие офисы, включая подразделение в Китае, закрылись. По словам главы Graphcore Найджела Туна (Nigel Toon), компания представляет собой место, где эксперты по полупроводникам, ПО, ИИ и т.п. могут и полностью реализовать себя. Тем не менее, производственные планы бизнеса пока не раскрываются.

Источник изображения: Graphcore

На момент покупки Graphcore имела в своём портфолио три поколения чипов. Однако последнее поколение Bow IPU, выпущенное в 2022 году, по большому счёту являлось апгрейдом продукта второго поколения от 2020 года. Модель имела 892 Мбайт набортной SRAM, дополненной внешней DDR-памятью, а не HBM. Другими словами, теоретически продукт не слишком подходит для обучения больших языковых моделей (LLM). Впрочем, Cerebras тоже использует SRAM в составе своих суперчипов, но последняя дополнена массивами гибридной памяти MemoryX. А SambaNova в SN40L в итоге пришла к сочетанию SRAM, HBM и DDR.

Если Graphcore намерена создать новое поколение ИИ-ускорителей, то она, вероятно, пойдёт по пути SambaNova, считают в EE Times. На это косвенно указывает вакансия инженера ЦОД, для которой желателен опыт работы с жидкостным охлаждением. Также компании требуются специалисты для работы над облачными платформами и инфраструктурой ЦОД. Не исключено, что компания сменит бизнес-модель на манер Groq, продавая не ускорители, а доступ к ИИ-сервисам. Cerebras и SambaNova, например, уже успели по очереди похвастаться производительностью своих инференс-платформ.

В случае Graphcore смещение фокуса на инференс открывает возможности для освоения корпоративных и суверенных ИИ-решений, которых ещё не было, когда последние чипы компании вышли на рынок. Тем не менее, пока нет данных, готов ли SoftBank обеспечить Graphcore достаточными средствами для развития больших ЦОД.

Tencent Holdings обязалась инвестировать ещё $500 млн в развитие бизнеса в Индонезии к 2030 году. По данным The Wall Street Journal, компания намерена построит третий ЦОД в стране, поскольку техногигант из КНР рассчитывает укрепить сотрудничество GoTo с Group и Alibaba Group для развития облачной инфраструктуры в стране и заняться обучением здесь талантливых специалистов.

Индонезийская GoTo в минувшее воскресенье сообщила о новых соглашениях с Tencent и Alibaba на мероприятии Indonesia-China Business Forum. Кроме того, не так давно президент Индонезии Прабово Субианто (Prabowo Subianto) посетил с официальным визитом Пекин, объявив о новых соглашениях между Индонезийской торгово-промышленной палатой (Indonesian Chamber of Commerce and Industry) и крупными китайскими компаниями, которые предусматривают инвестиции в размере $10 млрд.

Tencent планирует построить в Индонезии свой третий дата-центр. Это позволит Tencent поставлять местным компаниям облачные и ИИ-решения. Общий объём инвестиций составит $500 млн. Alibaba Cloud, уже имеющая в стране три ЦОД, планирует удвоить количество специалистов в области ИИ и облачных решений. В частности, компания намерена открыть образовательный центр в Университете Индонезии (Universitas Indonesia).

Источник изображения: Tencent

Планируемые инвестиции Tencent Cloud и Alibaba Cloud неразрывно связаны с облачными контрактами с местной технологической компанией GoTo. Последняя намерена использовать опыт китайских компаний в анализе данных, ИИ и кибербезопасности. В мае намерение инвестировать $1,7 млрд в ИИ и облака в Индонезии выразила Microsoft, а буквально на днях о планах развития ИИ в стране объявили и в российском «Яндексе».

Популярная в Китае социальная сеть Xiaohongshu перенесла 500 Пбайт данных в облако Alibaba Cloud. На миграцию ушёл год, в переносе Alibaba помогали 1,5 тыс. сотрудников Xiaohongshu, сообщает SCMP. По имеющимся данным, предоставленным компаниями-партнёрами, речь идёт об одном из крупнейших проектов миграции данных «за всю историю». Сообщается, что «озеро данных» вмещает все структурированные и неструктурированные данные социальной платформы, собранные с момента запуска 11 лет назад.

Xiaohongshu, базирующаяся в Шанхае — крупнейшая в Китае лайфстайл-платформа, насчитывающая более 300 млн активных пользователей. Как заявила в WeChat компания Alibaba, ежедневно Xiaohongshu генерирует «невообразимые» объёмы данных. По данным облачного провайдера, успех миграции в облако предопределили тесное сотрудничество команд двух компаний, быстрое реагирование на возникающие задачи и проблемы, а также взаимно согласованные стандарты разработки.

Источник изображения: Wikipedia

Alibaba Cloud является крупнейшим облачным провайдером в Китае. Один из дата-центров компании пострадал от пожара в сентябре 2024 года, что заставило Alibaba довольно долго и очень тщательно сушить оборудование для сохранения данных. Весной компания снизила цены на облачные услуги на 55 % для Китая в попытке отвоевать клиентов у конкурентов из числа других местных игроков — Tencent, JD.com и Baidu.

Корпорация Microsoft объявила о том, что в облаке Azure стали общедоступными инстансы Dpsv6, Dplsv6 и Epsv6, в основу которых положены процессоры собственной разработки Azure Cobalt 100 на архитектуре Arm. Предварительные версии этих виртуальных машин были запущены весной нынешнего года.

Чипы Azure Cobalt 100, представленные около года назад, содержат 128 ядер Armv9 Neoverse N2 (Perseus). По заявления Microsoft, эти изделия обеспечивают до 50 % более высокую производительность по сравнению с виртуальными машинами Azure на базе Arm-чипов других производителей.

Инстансы серий Dpsv6 и Dpdsv6 предлагают до 96 vCPU (ядер) и 384 ГиБ (около 412 Гбайт) памяти (соотношение RAM к vCPU составляет 4:1). Они предназначены для масштабируемых рабочих нагрузок, небольших и средних баз данных, серверов приложений и веб-серверов.

Источник изображений: Microsoft

Инстансы Dplsv6 и Dpldsv6 насчитывают до 96 vCPU и оперируют максимум 192 ГиБ (около 206 Гбайт) памяти (соотношение RAM к vCPU равно 2:1). Такие инстансы подходят для кодирования мультимедийных материалов, небольших баз данных, игровых серверов, микросервисов и рабочих нагрузок, не требующих большого объема RAM.

Наконец, решения Epsv6 и Epdsv6 предоставляют до 96 vCPU и до 672 ГиБ (около 722 Гбайт) памяти (соотношение RAM к vCPU — 8:1). Эти виртуальные машины предназначены для ресурсоёмких рабочих нагрузок, таких как большие базы данных и аналитика.

Для всех инстансов предусмотрено использование от двух до восьми сетевых адаптеров с пропускной способностью 12,5–60 Гбит/с. Варианты Dpdsv6, Dpldsv6 и Epdsv6 имеют локальное хранилище с производительностью от 15 тыс. до 1,8 млн IOPS. Виртуальные машины также поддерживают все типы удаленных хранилищ, включая Standard SSD, Standard HDD, Premium SSD и Ultra Disk.

Новые инстансы доступны во многих регионах: Canada Central, Central US, East US 2, East US, Germany West Central, Japan East, Mexico Central, North Europe, Southeast Asia, Sweden Central, Switzerland North, UAE North, West Europe и West US 2. В дальнейшем добавятся регионы Australia East, Brazil South, France Central, India Central, South Central US, UK South, West US 3 и West US.

Компания Synergy Research Group обнародовала результаты исследования глобального рынка облачных инфраструктур: отрасль продолжает стремительно развиваться, а её основным драйвером является генеративный ИИ. Причём темпы роста увеличиваются четвёртый квартал подряд после снижения в 2022–2023 гг. на фоне ухудшения геополитической обстановки и макроэкономической ситуации.

В III четверти 2024 года затраты на рассматриваемом рынке достигли $83,8 млрд. Это практически на четверть, или на 23 %, больше по сравнению с результатом годичной давности. В абсолютном выражении прибавка составила примерно $15,7 млрд.

Источник изображения: Synergy Research Group

Ведущие облачные платформы продолжают наращивать выручку. Доли Amazon Web Services (AWS), Microsoft Azure и Google Cloud составили 31 %, 20 % и 13 % соответственно. Таким образом, по итогам III квартала 2024 года эти компании сообща заняли практически две трети (64 %) глобальной отрасли. Среди поставщиков облачных услуг второго эшелона самые высокие темпы роста в годовом исчислении показали Oracle, Huawei, Snowflake и Cloudflare.

На публичные сервисы IaaS и PaaS приходится основная часть выручки, а рост в этих сегментах в III квартале 2024-го оказался на отметке 24 %. В секторе публичных облаков доминирование AWS, Microsoft Azure и Google Cloud ещё более заметно: их суммарная доля оценивается в 68 %.

С географической точки зрения рынок продолжает развиваться во всех регионах мира. При оценке в местных валютах наиболее сильный рост показали Индия, Япония, Бразилия и Италия: у них всех показатель превысил среднее значение по отрасли. США остаются крупнейшим рынком облачных услуг, размер которого существенно превосходит затраты в Азиатско-Тихоокеанском регионе. Расходы в США в III квартале 2024 года поднялись на 23 %. В Европе крупнейшими рынками облачных услуг являются Великобритания и Германия, тогда как самые высокие темпы роста продемонстрировали Ирландия, Италия и Испания.

Microsoft и CoreWeave являются конкурентами на рынке ИИ-решений, но это не мешает Microsoft быть крупнейшим клиентом стартапа. Затраты Microsoft на аренду серверов у CoreWeave в период с 2023 по 2030 год составят почти $10 млрд, пишет ресурс The Information. Эта сумма больше, чем сообщалось ранее, и составляет более половины от всех имеющихся у CoreWeave контрактов с клиентами в объёме $17 млрд, отметил ресурс, ссылаясь на комментарии компании в ходе общения с инвесторами.

Недавно CoreWeave получила кредитную линию на $650 млн от нескольких инвестиционных банков, включая JPMorgan Chase, Goldman Sachs и Morgan Stanley. До этого CoreWeave за 12 месяцев привлекла $12,7 млрд в виде акционерного и долгового финансирования, включая раунд долгового финансирования на $7,5 млрд в мае. Также компания в августе 2023 года привлекла $2,3 млрд в виде долга под залог ускорителей NVIDIA от ряда инвесторов. Кроме того, в компанию инвестировала и сама NVIDIA.

Источник изображения: CoreWeave

CoreWeave, основанная в 2017 году в Роузленде (штат Нью-Джерси), предоставляет облачный доступ на правах аренды к самым передовым ускорителям NVIDIA в своих 14 ЦОД. К концу года компания планирует открыть ещё 28 ЦОД. Ранее сообщалось о подготовке CoreWeave к первичному публичному размещению ценных бумаг (IPO), которое может пройти в начале 2025 года.

Сама Microsoft стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL нового поколения и намерена агрессивно масштабировать свои вычислительные ресурсы. Причём не только для себя — Microsoft арендует у Oracle ускорители для нужд OpenAI.

Lumen Technologies и Amazon Web Services (AWS) объявили о сделке, которая обещает быть взаимовыгодной для обеих сторон. Финансовые условия соглашения не разглашаются.

В рамках сделки Lumen предоставит выделенную инфраструктуру Private Connectivity Fabric на базе частных ВОЛС между регионами и локальными зонами AWS в США. AWS продолжит развёртывать свои собственные сетевые решения на данных ВОЛС. Как указано в пресс-релизе, усовершенствованная сеть AWS обеспечит высокоскоростные и динамические соединения, которые предоставят клиентам возможность разрабатывать приложения генеративного ИИ, обучать ИИ-модели и поставлять новые продукты на базе ИИ по всему региону и в локальных зонах.

«ИИ меняет отрасли, и поддерживающая его сетевая инфраструктура должна быть такой же динамичной и отзывчивой, — сказала Кейт Джонсон (Kate Johnson), президент и генеральный директор Lumen Technologies. — Будучи доверенной сетью для ИИ, Lumen использует ВОЛС следующего поколения, чтобы помочь AWS предоставлять решения с высокой пропускной способностью, которые позволят их клиентам испытать и реализовать весь потенциал ИИ».

Источник изображения: Lumen Technologies

Также в рамках сделки Lumen переместит свои продуктовые и IT-платформы в облако AWS. В будущем Lumen сможет применять ИИ-технологии Amazon, включая сервис Bedrock, для лучшего планирования и оптимизации работы сети. Это обеспечит Lumen полную видимость своей сети, позволит повысить качество обслуживания клиентов и сократить расходы. В Lumen планируют перейти на автономную сетевую платформу на базе генеративного ИИ, которая позволит динамически управлять распределением ресурсов, а также быстро выявлять и решать проблемы, связанные с обслуживанием и сетью. «С AWS мы можем поддерживать нашу трансформацию и удовлетворять растущие потребности наших клиентов», — сказала Джонсон.

В пресс-релизе также отмечено, что Lumen и AWS уже много лет являются партнёрами. Имея статус провайдера AWS MSP (Managed Service Provider), Lumen помогает клиентам переносить рабочие нагрузки в AWS, обеспечивая плавный переход к их облачной инфраструктуре.

Lumen управляет инфраструктурой, включающей более чем 423 тыс. км оптоволоконных линий связи. Компания стремится извлечь выгоду из растущего спроса на ИИ-технологии, чтобы компенсировать падение выручки от устаревших направлений бизнеса, включя предоставление голосовых, широкополосных и других сервисов для предприятий и частных лиц.

Недавно компания объявила о заключении подобных сделок с Meta✴ и Microsoft, причём в Azure она тоже перенесёт часть нагрузок. Кейт Джонсон заявила в интервью Bloomberg TV, что сети этих компаний не отвечают их потребностям в экономике ИИ, поскольку недостаточно велики, недостаточно быстры и недостаточно безопасны, но Lumen под силу исправить эти проблемы. В августе Lumen сообщила, что благодаря буму вокруг ИИ получила новые заказы на сумму $5 млрд и ведёт «активные переговоры с клиентами», чтобы заключить сделки ещё на $7 млрд.

Компания Google сообщила о том, что её новейшие ИИ-ускорители TPU v6 с кодовым именем Trillium доступны клиентам для ознакомления в составе облачной платформы GCP. Утверждается, что на сегодняшний день новинка является самым эффективным решением Google по соотношению цена/производительность.

Официальная презентация Trillium состоялась в мае нынешнего года. Изделие оснащено 32 Гбайт памяти HBM с пропускной способностью 1,6 Тбайт/с, а межчиповый интерконнект ICI обеспечивает возможность передачи данных со скоростью до 3,58 Тбит/с (по четыре порта на чип). Задействованы блоки SparseCore третьего поколения, предназначенные для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций.

Источник изображений: Google

Google выделяет ряд существенных преимуществ Trillium (TPU v6e) перед ускорителями TPU v5e:

• Более чем четырёхкратное повышение производительности при обучении ИИ-моделей;
• Увеличение производительности инференса до трёх раз;
• Улучшение энергоэффективности на 67 %;
• Повышение пиковой вычислительной производительности в расчёте на чип в 4,7 раза;
• Двукратное увеличение ёмкости HBM;
• Удвоение пропускной способности межчипового интерконнекта ICI.

Один узел включает восемь ускорителей TPU v6e (в двух NUMA-доменах), два неназванных процессора (суммарно 180 vCPU), 1,44 Тбайт RAM и четыре 200G-адаптера (по два на CPU) для связи с внешним миром. Отмечается, что посредством ICI напрямую могут быть объединены до 256 изделий Trillium, а агрегированная скорость сетевого подключение такого кластера (Pod) составляет 25,6 Тбит/с. Десятки тысяч ускорителей могут быть связаны в масштабный ИИ-кластер благодаря платформе Google Jupiter с оптической коммутацией, совокупная пропускная способность которой достигает 13 Пбит/с. Trillium доступны в составе интегрированной ИИ-платформы AI Hypercomputer.

Заявляется, что благодаря ПО Multislice Trillium обеспечивается практически линейное масштабирование производительности для рабочих нагрузок, связанных с обучением ИИ. Производительность кластеров на базе Trillium может достигать 91 Эфлопс на ИИ-операциях: это в четыре раза больше по сравнению с самыми крупными развёртываниями систем на основе TPU v5p. BF16-производительность одного чипа TPU v6e составляет 918 Тфлопс, а INT8 — 1836 Топс.

В бенчмарках Trillium по сравнению с TPU v5e показал более чем четырёхкратное увеличение производительности при обучении моделей Gemma 2-27b, MaxText Default-32b и Llama2-70B, а также более чем трёхкратный прирост для LLama2-7b и Gemma2-9b. Кроме того, Trillium обеспечивает трёхкратное увеличение производительности инференса для Stable Diffusion XL (по отношению к TPU v5e). По соотношению цена/производительность TPU v6e демонстрирует 1,8-кратный рост по сравнению с TPU v5e и примерно двукратный рост по сравнению с TPU v5p. Появится ли более производительная модификация TPU v6p, не уточняется.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.

Amazon объявила результаты III квартала 2024 года, завершившегося 30 сентября, в котором облачные сервисы вновь стали одним из основных драйверов роста. Выручка Amazon составила $158,88 млрд, превысив показатель аналогичного квартала прошлого года на 11 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $157,2 млрд.

При этом выручка облачного подразделения Amazon Web Services (AWS) выросла на 19 % до $27,4 млрд, немного не дотянув до прогноза аналитиков StreetAccount в размере $27,52 млрд, пишет CNBC. Увеличение выручки AWS ускоряется уже пятый квартал подряд.

Доля ИИ-решений в выручке AWS составляет миллиарды долларов и более чем вдвое увеличилась по сравнению с прошлым годом, сообщил гендиректор Amazon Энди Джесси (Andy Jassy), ранее возглавлявший AWS: «Я считаю, что у нас больше спроса, чем мы могли бы удовлетворить, если бы у нас было ещё больше (вычислительных) мощностей сегодня». «Думаю, что сегодня у всех меньше мощностей, чем имеется спроса», — отметил он, добавив, что именно увеличение поставок чипов позволило бы решить эту проблему.

Источник изображений: AWS

Операционная прибыль AWS достигла $10,45 млрд, что на 50 % больше показателя годичной давности и составляет 60% операционной прибыли её материнской компании. Аналитики ожидали рост до $9,15 млрд. В отчётном квартале операционная маржа AWS, ключевой показатель прибыльности в процентах от продаж, достигла нового максимума в 38,1 %. Для сравнения, квартальная операционная маржа Google Cloud составила 17,1 % при прибыли в размере $1,9 млрд и выручке в $11,4 млрд.

Финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) назвал в числе факторов, повышающих маржу AWS ускорение спроса на её услуги и стремление к эффективности и контролю затрат во всём бизнесе, включая более продуманный найм персонала. Кроме того, он сообщил о продлении AWS в 2024 году срока службы своих серверов.

Олсавски рассказал, что Amazon ожидает около $75 млрд капитальных затрат в 2024 году, большая часть которых будет направлена на технологическую инфраструктуру, связанную в первую очередь с AWS. В свою очередь, Джесси предположил, что капитальные расходы компании будут ещё выше в 2025 году, отметив, что рост «действительно обусловлен генеративным ИИ», и добавив, что, по его мнению, инвестиции в конечном итоге окупятся.

«Наш бизнес в сфере ИИ — это многомиллиардный бизнес, рост которого исчисляется трехзначными процентами из года в год, и на данном этапе развития он растёт в три раза быстрее, чем AWS», — цитирует слова Джесси ресурс geekwire.com. Джесси отметил, что платформа в целом AWS тоже «росла довольно быстро».

Также в отчётном квартале AWS объявила в соцсети X о решении закрыть некоторые сервисы, включая CodeCommit. Гендиректор AWS Мэтт Гарман (Matt Garman) объяснил ресурсу TechCrunch, что AWS «не может инвестировать во всё подряд». В текущем квартале Amazon прогнозирует выручку в диапазоне от $181,5 до $188,5 млрд, что означает рост на 7–11 % в годовом исчислении. Средняя точка этого диапазона, $185 млрд, немного ниже консенсус-прогноза аналитиков в $186,2 млрд (LSEG).