Lumen Technologies и Amazon Web Services (AWS) объявили о сделке, которая обещает быть взаимовыгодной для обеих сторон. Финансовые условия соглашения не разглашаются.

В рамках сделки Lumen предоставит выделенную инфраструктуру Private Connectivity Fabric на базе частных ВОЛС между регионами и локальными зонами AWS в США. AWS продолжит развёртывать свои собственные сетевые решения на данных ВОЛС. Как указано в пресс-релизе, усовершенствованная сеть AWS обеспечит высокоскоростные и динамические соединения, которые предоставят клиентам возможность разрабатывать приложения генеративного ИИ, обучать ИИ-модели и поставлять новые продукты на базе ИИ по всему региону и в локальных зонах.

«ИИ меняет отрасли, и поддерживающая его сетевая инфраструктура должна быть такой же динамичной и отзывчивой, — сказала Кейт Джонсон (Kate Johnson), президент и генеральный директор Lumen Technologies. — Будучи доверенной сетью для ИИ, Lumen использует ВОЛС следующего поколения, чтобы помочь AWS предоставлять решения с высокой пропускной способностью, которые позволят их клиентам испытать и реализовать весь потенциал ИИ».

Источник изображения: Lumen Technologies

Также в рамках сделки Lumen переместит свои продуктовые и IT-платформы в облако AWS. В будущем Lumen сможет применять ИИ-технологии Amazon, включая сервис Bedrock, для лучшего планирования и оптимизации работы сети. Это обеспечит Lumen полную видимость своей сети, позволит повысить качество обслуживания клиентов и сократить расходы. В Lumen планируют перейти на автономную сетевую платформу на базе генеративного ИИ, которая позволит динамически управлять распределением ресурсов, а также быстро выявлять и решать проблемы, связанные с обслуживанием и сетью. «С AWS мы можем поддерживать нашу трансформацию и удовлетворять растущие потребности наших клиентов», — сказала Джонсон.

В пресс-релизе также отмечено, что Lumen и AWS уже много лет являются партнёрами. Имея статус провайдера AWS MSP (Managed Service Provider), Lumen помогает клиентам переносить рабочие нагрузки в AWS, обеспечивая плавный переход к их облачной инфраструктуре.

Lumen управляет инфраструктурой, включающей более чем 423 тыс. км оптоволоконных линий связи. Компания стремится извлечь выгоду из растущего спроса на ИИ-технологии, чтобы компенсировать падение выручки от устаревших направлений бизнеса, включя предоставление голосовых, широкополосных и других сервисов для предприятий и частных лиц.

Недавно компания объявила о заключении подобных сделок с Meta✴ и Microsoft, причём в Azure она тоже перенесёт часть нагрузок. Кейт Джонсон заявила в интервью Bloomberg TV, что сети этих компаний не отвечают их потребностям в экономике ИИ, поскольку недостаточно велики, недостаточно быстры и недостаточно безопасны, но Lumen под силу исправить эти проблемы. В августе Lumen сообщила, что благодаря буму вокруг ИИ получила новые заказы на сумму $5 млрд и ведёт «активные переговоры с клиентами», чтобы заключить сделки ещё на $7 млрд.

Компания Google сообщила о том, что её новейшие ИИ-ускорители TPU v6 с кодовым именем Trillium доступны клиентам для ознакомления в составе облачной платформы GCP. Утверждается, что на сегодняшний день новинка является самым эффективным решением Google по соотношению цена/производительность.

Официальная презентация Trillium состоялась в мае нынешнего года. Изделие оснащено 32 Гбайт памяти HBM с пропускной способностью 1,6 Тбайт/с, а межчиповый интерконнект ICI обеспечивает возможность передачи данных со скоростью до 3,58 Тбит/с (по четыре порта на чип). Задействованы блоки SparseCore третьего поколения, предназначенные для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций.

Источник изображений: Google

Google выделяет ряд существенных преимуществ Trillium (TPU v6e) перед ускорителями TPU v5e:

• Более чем четырёхкратное повышение производительности при обучении ИИ-моделей;
• Увеличение производительности инференса до трёх раз;
• Улучшение энергоэффективности на 67 %;
• Повышение пиковой вычислительной производительности в расчёте на чип в 4,7 раза;
• Двукратное увеличение ёмкости HBM;
• Удвоение пропускной способности межчипового интерконнекта ICI.

Один узел включает восемь ускорителей TPU v6e (в двух NUMA-доменах), два неназванных процессора (суммарно 180 vCPU), 1,44 Тбайт RAM и четыре 200G-адаптера (по два на CPU) для связи с внешним миром. Отмечается, что посредством ICI напрямую могут быть объединены до 256 изделий Trillium, а агрегированная скорость сетевого подключение такого кластера (Pod) составляет 25,6 Тбит/с. Десятки тысяч ускорителей могут быть связаны в масштабный ИИ-кластер благодаря платформе Google Jupiter с оптической коммутацией, совокупная пропускная способность которой достигает 13 Пбит/с. Trillium доступны в составе интегрированной ИИ-платформы AI Hypercomputer.

Заявляется, что благодаря ПО Multislice Trillium обеспечивается практически линейное масштабирование производительности для рабочих нагрузок, связанных с обучением ИИ. Производительность кластеров на базе Trillium может достигать 91 Эфлопс на ИИ-операциях: это в четыре раза больше по сравнению с самыми крупными развёртываниями систем на основе TPU v5p. BF16-производительность одного чипа TPU v6e составляет 918 Тфлопс, а INT8 — 1836 Топс.

В бенчмарках Trillium по сравнению с TPU v5e показал более чем четырёхкратное увеличение производительности при обучении моделей Gemma 2-27b, MaxText Default-32b и Llama2-70B, а также более чем трёхкратный прирост для LLama2-7b и Gemma2-9b. Кроме того, Trillium обеспечивает трёхкратное увеличение производительности инференса для Stable Diffusion XL (по отношению к TPU v5e). По соотношению цена/производительность TPU v6e демонстрирует 1,8-кратный рост по сравнению с TPU v5e и примерно двукратный рост по сравнению с TPU v5p. Появится ли более производительная модификация TPU v6p, не уточняется.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.

Amazon объявила результаты III квартала 2024 года, завершившегося 30 сентября, в котором облачные сервисы вновь стали одним из основных драйверов роста. Выручка Amazon составила $158,88 млрд, превысив показатель аналогичного квартала прошлого года на 11 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $157,2 млрд.

При этом выручка облачного подразделения Amazon Web Services (AWS) выросла на 19 % до $27,4 млрд, немного не дотянув до прогноза аналитиков StreetAccount в размере $27,52 млрд, пишет CNBC. Увеличение выручки AWS ускоряется уже пятый квартал подряд.

Доля ИИ-решений в выручке AWS составляет миллиарды долларов и более чем вдвое увеличилась по сравнению с прошлым годом, сообщил гендиректор Amazon Энди Джесси (Andy Jassy), ранее возглавлявший AWS: «Я считаю, что у нас больше спроса, чем мы могли бы удовлетворить, если бы у нас было ещё больше (вычислительных) мощностей сегодня». «Думаю, что сегодня у всех меньше мощностей, чем имеется спроса», — отметил он, добавив, что именно увеличение поставок чипов позволило бы решить эту проблему.

Источник изображений: AWS

Операционная прибыль AWS достигла $10,45 млрд, что на 50 % больше показателя годичной давности и составляет 60% операционной прибыли её материнской компании. Аналитики ожидали рост до $9,15 млрд. В отчётном квартале операционная маржа AWS, ключевой показатель прибыльности в процентах от продаж, достигла нового максимума в 38,1 %. Для сравнения, квартальная операционная маржа Google Cloud составила 17,1 % при прибыли в размере $1,9 млрд и выручке в $11,4 млрд.

Финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) назвал в числе факторов, повышающих маржу AWS ускорение спроса на её услуги и стремление к эффективности и контролю затрат во всём бизнесе, включая более продуманный найм персонала. Кроме того, он сообщил о продлении AWS в 2024 году срока службы своих серверов.

Олсавски рассказал, что Amazon ожидает около $75 млрд капитальных затрат в 2024 году, большая часть которых будет направлена на технологическую инфраструктуру, связанную в первую очередь с AWS. В свою очередь, Джесси предположил, что капитальные расходы компании будут ещё выше в 2025 году, отметив, что рост «действительно обусловлен генеративным ИИ», и добавив, что, по его мнению, инвестиции в конечном итоге окупятся.

«Наш бизнес в сфере ИИ — это многомиллиардный бизнес, рост которого исчисляется трехзначными процентами из года в год, и на данном этапе развития он растёт в три раза быстрее, чем AWS», — цитирует слова Джесси ресурс geekwire.com. Джесси отметил, что платформа в целом AWS тоже «росла довольно быстро».

Также в отчётном квартале AWS объявила в соцсети X о решении закрыть некоторые сервисы, включая CodeCommit. Гендиректор AWS Мэтт Гарман (Matt Garman) объяснил ресурсу TechCrunch, что AWS «не может инвестировать во всё подряд». В текущем квартале Amazon прогнозирует выручку в диапазоне от $181,5 до $188,5 млрд, что означает рост на 7–11 % в годовом исчислении. Средняя точка этого диапазона, $185 млрд, немного ниже консенсус-прогноза аналитиков в $186,2 млрд (LSEG).

Облачная платформа Google Cloud анонсировала инстансы C4A — первые виртуальные машины, построенные на фирменных Arm-процессорах Axion собственной разработки. Утверждается, что C4A по соотношению цена/производительность обеспечивают выигрыш до 10 % по сравнению с аналогичными предложениями конкурентов.

Напомним, чипы Axion дебютировали в апреле нынешнего года. Они оснащены Armv9-ядрами Neoverse V2 (Demeter), которые функционируют в связке с контроллерами Titanium (отвечают за работу с сетью, защиту и разгрузку IO-операций). Инстансы C4A предназначены для нагрузок общего назначения. Среди них названы веб-серверы, контейнерные микросервисы, СУБД, серверы приложений, аналитика данных, обработка мультимедийных материалов и инференс.

Источник изображения: Google

Google заявляет, что по сравнению с виртуальными машинами на основе x86-процессоров текущего поколения инстансы C4A обеспечивают повышение энергетической эффективности до 60 % и улучшение соотношения цена/быстродействие до 65 %. Учитывая эти преимущества, ключевые службы Google, такие как Bigtable, Spanner, BigQuery, F1 Query, Blobstore, Pub/Sub, Google Earth Engine и YouTube Ads, уже начали переход на Axion.

Источник изображения: Google

Инстансы C4A доступны в трёх вариантах: standard, highcpu и highmem. Во всех версиях количество vCPU (фактически ядер) варьируется от 1 до 72. В случае стандартных модификаций на один vCPU выделяет 4 Гбайт памяти, а для highcpu и highmem — 2 Гбайт и 8 Гбайт соответственно. Таким образом, объём памяти может составлять до 576 Гбайт. Стандартная пропускная способность сетевого подключения — до 50 Гбит/с, а для приложений с интенсивным трафиком показатель может достигать 100 Гбит/с. Кроме того, доступно хранилище Hyperdisk последнего поколения с производительностью до 350 тыс. IOPS и пропускной способностью до 5 Гбайт/с.

Источник изображения: Google

Клиенты Google Cloud могут использовать C4A для многих сервисов, включая Google Compute Engine, Google Kubernetes Engine (GKE), Batch и Dataproc. Виртуальные машины поддерживают большинство популярных редакций Linux — RHEL, SUSE Linux Enterprise Server, Ubuntu, Rocky Linux и др. Программное обеспечение, совместимое с архитектурой Arm, доступно в Google Cloud Marketplace.

Источник изображения: Phoronix

Согласно тестам Phoronix, инстансы C4A с 48 vCPU обеспечивают 1,4-кратный прирост производительности по сравнению с C4 на базе Intel Xeon. А по отношению к инстансам T2A на Arm-чипах Ampere Altra новые машины C4A демонстрируют увеличение быстродействия в 1,95 раза. При этом с финансовой точки зрении новинки оказываются выгоднее других решений.

Microsoft сообщила о результатах работы в I квартале 2025 финансового года, завершившемся 30 сентября. Показатели компании превысили прогнозы аналитиков, но её ожидания и планы вызвали опасения инвесторов, так что акции упали в четверг на 6 %. До этого акции компании падали столь значительно 26 октября 2022 года — на 7,7 %, за месяц до публичного релиза ChatGPT, после которого начался бум на ИИ.

В этот раз инвесторов не устроили планы компании по увеличению расходов на искусственный интеллект (ИИ) в текущем квартале и ожидаемое замедление роста облачного бизнеса Azure, что свидетельствует о том, что крупных инвестиций в ИИ было недостаточно, чтобы справиться с ограничениями мощности ЦОД компании — Microsoft попросту не хватает ресурсов для обслуживания заказчиков.

Выручка Microsoft выросла год к году на 16 % до $65,6 млрд, что выше средней оценки аналитиков в $64,5 млрд, которых опросила LSEG. Чистая прибыль увеличилась на 11 % до $24,67 млрд, в то время как аналитики прогнозировали $23,15 млрд. Чистая прибыль на акцию составила $3,30 при прогнозе Уолл-стрит в рамзере $3,10.

Сегмент Intelligent Cloud компании Microsoft, который охватывает облачные сервисы Azure, а также Windows Server, SQL Server, GitHub, Nuance, Visual Studio и корпоративные сервисы, показал рост выручки на 20 % в годовом исчислении до $24,1 млрд. Azure и другие облачные сервисы увеличили выручку на 33 %. При этом ИИ внес 12 п.п. в рост выручки Azure в отчётном квартале по сравнению с 11 п.п. в предыдущем трёхмесячном периоде.

Источник изображений: Microsoft

Большинство направлений бизнеса Microsoft показали значительный рост: LinkedIn — 10 %; продукты Dynamics и облачные сервисы — 14 %, в том числе Dynamics 365 — 18 %; серверные продукты и облачные сервисы — 23 %. Выручка Microsoft 365 Commercial Cloud выросла на 15 %, а потребительского Microsoft 365 и сопутствующих облачных сервисов — на 5 %.

Вместе с тем внешние поставщики запаздывают с поставкой инфраструктуры ЦОД для Microsoft, что означает, что компания не сможет удовлетворить спрос во II финансовом квартале. Бретт Иверсен (Brett Iversen), вице-президент Microsoft по связям с инвесторами, подтвердил, что Microsoft не сможет решить проблему ограничений мощности ИИ до II половины финансового года.

Microsoft прогнозирует замедление роста выручки Azure во II финансовом квартале до 31–32 %, что отстает от среднего роста в 32,25 %, ожидаемого аналитиками, согласно Visible Alpha.

Наряду с замедлением роста выручки Azure у инвесторов вызывает обеспокоенность и то, что Microsoft вкладывает огромные средства в создание инфраструктуры ИИ и расширение ЦОД. Microsoft заявила, что за квартал капитальные затраты выросли на 5,3 % до $20 млрд по сравнению с $19 млрд в предыдущем квартале. Это выше оценки Visible Alpha в размере $19,23 млрд. Сообщается, что в основном средства пошли на расширение ЦОД.

Всего за 2025 финансовый год, начавшийся в июле, по оценкам аналитиков Visible Alpha, компания потратит более $80 млрд, что на $30 млрд больше, чем в предыдущем финансовом году. Компания считается лидером среди крупных технологических компаний в гонке ИИ благодаря своему эксклюзивному партнёрству с OpenAI, разработчиком ИИ-чат-бота ChatGPT. Доход Microsoft от бизнеса ИИ пока невелик, хотя компания прогнозирует, что он станет более существенным. В текущем квартале компания планирует достичь выручки в размере $10 млрд в годовом исчислении.

Также Microsoft сообщила об отказе от предоставления клиентам в аренду ускорителей для обучения новых моделей ИИ, сделав приоритетным инференс. «На самом деле мы не продаем другим просто GPU для обучения [ИИ-моделей], — сказал Сатья Наделла (Satya Nadella). — Это своего рода бизнес, от которого мы отказываемся, потому что у нас очень большой спрос на инференс» для поддержки различных Copilot и других услуг ИИ.

Как сообщает The Register, финансовый директор Эми Худ (Amy Hood), в свою очередь заявила, что Microsoft рассматривает доход, полученный от инференса, как источник средств для оплаты будущих инициатив по обучению ИИ-моделей. Сейчас компания стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL72, стремясь получить их до того, как они станут доступны другим игрокам. Кроме того, Azure станет посредником в процессе расширения ИИ-инфраструктуры OpenAI.

Специализирующаяся на строительстве и управлении ЦОД американская TECfusions заключила соглашение с TensorWave, предусматривающее предоставление последней ИИ-инфраструктуры. По информации Datacenter Dynamics, в рамках договора TensorWave будет арендовать у оператора 1 ГВт ёмкости ЦОД.

По словам представителя TECfusions, сотрудничество знаменует собой переломный момент в развитии ИИ-инфраструктуры. Как говорит компания, в ЦОД в Кларксвилле (Clarksville) уже размещён один из крупнейших в мире кластеров ускорителей, а сделка является свидетельством готовности TECfusions к самым ресурсоёмким проектам.

Развёртывание 1 ГВт будет происходить поэтапно, но доступ к значимой доле ёмкости должен появиться уже к началу 2025 года. Tecfusion намерена использовать локальные генерирующие мощности, функционирующие в основном на природном газе, для обеспечения стабильных поставок энергии и во избежание скачков цен на неё. Компания уже владеет микросетями на территории ЦОД в Нью-Кенсингтоне (200 МВт, Пенсильвания) и Кларксвилле (220 МВт, Вирджиния).

Источник изображения: Henry Deng/unsplash.com

Партнёрство сформировано по итогам SAFE-раунда финансирования TensorWaves, в ходе него привлечено $43 млн. Основанный в 2023 году стартап из Лас-Вегаса предоставляет клиентам доступ к вычислительным ИИ-мощностям на основе ускорителей AMD. На полученные средства TensorWave оснастит ЦОД ускорителями AMD Instinct MI300X, расширит команду и начнёт подготовку к внедрению следующего поколения ускорителей Instinct MI325X. На IV квартал намечен запуск новой инференс-платформы Manifest в IV.

Как заявляют в TensorWave, способность TECfusions выводить на рынок масштабные, готовые к ИИ-задачам ёмкости за считанные месяцы значительно ускорит освоение рынка компанией. Партнёрство имеет ключевое значение для сохранения конкурентоспособности в ИИ-секторе.

Сейчас TECfusions управляет тремя действующими ЦОД — в Аризоне, Пенсильвании и Вирджинии. В сентябре оператор объявил о завершении строительства третьего зала для ИИ-оборудования в Кларксвилле. Теперь общая ёмкость этого дата-центра достигла 34,5 МВт. До конца года будет оснащён четвёртый зал на 13,5 МВт.

Министр промышленности Италии Адольфо Урсо (Adolfo Urso) объявил о желании неназванной компании реализовать в стране проект строительства ЦОД общей стоимостью €30 млрд ($33 млрд). По информации Reuters, проект предложен неназванной иностранной корпорацией.

По словам министра, представитель компании заявил, что выбор пал на Итали потому, что её можно назвать идеальным местом для дата-центров. Страна — участница «большой семёрки», находится в средиземноморском бассейне, на перекрёстке мировых информационных маршрутов.

Дополнительные подробности не раскрываются. Как предполагают эксперты, подобная инвестиция способна обеспечить строительство гигаваттных кампусов ЦОД — при этом Италия всегда считалась рынком вторичным рынком дата-центров. Для сравнения, в £10 млрд ($13,3 млрд) обойдётся 1,1-ГВт проект QTS (Blackstone) в Великобритании, отмечает DataCenter Dynamics.

Источник изображения: Jack Ward/unsplash.com

Немногие операторы ЦОД вообще имеют доступ к таким финансовым ресурсам. При этом каждый из облачных гиперскейлеров, включая Microsoft, Google, Oracle и AWS (Amazon) уже имеют дата-центры в стране. Так, облачный регион Microsoft расположен в Милане. Компания анонсировала регион Italian Azure в мае 2020 года, а запустила его в 2023 году. Недавно компания анонсировала намерение инвестировать в расширение местной облачной инфраструктуры ещё €4,3 млрд ($4,75 млрд).

Это был последний из американских гиперскейлеров, запустивший своё облако в Италии. AWS запустила регион в Милане в 2020 году и намерена инвестировать ещё. Oracle свой первый облачный регион тоже запустила в Милане в конце 2021 года. Ранее в этом году компания анонсировала планы создания второго региона в Турине при сотрудничестве с телеком-оператором Telecom Italia (TIM). Первый облачный регион Google открылся всё в том же Милане в 2022 году, с тех пор второй регион Google Cloud Platform (GCP) запустили в Турине.

На днях была основана новая группа Open Cloud Coalition (OCC), намеренная продвигать «открытость и совместимость» на рынке облачных услуг. По данным Computer Weekly, она будет поддерживать антимонопольные ведомства, надзирающие за бизнес-практиками гиперскейлеров. Новый проект пришёлся по вкусу не всем облачным операторам.

OCC основана 10 компаниями, призывающими к большей открытости, совместимости и честной конкуренции на облачном рынке. Участники также обязуются публиковать исследовательские данные и консультировать регуляторов в Европе, исследующих антиконкурентное поведение. Примечательно, что в число основателей входит Google Cloud, недавно подавшая жалобу в Еврокомиссию на неконкурентные практики облачного лицензирования Microsoft.

Не так давно ассоциация облачных провайдеров CISPE уже жаловалась европейским властям на Microsoft, но в итоге последняя урегулировала проблему, заплатив небольшим компаниям более $20 млн. Google, по слухам, предлагала в разы больше, чтобы более мелкие игроки не отказывались от претензий, но компанию и AWS оставили один на один с Microsoft, а последняя заявляла, что конкуренты «мутят воду», только притворяясь слабыми.

Источник изображения: jean wimmerlin/unsplash.com

Теперь, по данным СМИ, Google фактически запускает собственную версию CISPE, включающую Centerprise International, Civo и Gigas, а также других мелких игроков, в том числе ControlPlane, DTP Group, Prolinx, Pulsant, Clairo и Room 101. Представители коалиции заявляют, что в будущем привлекут новых участников, а соответствующие переговоры уже ведутся.

Новость о появлении коалиции обнародована на фоне вестей с мирового облачного рынка, где активно расследуется антиконкурентное поведение как Microsoft, так и Amazon (AWS). В частности, соответствующие расследования ведёт Управление по конкуренции и рынкам (CMA) Великобритании с подачи регулятора Ofcom, в сферу внимания которого попали Microsoft и AWS, не в последнюю очередь с подачи Google. Похожие расследования ведутся в Испании и Дании.

В условиях, когда облачная инфраструктура становится незаменимой, многие компании попали в ловушки, связанные ограничительными соглашениями, фактически не дающими возможности реализовать «мультиоблачные» стратегии. Этот тренд и намерена изменить OCC, продвигая более конкурентные практики и открытые стандарты, а также принципы, позволяющие легко менять провайдеров.

Впрочем, в Microsoft уже раскритиковали инициативу, назвав организацию «искусственным газоном, созданным Google». Хотя Google формально не является лидером коалиции, предполагается, что именно она является теневым «кукловодом». В Microsoft утверждают, что конкурент добивается двух целей — пытается отвлечь от антимонопольных расследований по всему миру, проводящихся против самой Google, и пытается изменить вектор внимания регуляторов в свою пользу вместо того, чтобы состязаться честно.

Американский стартап Cerebras Systems, специализирующийся на разработке ИИ-ускорителей, объявил о самом масштабном обновлении ИИ-платформы Cerebras Inference с момента её запуска. Производительность системы поднялась примерно в три раза.

Первый релиз Cerebras Inference состоялся в августе 2024 года. Основой облачной платформы являются ускорители собственной разработки WSE-3. На момент запуска быстродействие составляло до 1800 токенов в секунду на пользователя для ИИ-модели Llama3.1 8B и до 450 токенов в секунду для Llama3.1 70B (FP16). Разработчик заявлял, что Cerebras Inference — это «самая мощная в мире» ИИ-платформа для инференса.

Источник изображений: Cerebras Systems

Однако в сентябре нынешнего года у Cerebras Inference появился серьёзный конкурент. Компания SambaNova Systems запустила облачный сервис SambaNova Cloud, также назвав его «самой быстрой в мире платформой для ИИ-инференса». Система на основе чипов собственной разработки SN40L демонстрирует быстродействие до 461 токена в секунду при использовании Llama 3.1 70B. В ответ Cerebras Systems усовершенствовала своё решение путём «многочисленных улучшений программного обеспечения, оборудования и алгоритмов».

Утверждается, что обновлённая платформа Cerebras Inference при обслуживании Llama3.1 70B обеспечивает быстродействие 2148 токенов в секунду. Для сравнения: у AWS — лидера мирового облачного рынка — этот показатель равен 31 токену в секунду. А у Groq значение находится на уровне 250 токенов в секунду. Данные получены по результатам тестов Artificial Analysis.

Время до получения первого токена имеет решающее значение для приложений реального времени. Cerebras находится на втором месте с показателем 0,38 с, уступая только Deep Infra (0,35 с). Вместе с тем Cerebras лидирует по общему времени отклика для 100 токенов на выходе с показателем 0,4 с против 0,7 с у SambaNova, которая находится на втором месте. В целом, как отмечается, платформа Cerebras Inference при работе с Llama3.1 70B опережает сервисы конкурентов на основе GPU, обрабатывающие модель Llama3.1 3B, которая в 23 раза меньше.