Облачная платформа AWS официально представила инстансы EC2 Trn2 и Trn2 UltraServer — самые высокопроизводительные решения EC2, ориентированные на ИИ-приложения, машинное обучение и задачи инференса. В основу положены фирменные ускорители Amazon Trainium2 второго поколения.

ИИ-ускорители Trainium2 содержат восемь ядер NeuronCore и 96 ГиБ памяти HBM с пропускной способностью 2,9 Тбайт/с. Ядра могут адресоваться и использоваться по отдельности или же пары физических ядер могут быть сгруппированы в один логический блок. Trainium2 обеспечивает FP8-быстродействие до 1,3 Пфлопс, а FP8-производительность в разреженных вычислениях достигает 5,2 Пфлопс.

Инстансы EC2 Trn2 содержат 16 ускорителей Trainum2, связанных посредством интерконнекта NeuronLink. В сумме это даёт 128 ядер NeuronCore и 1,5 ТиБ памяти HBM с суммарной пропускной способностью 46 Тбайт/с. Производительность на операциях FP8 достигает 20,8 Пфлопс. Каждый инстанс включает 192 vCPU, 2 ТиБ памяти и адаптеры AWS Elastic Fabric Adapter (EFA) v3 на 3,2 Тбит/с.

Источник изображений: AWS

Утверждается, что инстансы Trn2 обеспечивают в четыре раза более высокую производительность, в четыре раза большую пропускную способность памяти и в три раза большую ёмкость памяти, нежели инстансы Trn1. Кроме того, экземпляры Trn2 предлагают на 30–40 % лучшее соотношение цены и производительности, чем EC2 P5e и P5en на базе GPU. Инстансы Trn2 доступны в регионе AWS US East (Огайо), а в ближайшем будущем появятся и в других зонах.

В свою очередь, платформа UltraServer включает четыре инстанса Trn2 (64 ускорителя Trainum2) с интерконнектом NeuronLink с низкой задержкой. В сумме это даёт 512 ядер NeuronCore и 6 ТиБ памяти HBM с суммарной пропускной способностью 185 Тбайт/с. Быстродействие на операциях FP8 составляет 83 Пфлопс (332 Пфлопс в разреженных вычислениях). Новые узлы используют СЖО.

Десятки тысяч ускорителей Trainium2 могут формировать кластеры EC2 UltraCluster. В частности, такую систему в рамках инициативы Project Rainier компания Amazon намерена создать в партнёрстве со стартапом Anthropic, который специализируются на технологиях генеративного ИИ. Интересно, что ИИ-суперкомпьютер Project Rainier будет распределённым — его узлы разместятся сразу в нескольких ЦОД. ВОЛС между дата-центрами организует Lumen. Одной из причин от попытки построить один гигантский кампус называется невозможность быстро получить достаточно энергии в одном месте, хотя у компании уже есть площадка рядом с АЭС.

Недавно Amazon объявила о намерении удвоить инвестиции в Anthropic, доведя их до $8 млрд. Создание системы Rainier планируется завершить в следующем году. Ожидается, что она станет одним из крупнейших в мире вычислительных кластеров для обучения моделей ИИ. По заявлениям AWS, комплекс обеспечит в пять раз более высокую производительность по сравнению с платформой, которую Anthropic использовала до сих пор для разработки своих языковых моделей. Достанутся ли Anthropic и ресурсы ещё облачного ИИ-суперкомпьютера Project Ceiba, который получит 21 тыс. суперчипов NVIDIA Blackwell, не уточняется.

Кроме того, по сообщению The Register, компания Amazon приоткрыла завесу тайны над ИИ-ускорителями следующего поколения — изделиями Trainium3. По сравнению с предшественниками они, как утверждается, обеспечат четырёхкратное увеличение быстродействия. Говорится, что Trainium3 станет первым специализированным ускорителем для ИИ и машинного обучения, созданным на основе 3-нм техпроцесса. Эффективность по сравнению с Trainium2 увеличится примерно на 40 %. Ожидается, что на коммерческом рынке изделия Trainium3 появятся в конце 2025 года.

Компания Marvell Technology, занимающаяся полупроводниковыми инфраструктурными решениями, объявила о расширении стратегического партнёрства с Amazon Web Services (AWS). Стороны заключили соглашение сроком на пять лет, включающее сотрудничество в работе над несколькими продуктами AWS, а также использование облачной инфраструктуры техногиганта, сообщает пресс-служба Marvell.

Соглашение касается широкого спектра решений Marvell, предназначенных для дата-центров. В том числе речь идёт о поставке кастомизированных ИИ-чипов для AWS, оптических и электрических DSP, PCIe-ретаймеров, оптических сетевых решениях, чипсетов для коммутаторов и др. Компетенции Marvell позволят AWS усовершенствовать собственные продукты, сетевое оборудование и СХД, добившись большей эффективности и снижения стоимости эксплуатации.

Источник изображения: LinkedIn Sales Solutions/unsplash.com

Для автоматизации проектирования электроники (EDA) в Marvell приняли подход cloud first, разработка ведётся с использованием облака AWS, где компании доступны практически неограниченные вычислительные ресурсы. В Marvell уже заявили, что решения AWS EDA помогут компании быстро, гибко и безопасно масштабировать проектирование полупроводников с лучшим в своём классе временем выхода на рынок. Сотрудничество играет на руку и AWS — продукты Marvell активно используются в инфраструктуре Amazon.

Amazon представила сервис AWS Data Transfer Terminal — пункты, где можно быстро и безопасно выгрузить большие объёмы данных в облако AWS. Первые терминалы расположены в Лос-Анджелесе и Нью-Йорке, в будущем планируется добавить пункты приёма данных и в других локациях по всему миру.

Использование пунктов AWS Data Transfer Terminal позволит значительно снизить время передачи данных (не считая времени на дорогу и обратно) в хранилища S3, EFS и др. Например, можно выгрузить большие датасеты от парка беспилотных машин, видеофайлы или картографические данные для дальнейшего анализа и обработки. Также с собой можно принести носители Snowball, хотя в целом AWS постепенно сворачивает сервисы Snow по физической доставке данных в облако.

Источник изображения: AWS

Список терминалов доступен в AWS Management Console, где можно заранее назначить дату и время визита и вписать участников. В назначенный час сотрудник AWS проверит документы и проводит до отдельной комнаты, где есть патч-панель, оптоволоконный кабель и ПК. Патч-панель интегрирована в небольшую стойку, а компьютер можно использовать для контроля процесса передачи данных. Примечательно, что в целях безопасности на зданиях и в помещениях нет никаких символов AWS. Плата за гигабайты не предусмотрена, вместо этого платить придётся за время загрузки в регионы AWS. При этом доступны только те регионы, которые находятся на том же континенте, где и пользователь.

Облачная платформа Amazon Web Services (AWS) анонсировала инстансы EC2 I8g, оптимизированные для хранения данных. Утверждается, что по сравнению с решениями предыдущего поколения EC2 I4g достигается прирост производительности на операциях хранения в реальном времени до 65 % в расчёте на 1 Гбайт.

Инстансы EC2 I8g базируются на фирменных процессорах Graviton4, насчитывающих до 96 ядер Arm. Кроме того, впервые применены накопители AWS Nitro SSD третьего поколения, которые изготавливаются по индивидуальному заказу Amazon. Эти устройства, как утверждается, обеспечивают высокую производительность ввода-вывода, низкую задержку, минимальную изменчивость задержки и безопасность благодаря шифрованию.

В зависимости от модификации инстансы EC2 I8g предлагают от 2 до 96 vCPU, а объём памяти варьируется от 16 до 768 ГиБ. Вместимость хранилища составляет от 468 Гбайт до 22,5 Тбайт. Пропускная способность сетевого подключения находится в диапазоне от 10 Гбит/с до 56,25 Гбит/с, пропускная способность EBS-томов — от 10 до 30 Гбит/с.

Источник изображения: AWS

Отмечается, что инстансы I8g предназначены для рабочих нагрузок с интенсивными IO-операциями, требующими доступа к информации с минимальными задержками. Это могут быть различные базы данных, включая платформы реального времени (MySQL, PostgreSQL, Aerospike, Apache Druid, MongoDB), а также аналитика реального времени.

Задействована система AWS Nitro, которая переносит функции виртуализации, хранения и сетевые операции на выделенное оборудование и ПО для повышения производительности и улучшения безопасности. Говорится о совместимости с Amazon Linux 2023, Amazon Linux 2, CentOS Stream 8 или новее, Ubuntu 18.04 или новее, SUSE 15 SP2 или новее, Debian 11 или новее, Red Hat Enterprise 8.2 или новее, CentOS 8.2 или новее, FreeBSD 13 или новее, Rocky Linux 8.4 или новее, Alma Linux 8.4 или новее и Alpine Linux 3.12.7 или новее.

Компания Amazon (AWS) раскрыла планы удвоить инвестиции в Anthropic, доведя их до $8 млрд. Объявление о новых вложениях было сделано через год после того, как гиперскейлер сообщил о выделении стартапу $4 млрд, сообщает Silicon Angle. На тот момент главный конкурент OpenAI назвал AWS своим ключевым облачным провайдером. С новой сделкой роль AWS в обучении моделей Anthropic только усилится.

Anthropic представила свою наиболее передовую модель Claude 3.5 Sonnet в прошлом месяце — это улучшенная версия большой языковой модели (LLM) той же серии, дебютировавшей несколько месяцев назад. Новая Claude 3.5 Sonnet лучше предшественницы в выполнении некоторых задач, включая написание кода. Она также обошла OpenAI GPT-4o в нескольких бенчмарках.

Anthropic предлагает свои LLM через сервис Amazon Bedrock, обеспечивающий доступ к управляемым ИИ-моделям. Расширенное сотрудничество обеспечит пользователям ранний доступ к функции, позволяющей настраивать модели Claude с использованием кастомных датасетов.

Источник изображения: Pepi Stojanovski/unsplash.com

Также планируется поддержать друг друга в разработках. Anthropic будет использовать ИИ-ускорители Trainium и Inferentia для внутренних задач. В компании подчеркнули, что задействуют ускорители для крупнейших базовых моделей. В то же время специалисты Anthropic поддержат AWS в разработке новых чипов Tranium. Стек ПО Neutron включает компилятор, оптимизирующий ИИ-модели для работы на инстансах Tranium, и некоторые другие инструменты. Компания также работает над низкоуровневыми программными ядрами, распределяющими задачи между вычислительными ядрами ускорителей.

Последний раунд финансирования Anthropic состоится через два месяца после того, как OpenAI привлекла рекордные для стартапа $6,6 млрд. Также она получила кредитную линию на $4 млрд от группы банков. OpenAI, оцениваемая в $157 млрд, будет инвестировать средства в ИИ-исследования и вычислительную инфраструктуру.

AWS близка к заключению сделки с компанией IBM на сумму $475 млн. По данным Business Insider, компания готовится предоставить компании IBM доступ к своим облачным ИИ-решениям. Компании ведут переговоры о пятилетнем использовании IBM ИИ-ускорителей в облаке Amazon. В частности, IBM планирует задействовать инстансы EC2 с чипами NVIDIA, что подтверждается одним из внутренних документов Amazon.

По некоторым данным, сотрудничество уже началось — IBM начала обучать отдельные модели на указанных системах с использованием платформы AWS SageMaker. Однако переговоры ещё продолжаются, и подписание окончательного соглашения пока не гарантировано. Примечательно, что IBM имеет собственное облако, где так же предоставляет доступ к ускорителям. Однако, по оценкам экспертов, её доля на мировом облачном рынке не превышает 10 %.

Ранее, в 2024 году, IBM анонсировала увеличение использования сервисов AWS для своей платформы Watson AI. Компании намерены интегрировать IBM watsonx.governance с платформой Amazon SageMaker, чтобы помочь клиентам эффективно управлять рисками, связанными с ИИ-моделями, и упростить их использование.

Источник изображения: AWS

Amazon активно продвигает чипы собственной разработки — Inferentia и Trainium, а ранее в этом месяце пообещала предоставить «кредиты» исследователям в сфере ИИ на сумму $110 млн для доступа к свои чипам в рамках программы Build on Trainium. Пока неизвестно, намерена ли IBM применять чипы AWS или отдаст предпочтение более популярным решениям, таким как продукты NVIDIA.

AWS намерена привлечь больше людей к разработке ИИ-приложений и фреймворков, использующих разработанные Amazon ускорители семейства Tranium. В рамках нового инициативы Build on Trainium с финансированием в объёме $110 млн академическим кругам будет предоставлен доступ к кластерам UltraClaster, включающим до 40 тыс. ускорителей, сообщает The Register.

В рамках программы Build on Trainium предполагается обеспечить доступ к кластеру представителям университетов, которые заняты разработкой новых ИИ-алгоритмов, которые позволяет повысить эффективность использования ускорителей и улучшить масштабирование вычислений в больших распределённых системах. На каком поколении чипов, Trainium1 или Trainium2, будут построены кластеры, не уточняется.

Источник изображений: AWS

Как поясняют в самом блоге AWS, исследователи могут придумать новую архитектуру ИИ-моделей или новую технологию оптимизации производительности, но у них может не оказаться доступа к HPC-ресурсам для крупных экспериментов. Не менее важно, что плоды трудов, как ожидается, будут распространяться по модели open source, поэтому от этого выиграет вся экосистема машинного обучения.

Впрочем, со стороны AWS альтруизма мало. Во-первых, $110 млн будут выданы выбранным проектам в виде облачных кредитов, такое происходит не впервые. Во-вторых, компания фактически пытается переложить часть своих задач на других людей. Кастомные чипы AWS, включая ИИ-ускорители для обучения и инференса, изначально разрабатывались для повышения эффективности выполнения внутренних задач компании. Однако низкоуровневые фреймворки и т.п. ПО не предназначены для того, чтобы с ними мог свободно работать широкий круг лиц как, например, происходит с NVIDIA CUDA.

Иными словам, AWS для популяризации Trainium необходимо более простое в освоение ПО, а ещё лучше готовые решения прикладных задач. Неслучайно Intel и AMD склонны предлагать разработчикам готовые оптимизированные под их ускорители фреймворки вроде PyTorch и TensorFlow, а не пытаться заставить их заниматься достаточно низкоуровневым программированием. AWS занимается тем же самым, предлагая продукты вроде SageMaker.

Во многом реализация проекта возможна благодаря новому интерфейсу Neuron Kernel Interface (NKI) для AWS Tranium и Inferentia, обеспечивающему прямой доступ к набору инструкций чипов и позволяющему исследователям строить оптимизированные вычислительные ядра для работы новых моделей, оптимизации производительности и инноваций в целом. Впрочем, учёным — в отличие от обычных разработчиков — часто интересно работать именно с низкоуровневыми системами.

Amazon Web Services (AWS) намерена инвестировать €1,2 млрд ($1,3 млрд) в расширение связанного с дата-центрами бизнеса в Италии. По данным Reuters, средства будут потрачены в течение следующих пяти лет и пойдут на расширение работы ЦОД в Милане. По данным AWS, инвестиции обеспечат до 5,5 тыс. рабочих мест до 2029 года в цепочке поставок ЦОД — в строительстве, обслуживании объектов, проектировании, телеком-сфере, а также в местной экономике в целом.

Дискуссии, связанные с будущими инвестициями AWS, ведутся в Италии как минимум с мая. Компания некоторые время размышляла, расширить кампус ЦОД в Милане или построить новый в Риме. По данным местных СМИ, компания выбрала расширение уже существующего региона. Утверждается, что Италия также может быть использована в качестве базы для предоставления вычислительных мощностей ИИ-проектам в Африки.

Источник изображения: Tom Podmore/unsplash.com

Свой первый в Италии облачный регион AWS ввела в эксплуатацию в 2020 году, пообещав инвестировать €2 млрд ($2,2 млрд) в страну к 2029 году. Впрочем, планы у Amazon большие. Она анонсировала намерение инвестировать €15,7 млрд ($17 млрд) в Испании, €7,8 млрд ($8,48 млрд) в Германии и £8 млрд ($10,45 млрд) в Великобритании.

К европейским рынкам демонстрируют неподдельный интерес и другие гиперскейлеры. В октябре Microsoft обязалась вложить €4,3 млрд ($4,75 млрд) в расширение облака и инфраструктуры ИИ ЦОД в Италии.

Amazon объявила о намерении продолжить реализацию проекта, предусматривающего строительство кампуса ЦОД AWS у АЭС Susquehanna в Пенсильвании. По данным Datacenter Knowledge, работы продолжатся даже после того, как регулятор FERC отклонил сделку с Talen Energy о предоставлении добавочной мощности объекту. Намерение продолжать развивать строительство ЦОД у АЭС подтвердила и Constellation Energy, подписавшая 20-летнее соглашение с Microsoft.

По последним данным FERC выступила против запроса Talen на увеличение поставок энергии для будущего кампуса AWS, который обошёлся в $650 млн и который со временем разрастётся до 15 зданий. В ответ на новость о запрете FERC акции американских энергокомпаний упали в цене, а инвесторы заявили, что решение регулятора помешают попыткам IT-гигантам получить быстрый доступ к атомной энергии для питания своих ЦОД. Однако после заявления о продолжении проекта акции Talen и Amazon выросли.

В рамках сделки кампус будет запитан напрямую от АЭС, что, по мнению других энергокомпаний, угрожает надёжности энергосетей и приведёт к росту тарифов для других потребителей. Ранее Talen получила право на отдачу кампусу 300 МВт, но увеличить мощность до 480 МВТ FERC запретила. AWS, как и другие гиперскейлеры, отчаянно нуждается в электроэнергии для поддержки роста ИИ ЦОД.

Источник изображения: Charlotte Venema/unsplash.com

Активно действуют и другие игроки рынка. Так, Constellation Energy намерена поддержать строительство ЦОД у своих электростанций, не оглядываясь на решение FERC по Susquehanna, передаёт DataCenter Dynamics. Но для этого потребуются реформы правил, регулирующих прозрачность, ценообразование и др. По словам компании, расположенные рядом с электростанциями дата-центры не повлияют на надёжность энергосетей — в случае необходимости выделенная ЦОД ёмкость будет отдаваться другим потребителям. При этом ЦОД всё равно должны будут платить сетевым операторам за транспортировку энергии.

Впрочем, решение FERC неблагоприятно повлияло и на рыночное положение Constellation, её акции значительно упали в цене, несмотря на хорошую выручку в III квартале 2024 года. Constellation очень заинтересована в ослаблении ограничений после подписания 20-летнего контракта на поставку 100 % энергии с АЭС Three Mile Island (Crane Clean Energy Center, CCEC) дата-центрам Microsoft.

Федеральная комиссия по регулированию энергетики США (FERC) отклонила наращивание поставок электроэнергии кампусу ЦОД Amazon (AWS) от АЭС Susquehanna. По данным Reuters, регулятор не исключает, что результатом предложенного компаниями соглашения станет рост цен на электричество для рядовых потребителей и падение надёжности энергосети.

Поправка, предложенная оператором энергосети PJM Interconnection, предусматривает изменение ISA-соглашения на поставку энергии. В сделке также участвуют владелец АЭС Susquehanna Nuclear (структура Talen) и владелец линий электропередач, соединяющий станцию с электрической сетью, PPL Corp. Ожидалось, что дата-центрам AWS сразу станет доступно 480 МВт вместо изначальных 300 МВт.

В марте AWS приобрела за $650 млн кампус ЦОД с максимально допустимой мощностью 960 МВт, расположенный вблизи АЭС Susquehanna в Пенсильвании. В будущем компания намерена построить на площади около 650 га сразу 15 зданий ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, которая будет расти с шагом в 120 МВт.

Источник изображения: Talen Energy

Хотя в поправке оператор сети уверял, что рост отдаваемой ЦОД мощности не повлияет на надёжность энергосети электропередач, он предупредил, что поставка свыше 480 МВт может вызвать перебои передачи от АЭС к дата-центрам. В будущем нагрузка может быть увеличена до 960 МВт, но только при повышении надёжности сети. Например, при возникновении в сети серьёзных проблем АЭС может отключить питание ЦОД, а использование резервного питания должно быть ограничено особыми случаями, одобренными PJM и PPL.

В июне против соглашения выступили энергокомпании AEP и Exelon. Они подали жалобу в FERC, возмущённые запросом на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры AWS. AEP и Exelon посчитали, что AWS всё равно будет пользоваться общей энергосетью Пенсильвании, но платить сборы за это не намерена. Сами участники сделки считают, что сторонних компаний она не касается. Опппоненты же уверены, что это опасный прецедент, несущий экономические и иные риски для других энергокомпаний и создающий финансовую нагрузку на других потребителей.

Как заявил комиссар FERC Марк Кристи (Mark Christie), соглашения о совместном размещении такого рода представляют собой сложный и многогранный вопрос. Они могут иметь серьёзно повлиять на надёжность энергосетей и стоимость электричества. Впрочем, единства нет даже в недрах самой FERC. При голосовании заявку отклонили двумя голосами против одного, а председатель FERC Вилли Филипс (Willie Phillips) выступил против запрета, указав на то, что такие меры могут подорвать доминирование США в гонке за первенство в сфере ИИ. По его словам, это шаг назад в деле защиты национальной безопасности.