Amazon Web Services представила сервис Amazon SageMaker HyperPod для обучения и точной настройки больших языковых моделей (LLM). Новинка обеспечивает распределённое обучение для больших обучающих кластеров ИИ, оптимизированное использование вычислительных ресурсов, памяти и сетевых ресурсов кластера, а также гибкую среду обучения, исключающую перерывы.

Базовые модели ИИ (FM, foundation model) зачастую слишком сложны, поэтому их обучение приходится проводить на нескольких ускорителях, что является технически сложной задачей, требует узкоспециализированных навыков и может занять недели или месяцы в зависимости от количества задействованного оборудования. При этом возрастает вероятность сбоев, таких как единичный отказ ускорителя.

Изображение: AWS

Эти сбои могут нарушить весь процесс обучения и потребовать ручного вмешательства для выявления, изоляции, отладки, устранения неполадок и восстановления после них, что ещё больше задержит процесс обучения. Для бесперебойного обучения модели разработчики должны постоянно сохранять прогресс обучения с помощью контрольных точек, что ещё больше увеличивает временные затраты и отдаляет вывод решения на рынок.

SageMaker HyperPod обеспечивает доступ к ИИ-кластерам по требованию. Разработчики могут подготовить кластер с помощью комбинации команд и простых сценариев, что значительно быстрее, чем настройка инфраструктуры вручную. По словам AWS, SageMaker HyperPod может сократить время, необходимое для обучения базовых моделей, более чем на треть.

Изображение: AWS

HyperPod предварительно сконфигурирован с использованием распределённых обучающих библиотек SageMaker, которые позволяют автоматически распределять учебные нагрузки между тысячами ускорителей. SageMaker также разделяет данные, на которых обучается модель, на более мелкие и более управляемые части.

Hyperpod гарантирует непрерывность обучения моделей и периодическое создание контрольных точек. Когда во время обучения происходит аппаратный сбой, SageMaker HyperPod автоматически обнаруживает его, восстанавливает или заменяет неисправный инстанс и возобновляет обучение с последней контрольной точки, устраняя необходимость в ручном управлении этим процессом и позволяя проводить обучение в распределённой среде без сбоев в течение длительного времени.

Изображение: AWS

Вместе с тем клиенты с повышенными требованиями имеют возможность использовать собственный распределённый код для обучения. AWS также предоставляет возможность оснастить ИИ-кластер другими программными компонентами, такими как инструменты отладки.

SageMaker HyperPod уже доступен в облачных регионах AWS в Огайо, Северной Вирджинии, Орегоне, Сингапуре, Сиднее, Токио, Франкфурте, Ирландии и Стокгольме.

Компания Amazon Web Services представила интеллектуального ассистента Amazon Q на базе генеративного ИИ, предназначенного для помощи корпоративным клиентам. Поначалу Amazon Q будет использоваться для нужд разработчиков и поддержки IT-команд. Amazon Q уже доступен в виде превью, причем многие функции бесплатны. В дальнейшем AWS будет брать по $20/мес. за каждого пользователя, а версия с дополнительными функциями для ИТ-специалистов будет стоить $25/мес.

«Amazon Q может помочь вам получать быстрые и актуальные ответы на насущные вопросы, решать проблемы, генерировать контент и предпринимать действия, используя данные и опыт, найденные в информационных репозиториях, коде и корпоративных системах вашей компании», — сообщил гендиректор Amazon. Глава AWS считает, что Amazon Q реформирует множество видов деятельности. ИИ-помощник разработан с учётом 17-летнего опыта работы самой AWS и поначалу будет доступен именно внутри экосистемы AWS.

Хотя Amazon Q в первую очередь нацелен на разработчиков и ИТ-специалистов, компания планирует в конечном итоге распространить его возможности на весь корпоративный сегмент. Подобно другим ИИ-помощникам он сможет подключаться к различным источникам данных, отвечать на вопросы и составлять резюме, а также предоставлять экспертные сведения или помощь на основе внутренней информации компании. Это потенциально может сделать его конкурентом ChatGPT Enterprise от OpenAI, Copilot for 365 от Microsoft и Duet AI for Workspace от Google.

Источник изображения: AWS

Специалисты смогут получить доступ Amazon Q из консоли AWS. Q расскажет, как использовать сервисы, какие API доступны, к каким сервисам можно подключиться и как они взаимодействуют между собой. Пользователь сможет создавать запросы на естественном языке, а Q подготовит экспертный ответ со ссылками и цитатами. Так, в EC2-консоли Amazon Q даст совет, какой тип инстанса лучше всего подходит для размещения определённого типа приложений в зависимости в зависимости от потребностей клиента. А если возникла проблема с сетью, у Q можно напрямую спросить: «Почему я не могу подключиться по SSH к своему инстансу?». В этом случае помощник подключит его к сетевому анализатору, чтобы устранить неполадки с соединением.

AWS интегрировала ИИ-ассистента в поддерживаемые IDE вместе с ИИ-инструментом Amazon CodeWhisperer, так что с Q можно пообщаться непосредственно во время разработки. Например, Amazon Q может разобрать и описать исходный код незнакомого проекта или же в диалоговом режиме в Amazon CodeCatalyst поможет создать новый код, опираясь на описание необходимой функциональности и учитывая лучшие практики, а также имеющуюся кодовую базу и бизнес-сведения. Наконец, функция Amazon Q Transformation, доступная в виде превью для IntelliJ IDEA и Visual Studio Code, позволит автоматизировать обновление кода приложений с Java 8 и 11 до версии 17. А вскоре Q научится преобразовывать .NET-приложения для Windows в кросс-платформенные.

Amazon Web Services представила Arm-процессор нового поколения Graviton4 и ИИ-ускоритель Trainium2, предназначенный для обучения нейронных сетей. Всего к текущему моменту компания выпустила уже 2 млн Arm-процессоров Graviton, которыми пользуются более 50 тыс. клиентов.

Amazon Graviton4 (Изображение: AWS)

«Graviton4 представляет собой четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, который мы когда-либо создавали для широкого спектра рабочих нагрузок», — отметил Дэвид Браун (David Brown), вице-президент по вычислениям и сетям AWS. По сравнению с Graviton3 новый чип производительнее на 30 %, включает на 50 % больше ядер и имеет на 75 % выше пропускную способность памяти.

Изображение: AWS

Graviton4 будет иметь до 96 ядер Neoverse V2 Demeter (2 Мбайт L2-кеша на ядро) и 12 каналов DDR5-5600. Кроме того, новый чип получит поддержку шифрования трафика для всех своих аппаратных интерфейсов. Процессор изготавливается по 4-нм техпроцессу TSMC и, вероятно, имеет чиплетную компоновку. Возможно, это первый CPU компании, ориентированный на работу в двухсокетных платформах.

Изображение: AWS

Поначалу Graviton4 будет доступен в инстансах R8g (пока в статусе превью), оптимизированных для приложений, интенсивно использующих ресурсы памяти — высокопроизводительные базы данных, in-memory кеши и Big Data. Эти инстансы будут поддерживать более крупные конфигурации, иметь в три раза больше vCPU и в три раза больше памяти по сравнению с инстансами Rg7, которые имели до 64 vCPU и 512 Гбайт ОЗУ.

Amazon Trainium2 (Изображение: AWS)

В свою очередь, Trainium 2 предназначен для обучения больших языковых моделей (LLM) и базовых моделей. Сообщается, что ускоритель в сравнении с Trainium 1 вчетверо производительнее и при этом имеет в 3 раза больший объём памяти и в 2 раза более высокую энергоэффективность. Инстансы EC2 Trn2 получат 16 ИИ-ускорителей с возможностью масштабирования до 100 тыс. единиц в составе EC2 UltraCluster, которые суммарно дадут 65 Эфлопс, то есть по 650 Тфлопс на ускоритель. Как утверждает Amazon это позволит обучать LLM с 300 млрд параметров за недели вместо месяцев.

Со временем на Graviton4 заработает SAP HANA Cloud, портированием и оптимизацией этой платформы уже занимаются. Oracle также перенесла свою СУБД на Arm, а заодно перевела все свои облачные сервисы на чипы Ampere, в которую в своё время инвестировала. Microsoft же пошла по пути AWS и недавно анонсировала 128-ядерый Arm-процессор (Neoverse N2) Cobalt 100 и ИИ-ускоритель Maia 100 собственной разработки. Всё это может представлять отдалённую угрозу для AMD и Intel. С NVIDIA же все всё равно пока что продолжают дружбу — именно в инфраструктуре AWS, как ожидается, появится самый мощный в мире ИИ-суперкомпьютер на базе новых GH200.

Облачная платформа Amazon Web Services (AWS), по сообщению ресурса Datacenter Dynamics, переводит системы охлаждения в своих ЦОД на сточные воды. Технология уже используется примерно на 20 площадках компании, а в перспективе её внедрение расширится.

Дата-центры обычно расходуют воду из питьевых источников, которая многократно циркулирует в контурах охлаждения. Из-за накопления бактерий и известкового налёта воду обрабатывают специальными химическими веществами, что делает её непригодной для дальнейшего использования в обычных бытовых целях. Точное количество питьевой воды, используемой индустрией ЦОД, неизвестно, но, по оценкам, оно исчисляется миллиардами литров в год.

Новая технология AWS предполагает повторное применение сточных вод, которые проходят трехэтапный процесс очистки: при этом удаляются 99 % всех примесей и бактерий. После того, как такая вода проходит через систему охлаждения, она снова попадает на станцию очистки для прохождения следующего цикла фильтрации.

Источник изображения: AWS

На сегодняшний день AWS применят комплекс очистки сточных вод в 16 дата-центрах в Вирджинии и на нескольких объектах в Санта-Кларе (Калифорния). В целом, компания управляет более чем 100 площадками по всему миру, а ещё десятки находятся в разработке. В конце 2022 года AWS заявила о намерении добиться положительного водного баланса к 2030 году: компания будет отдавать больше чистой воды, чем потреблять.

Аналогичные инициативы реализуют и другие гиперскейлеры. Так, Google ранее заявляла, что использует очищенную или непитьевую воду более чем в 25 % кампусов ЦОД. Microsoft также пообещала добиться положительного водного баланса к 2030-му: корпорация использует оборотную воду в своих дата-центрах в Сан-Хосе (Калифорния), Куинси (Вашингтон), Техасе и Сингапуре. К концу десятилетия отдавать больше чистой воды, чем расходовать рассчитывает и Meta✴. А европейские дата-центры планируют снизить потребление воды до 400 мл/кВт·ч к 2040 году.

IT-гиганты Amazon, Google и Microsoft намерены инвестировать $8,46 млрд в строительство в Таиланде дополнительной инфраструктуры ЦОД. Как сообщает Datacenter Dynamics, представители местных властей уже сообщили, что каждый из большой тройки гиперскейлеров потратит приблизительно по $2,85 млрд.

При этом в отдельном заявлении представитель местного правительства сообщил, что Amazon Web Services (AWS) намерена построить в течение 15 лет кампус, на который в общей сложности потратит порядка $5 млрд. Более детальная информация о местах строительства, спецификациях и сроках реализации проектов пока не разглашаются. Власти уверены в том, что инвестиции техногигантов повысят уровень конкурентоспособности страны.

Google ещё в августе 2022 года анонсировала создание облачного региона в Таиланде, а Amazon выступила с аналогичным анонсом в октябре того же года и уже в декабре запустила локальную зону в Бангкоке. Microsoft и Oracle не говорили о планах по созданию собственных облачных регионов, но в этом году тайские власти предложили Microsoft построить в стране новый дата-центр.

Источник изображения: Andreas Brücker/unsplash.com

Перспективы развития ЦОД в регионе действительно есть. Как сообщает Daily Host News, совокупный среднегодовой темп роста рынка ЦОД между 2019 и 2028 гг. составит около 25 %. В стране, имеющей более 48 млн пользователей интернета, имеется и большой спрос на цифровую инфраструктуру. Интерес к рынку проявляют как американские, так и китайские провайдеры облачных сервисов.

У Tencent имеется две зоны доступности в Бангкоке, а Alibaba «открыла для себя» тайскую столицу в мае 2022 года. В ответ на стремление Таиланда стать хабом для ЦОД, в рынок уже вложили средства многочисленные инвесторы, от IT-корпораций до частных инвестиционных компаний, пенсионных и инфраструктурных фондов и иных структур, располагающих средствами для вложения на перспективу. Ранее власти стали предлагать налоговые льготы операторам новых ЦОД.

Amazon объявила результаты III квартала 2023 года, завершившегося 30 сентября. Выручка компании за квартал выросла на 13 % до $143,1 млрд в годовом исчислении, превысив консенсус-прогноз аналитиков, опрошенных LSEG, равный $141,4 млрд. Чистая прибыль Amazon выросла более чем в три раза, составив $9,9 млрд или $0,94 на разводнённую акцию, тогда как годом ранее была равна $2,9 млрд ($0,28 на разводнённую акцию). Прогноз аналитиков равнялся $0,59 на разводнённую акцию.

Показатель чистой прибыли включает и прибыль в размере около $1,2 млрд, связанную с инвестициями в производителя электромобилей Rivian Automotive Inc. В III квартале 2022 года прибыль компании от инвестиций составила $1,1 млрд. В IV квартале Amazon ожидает выручку в пределах от $160 до $167 млрд, то есть средний показатель ниже прогноза аналитиков Уолл-стрит в размере $166,6 млрд. Прогноз компании предполагает рост выручки на 9,6 % в годовом исчислении.

Источник изображения: AWS

В III квартале облачное подразделение Amazon Web Services (AWS) не оправдало ожиданий: его выручка увеличилась на 12 %, составив $23,1 млрд, что ниже прогноза в $23,2 млрд. Это вызвало опасения у инвесторов по поводу того, что AWS теряет долю рынка в пользу конкурентов в лице Microsoft Azure и Google Cloud, объявивших о росте выручки на 29 и 22 % соответственно. Замедление темпов роста выручки финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) объяснил тем, что клиенты по-прежнему занимаются «оптимизацией затрат», хотя, по его словам, этот процесс происходит уже не так активно, как раньше.

Джим Хэйр (Jim Hare), вице-президент Gartner Inc., заявил, что эти цифры следует рассматривать в контексте текущего положения компаний. «Рост Google Cloud на 22 % основан на гораздо меньшем доходе, чем у AWS, — сказал он. — И хотя Microsoft объявила, что выручка Azure за квартал выросла на 29 %, она не приводит никаких цифр в долларах, поэтому сравнивать сопоставимые вещи сложнее». Генеральный директор AWS Энди Джесси (Andy Jassy) с оптимизмом смотрит на перспективы облачного подразделения, заявив, что «темп и объём закрытых сделок» сейчас набирают обороты: в сентябре компанией был подписан ряд крупных сделок, что отразится на результатах за IV квартал.

Из-за позднего вступления в маркетинговую войну в области генеративного ИИ и явного лидерства Microsoft Azure в этом направлении AWS агрессивно пытается наверстать упущенное. Поскольку предприятия в разных секторах стремятся расширить использование ИИ-решений, основное внимание AWS будет уделять производственным нагрузкам. Инвестиции в инструменты ИИ, инфраструктуру и партнёрские отношения выгодно выделяют компанию среди конкурентов, отмечает SiliconANGLE. Например, AWS запустила сервис Bedrock, предлагающий доступ к базовым моделям (FM) как от Amazon, так и от ведущих провайдеров. Adidas, Booking.com, GoDaddy и др. уже начали использовать AWS для задач генеративного ИИ.

Активистам жилого района Грейт Оак (Great Oak), расположенного в пригороде Манассаса в штате Вирджиния (США), удалось добиться почти невозможного — как сообщает Datacenter Knowledge со ссылкой на местные СМИ, после длительных протестов Amazon была вынуждена потратить солидную сумму на разработку системы подавления гула, издававшегося системами вентиляции принадлежащих компании ЦОД. Нюанс в том, что ещё в 1989 году местные власти отказались от регулирования уровня шума промышленных систем кондиционирования, что вкупе с налоговыми льготами привлекло операторов ЦОД.

По словам активистов, чтобы Amazon согласилась на переговоры, потребовались немалые усилия и обращение в СМИ. Первоначальные попытки Amazon заглушить шум не имели значимого успеха. Тем не менее, оказалось, что при желании дата-центры всегда можно сделать менее шумными, что бы ни говорил их оператор. В итоге громкость ЦОД Amazon удалось снизить на 10 дБ. Впрочем, жители продолжают жаловаться на металлический визг, предположительно из другого источника.

Изображение: AWS

В середине мая 2022 года жители пожаловались полиции на шум свежепостроенных ЦОД, поскольку громкость явно не соответствовала нормам округа. Причём ночью шум только усиливался, достигая 65 дБ. На шум, не дающий возможности заснуть, и возникшие проблемы со здоровьем жаловались и другие жители. Им пришлось звукоизолировать дома и нести иные траты, а некоторые начали задумываться о переезде. К концу мая наблюдательный совет округа связался с руководством Amazon, но в итоге переговоры с участием экспертов с обеих сторон растянулись более чем на год.

Несмотря на противодействие Amazon, выяснилось, что проблема связана с системой воздушного охлаждения, включающей сотни вентиляционных труб с вентиляторами, расположенных на крышах зданий. Сначала в компании попытались заглушить шум с помощью ватных одеял, но когда у них ничего не вышло, Amazon обратилась к инженерам и в итоге создала более эффективную систему — воздуховоды удлинили на метр, а вентиляторы внутри заставили вращаться более медленно и синхронно. На работы ушло четыре месяца, но в результате уровень шума немедленно упал на 10 дБ, приблизительно до 50 дБ, что считается допустимым в данных условиях.

Хотя в Amazon не уточнили стоимость проекта, по некоторым оценкам, основанным на неформальных беседах с представителями AWS, его реализация обошлась в $30 млн. Впрочем, сохраняется неприятный визг, исходящий из вентиляционных проёмов на стенах зданий. Не исключено, что он вызван вентиляторами вычислительного оборудования. Amazon обещает устранить и эту проблему, но тревога не покидает жителей Грейт Оак — скоро по соседству появятся новые ЦОД. Сама Amazon уже потратила $35 млрд на дата-центры в штате и собирается вложить ещё столько же.

Компания Blue Origin представила космическую платформу Blue Ring, ориентированную на обеспечение космической логистики и доставки. Её разработкой будет заниматься недавно созданное бизнес-подразделение In-Space Systems, возглавляемое старшим вице-президентом Полом Эбертцом (Paul Ebertz).

Платформа, способная принимать полезную нагрузку весом более 3000 кг, будет предоставлять комплексные услуги, охватывающие логистику, транспортировку, дозаправку, хостинг, ретрансляцию данных и даже облачные вычисления в космосе.

«Blue Ring предназначена для решения двух самых сложных задач в космических полётах на сегодняшний день: развитие космической инфраструктуры и повышение мобильности на орбите», — отметил Эберц. «Мы предлагаем нашим клиентам возможность легкого доступа и маневрирования на различных орбитах с минимальными затратами, имея при этом доступ к критически важным данным для обеспечения успешной миссии», — добавил он.

Источник изображения: Blue Origin

Помимо целей и решаемых задач компания не стала раскрывать подробности о Blue Ring. В частности, неизвестно, когда планируется запустить эту платформу, и какие будут расценки на её услуги. Также в настоящее время нет никакой информации о том, в какой мере AWS будет участвовать в разработке облачных технологий на базе Blue Ring. AWS уже тестировала свои аппаратные и программные решения в космосе.

В ирландском графстве Килдэр скоро появится новый дата-центр Microsoft и ещё несколько объектов аналогичного назначения. Как сообщает DataCenter Dynamics, разрешение на строительство получила и AWS — она сможет возвести ЦОД в Дублине.

Хотя в 2022 году появилась информация о том, что в Ирландии больше не рады гиперскейлерам, а в Дублине и окрестностях ещё в начале 2022 года прекратили приём заявок на подключение дата-центров к энергосети, развитие рынка ЦОД в стране продолжается — это один из перспективных источников доходов Ирландии. В конце года сообщалось, что там появятся более 20 дата-центров за пределами Большого Дублина.

Источник изображения: 20twenty/pixabay.com

Теперь обнародована информация о том, что Microsoft ведёт переговоры о строительстве кампуса в графстве Килдэр. Предпочтительным решением для Microsoft, по данным самой компании, будет закупка 100 % возобновляемой электроэнергии посредством корпоративных PPA. Компания уже имеет несколько ЦОД в районе Дублина, последними она получила разрешения на строительство дата-центров DUB 14 и DUB15 в бизнес-парке Grange Castle Business Park ещё весной 2021 года.

Дополнительно в графстве дали зелёный свет расширению кампуса Kildare Innovation Campus (KIC), ранее принадлежавшего HP. В прошлом месяце совет графства Килдэр согласовал здесь снос трёх зданий для строительства четырёх ЦОД общей площадью более 76 тыс. м2. Будут использоваться генераторы на гидрированном растительном масле (HVO), на крышах разместят солнечные панели, а рядом появится станция с девятью газотурбинными генераторами.

Источник изображения: MarcOliver_Artworks/pixabay.com

Также, хотя в августе прошлого года сообщалось, что AWS, Microsoft и Equinix приостановили развитие своих ЦОД в Дублине, стало известно, что AWS получила от местных властей разрешение на строительство ещё трёх дата-центров на территории уже существующего кампуса. Заявка была подана ещё в январе и, похоже, оператор ЦОД получил разрешение на подключение к энергосети национальной энергетической компании EirGrid ещё в 2019 году.

Будут простроены дата-центры E, F и G, высотой более двух этажей каждый. По имеющимся данным, речь идёт об объектах на 73 МВт. В 2019 году уже получено разрешение на строительство здесь четырёх зданий, но фактически они объединены в два модуля. Amazon имеет ещё несколько кампусов в окрестностях Дублина и, по некоторым данным, приостановила здесь реализацию проектов в связи с мораторием на новые подключения к национальной энергосети, а для некоторых рассматривает подключение к альтернативным источникам энергии.

Компания Amazon отчиталась о работе во II четверти 2023 финансового года, которая была закрыта 30 июня. По ключевым показателям зафиксирован рост. В частности, общая выручка увеличилась в годовом исчислении на 11 % — со $121,2 млрд до $134,4 млрд. По итогам II квартала Amazon продемонстрировала чистую прибыль в размере $6,7 млрд, или $0,65 в пересчёте на одну ценную бумагу. Годом ранее компания понесла чистые убытки около $2,0 млрд, что эквивалентно $0,20 на одну акцию.

Облачное подразделение AWS показало увеличение выручки на 12 % в годовом исчислении: результат составил приблизительно $22,1 млрд, тогда как во II квартале 2022-го это направление принесло $19,7 млрд. Однако темпы роста замедляются: так, в I четверти 2023 года они равнялись 16 %, а в течение всего 2022 года в целом — 22 %. Кроме того, отмечено снижение операционной прибыли — в годовом исчислении она сократилась с $5,7 млрд до $5,4 млрд.

Источник изображения: Amazon

Одной из ключевых областей роста в облаке AWS является генеративный ИИ. Генеральный директор AWS Энди Джесси (Andy Jassy) отметил, что из-за сложной макроэкономической ситуации и кризиса в США многим клиентам потребовалась оптимизация расходов. И всё же, по его словам, несмотря на многочисленные вызовы, рост AWS стабилизировался.

«И хотя клиенты продолжали оптимизировать работу во II квартале, мы стали замечать, что всё больше заказчиков переключают своё внимание на внедрение инноваций и перенос новых рабочих нагрузок в облако», — отметил Джесси. Глава AWS добавил, что у AWS есть «довольно значительные капитальные затраты на LLM и генеративный ИИ». Согласно прогнозам, компания выделит на капзатраты в 2023 году немногим более $50 млрд против $59 млрд годом ранее.