Облачная платформа AWS объявила о запуске инстансов EC2 I4g, оптимизированных для хранения данных. В основу положены процессоры AWS Graviton2 и NVMe-накопители AWS Nitro SSD. Утверждается, что по сравнению с другими инстансами, нацеленными на хранение информации, решения I4g обеспечивают прирост производительности до 15 %.

В зависимости от конфигурации (см. таблицу ниже) заказчикам предоставляются от 2 до 64 vCPU и от 468 Гбайт до 15 Тбайт SSD-хранилища. Заявленная пропускная способность сетевого подключения варьируется от 10 Гбит/с до 37,5 Гбит/с, пропусканая способность EBS — от 40 до 80 Гбит/с.

Источник изображения: Amazon

Amazon отмечает, что инстансы на базе Graviton2 поддерживают широкий спектр вычислительных нагрузок: универсальные, с повышаемой производительностью, оптимизированные для вычислений, памяти и хранения, а также ускоренные. Утверждается, что инстансы на базе Graviton2 — лучшее решение по соотношению цены и быстродействия для рабочих нагрузок в EC2.

SSD в составе EC2 I4g выдают показатель IOPS при произвольном чтении данных до 1 млн, при произвольной записи — до 800 тыс. Скорость последовательного чтения достигает 8000 Мбайт/с, скорость последовательной записи — 5600 Мбайт/с. Инстансы EC2 I4g уже доступны для клиентов в США и Европе.

Облачный провайдер Amazon Web Services (AWS) подвёл итоги I квартала 2023 года, закончившегося 31 марта. По сравнению с аналогичным периодом прошлого года выручка облачного подразделения Amazon выросла на 16 % до $21,4 млрд, однако прибыль упала в годовом исчислении с $6,5 млрд в I квартале 2022 года до $5,1 млрд в текущем отчётном периоде.

Финансовый директор AWS Брайан Олсавски (Brian Olsavsky) отметил, что темпы роста выручки заметно снизились по сравнению с I кварталом 2022 года, когда рост выручки был равен 37 % в годовом исчислении. На показателях компании отражается сокращение потребления услуг клиентами на фоне продолжающейся макроэкономической неопределённости. «Как и ожидалось, клиенты продолжают оценивать способы оптимизации своих облачных расходов в ответ на эти сложные экономические условия в первом квартале», — сказал он.

Источник изображения: AWS

Гендиректор Amazon Энди Джасси (Andy Jassy) отметил, что существует разница между намерением клиентов сократить расходы и оптимизацией затрат. «[Клиенты] говорят нам, что в основном это оптимизация затрат по сравнению с их сокращением, что является интересным отличием, поскольку они утверждают, что оптимизируют затраты, чтобы перераспределить эти ресурсы для нового опыта работы», — сообщил он.

Впрочем, AWS тоже предпринимает меры по оптимизации расходов, включая сокращение рабочих мест в рамках продолжающейся кампании по сокращению штата Amazon. В целом, выручка Amazon за минувший квартал выросла на 9 % в годовом исчислении, достигнув $127,4 млрд, а прибыль увеличилась до $4,8 млрд с $3,7 млрд в I квартале 2022 года.

Компания Amazon, по сообщению ресурса Bloomberg, приступила ко второму раунду массовых увольнений. На этот раз сокращение штата затронет и облачное подразделение AWS — это самый прибыльный бизнес технологического гиганта, но и он столкнулся с трудностями из-за сложившейся макроэкономической ситуации и кризиса.

В январе нынешнего года Amazon объявила об увольнении приблизительно 18 тыс. человек, что стало крупнейшим сокращением рабочих мест в истории компании. В марте появилась информация, что работы лишатся ещё примерно 9 тыс. сотрудников — из Twitch, AWS, отделов рекламы и кадров.

Источник изображения: AWS

И вот теперь стало известно о второй фазе увольнений. Уведомления о сокращении компания начала рассылать в корпоративной сети 26 апреля 2023 года. Пострадают, в частности, работники подразделений AWS в США, Канаде и Коста-Рике. Сокращения в регионах за пределами Северной Америки будут проводиться в соответствии с местным законодательством.

Говорится, что увольнения уже затронули некоторые команды, так или иначе связанные с AWS. Это, в частности, рекрутеры и сотрудники группы Just Walk Out. При этом сокращения сильнее всего ударили по кадровым отделам компании, её разросшейся розничной группе и отделам устройств.

Отмечается, что по состоянию на конец декабря 2022 года в Amazon работали около 1,54 млн человек по всему миру. Но их подавляющее большинство — это сотрудники с почасовой оплатой, которые упаковывают и отгружают товары на складах. Сама же компания заявила, что её штат насчитывает примерно 350 тыс. корпоративных сотрудников.

AWS объявила об общедоступности недорогих и высокопроизводительных инференс-инстансов Amazon EC2 Inf2 для генеративного ИИ. Новинки используют фирменные ИИ-ускорители Inferentia2. Как утверждает AWS, это самый экономичный и энергоэффективный вариант запуска моделей генеративного ИИ, таких как GPT-J или Open Pre-Trained Transformer (OPT).

По сравнению с инстансами Amazon EC2 Inf1 инстансы Inf2 обеспечивают до 4 раз более высокую пропускную способность и до 10 раз меньшую задержку (в таких же пределах ускорители Inferentia2 превосходят Inferentia). В настоящее время доступно четыре варианта инстансов Inf2, имеющих до 12 ускорителей AWS Inferentia2 со 192 vCPU, связанных интерконнектом NeuronLink v2. Их совокупная вычислительная мощность достигает 2,3 Пфлопс (BF16 или FP16).

Источник изображений: AWS

Инстансы Inf2 предлагают до 384 Гбайт общей памяти, по 32 Гбайт памяти HBM у каждого чипе Inferentia2, и общую пропускную способность памяти (ПСП) 9,8 Тбайт/с. Такая ПСП особенно важна для для исполнения больших языковых моделей (LLM). А поскольку чипы AWS Inferentia2 специально созданы для ИИ-нагрузок DL, инстансы Inf2 показывают не менее чем на 50 % лучшее соотношение производительности на Ватт по сравнению с другими сопоставимыми EC2-инстансами.

Как и ускоритель AWS Trainium, AWS Inferentia2 имеет два блока NeuronCore-v2, стеки HBM и выделенные механизмы коллективных вычислений для распараллеливания нагрузки на нескольких ускорителях. NeuronCore-v2 включает аппаратные движки для скалярных, векторных и тензорных (матричных) вычислений, а также 512-бит блок GPSIMD, блоки DSP, SRAM и некоторые другие узкоспециализированные движки. Ускоритель поддерживает выполнение кастомных обработчиков (C/C++, PyTorch).

AWS Inferentia2 поддерживает широкий спектр типов данных, включая FP32, TF32, BF16, FP16 и UINT8, позволяя выбрать наиболее подходящий тип данных для своих рабочих нагрузок. Он также поддерживает новый настраиваемый тип данных FP8 (cFP8), который особенно актуален для больших моделей. По словам компании, такие гибкость и реконфигурируемость чипа позволяют добиться максимальной эффективности выполнения ИИ-нагрузок.

Спутниковые проекты, позволяющие передавать и обрабатывать солидные объёмы данных, уже давно привлекают внимание гигантов облачных вычислений, включая Amazon, Microsoft и Google, заинтересованных в выходе на рынок космических услуг, пишет DIGITIMES Research.

Согласно классификации DIGITIMES Research, публичные облака сейчас предлагают три типа услуг: базовые облачные сервисы, наземные станции с облачными сервисами и облачные сервисы, основанные на собственной спутниковой сети. Спутниковая экосистема включает сами спутники, наземные станции и приёмники. Спутники используются для выполнения различных задач, включая наблюдение Земли, передачу сигналов и обеспечение связи. Наземные станции отвечают за управление спутниками, передачу и обработку данных, в том числе потоковых.

Amazon, Microsoft и Google уже внедряют доступ к наземным станциям по модели как-услуга (GSaaS). Прямое подключение позволит спутниковым операторам сэкономить на узлах передачи данных и собственной наземной инфраструктуре, а облакам поможет внедрить новые сервисы на границе сети. Однако подход у провайдеров разнится. Например, Google Cloud Platform (GCP) фокусируется на обработке данных и геосервисах, интегрированных с целым рядом облачных услуг. А Amazon Web Services (AWS) и Microsoft Azure инвестируют в наземную инфраструктуру, в которой заинтересованы спутниковые компании.

Источник изображения: DIGITIMES

Особняком стоит спутниковый проект Project Kuiper, разрабатываемый собственными силами Amazon с целью снижения TCO и вертикальной интеграции с инфраструктурой AWS. Собственная спутниковая система позволит не только развивать услуги спутниковой широкополосной связи и IoT, но и будет служить основой для комплексных решений, задействуюших ресурсы других подразделений Amazon. Кроме того, компания намерена инвестировать $10 млрд в развитие сети наземных станций. По оценкам DIGITIMES Research, развёртывание экосистемы сопряжено с риском, поэтому Amazon будет осмотрительна.

DIGITIMES Research отмечает, что основное отличие Microsoft Azure от AWS в данном контексте заключается в открытости экосистемы. AWS представляет собой более «закрытую» среду. К тому же AWS сотрудничает с такими стартапами, как Maxar, BlackSky, Capella и D-Orbit, а не с традиционными спутниковыми игроками и операторами наземных станций. Вместе с тем компания сталкивается с большими проблемами при расширении своего рынка из-за конкуренции с существующими спутниковыми компаниями, предоставляя при этом только базовые облачные услуги.

Изображение: Microsoft Azure

В отличие от Amazon, Microsoft имеет платформу и экосистему для подключения к облаку компаний из различных отраслей, и Microsoft готова к сотрудничеству с другими спутниковыми компаниями. Сервис Azure Orbital предлагает обширную экосистему партнёрских возможностей, которая привлекает и SES с Viasat, и SpaceX. DIGITIMES Research предупреждает, что по мере увеличения экосистемы становится всё более сложным поддержание её стабильного роста экосистемы и синергии сотрудничества, и в перспективе Azure Orbital станет серьёзной проблемой для Microsoft.

По оценкам DIGITIMES Research, у AWS самые высокие потенциальные преимущества и риски в области спутниковых систем, в то время как у GCP самые стабильные потенциальные преимущества и самые низкие риски. Azure же занимает промежуточное положение — умеренные риски и умеренные преимущества на рынке.

Финансовая фирма Bloomberg решила доказать, что существуют более разумные способы тонкой настройки ИИ-приложений, не имеющих проблем с соблюдением принципов этики или с безопасностью, с которыми сталкиваются при использовании, например, ChatGPT.

Bloomberg выпустила собственную большую языковую модель BloombergGPT с 50 млрд параметров, предназначенную для финансовых приложений. Она меньше ChatGPT, основанной на усовершенствованной версии GPT-3 со 175 млрд параметров. Но, как утверждают исследователи из Bloomberg и Johns Hopkins, малые модели — то что нужно для предметно-ориентированных приложений. Bloomberg заявила, что не будет открывать BloombergGPT из-за риска утечки конфиденциальных данных, например, из базы FINPILE, использовавшейся для обучения.

Источник изображения: Pixabay

По словам исследователей, BloombergGPT функционально схожа с ChatGPT, но предлагает большую точность, чем сопоставимые модели с бо́льшим количеством параметров. Они также утверждают, что общие модели не могут заменить предметно-ориентированные. Малые модели отличаются большей точностью результатов и могут обучаться значительно быстрее, чем универсальные модели, такие как GPT-3. К тому же для них требуется меньше вычислительных ресурсов.

Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с.

Источник: Bloomberg

Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.

Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей.

По всей видимости, в Великобритании вскоре откроют полномасштабное антимонопольное расследованием деятельности Amazon и Microsoft, поскольку британский регулятор в секторе телекоммуникаций Office of Communications (Ofcom) обвинил их облачные сервисы в злоупотреблении своим доминирующим положением на рынке, чтобы помешать добросовестной конкуренции.

Ofcom выразил обеспокоенность действиями американских технологических фирм и сообщил о имеющихся доказательствах того, что пользователи сталкиваются с проблемами при попытке сменить провайдера или воспользоваться услугами нескольких провайдеров. Как сообщает Bloomberg, в октябре прошлого года Ofcom начал расследование деятельности AWS, Microsoft Azure и Google Cloud Platform. Регулятор опасается, что пользуясь своим доминирующим положением, они могут ограничивать инновации и рост рынка облачных сервисов.

Изображение: Microsoft Azure

В настоящее время на долю американских гиперскейлеров приходится ⅘ дохода британского рынка публичных облаков, который, по оценкам Ofcom, составляет £15 млрд ($18,7 млрд). Amazon Web Services (AWS) и Microsoft Azure имеют совокупную долю на облачном рынке Великобритании от 60 до 70 %, в то время как у ближайшего конкурента Google доля составляет от 5 до 10 %. В период с 2018 по 2021 год доля остальных облачных провайдеров упала с 30 до 19 %. В Европе в целом доля местных облачных провайдеров под давлением «большой тройки» американских гиперскейлеров за период 2017–2021 гг. сократилась с 27 % до менее чем 16 %.

По мнению Ofcom, такой уровень доминирования на рынке потенциально может затруднить более мелким облачным провайдерам конкуренцию с лидерами рынка, что способствует дальнейшей консолидации доходов и доли рынка у крупных игроков. Ofcom указал на три пункта, вызывающие особую озабоченность: высокие комиссионные сборы, технические ограничения на совместимость между сервисами и гарантированные дисконты.

Источник: Synergy Research Group

Причастные к вопросу компании и другие заинтересованные стороны должны до 17 мая предоставить Ofcom свои предложения. Ofcom готов обратиться в Управление по конкуренции и рынкам Великобритании (CMA), чтобы то провело исследование рынка облачной инфраструктуры. «Мы готовы провести исследование рынка в этой области, если Ofcom решит, что это необходимо после завершения процесса консультаций», — заявил представитель CMA.

Следует отметить, что деятельность Microsoft на рынке облачных сервисов уже вызвала вопросы у Еврокомиссии, к которой поступили жалобы французской компании OVH и двух других облачных провайдеров. Предпринятые Microsoft шаги в ответ на жалобы конкурентов в ЕС посчитали недостаточными. Ранее Google уже обвинила Microsoft в неконкурентном поведении на европейском облачном рынке.

Облачная платформа AWS объявила о запуске глобальной программы AWS Generative AI Accelerator: цель инициативы заключается в том, чтобы вывести перспективные стартапы в области генеративного ИИ по всему миру на новый уровень. Многообещающие молодые компании, работающие в данной сфере, получат различную поддержку, в том числе и финансовую.

Отмечается, что генеративный ИИ способен произвести революцию во многих отраслях. При этом, полагает AWS, технологические стартапы будут играть важную роль в распространении данной технологии.

Источник изображения: pixabay.com

В дополнение к творческому потенциалу в таких областях как кинематография и искусство генеративный ИИ имеет множество практических применений. Технологию можно использовать в здравоохранении для создания индивидуальных планов лечения или для анализа медицинских изображений. В финансовой сфере ИИ может производить более точный анализ данных и делать выводы. Кроме того, такие инструменты можно применять для написания программного кода и оптимизации производственных процессов.

Стартапы могут подать заявку на участие в AWS Generative AI Accelerator до 17 апреля. Собственно программа поддержки рассчитана на 10-недельный период — с 25 мая по 27 июля 2023 года. Облачный гигант предоставит участвующим компаниям бесплатные услуги на сумму до $300 тыс. Кроме того, отобранные проекты получат технические и бизнес-консультации от Amazon. Это поможет стартапам в достижении поставленных целей и разработке перспективных решений.

Чтобы в полной мере воспользоваться возможностями программы, стартапы должны иметь уже разработанный минимально жизнеспособный продукт и некоторую поддержку со стороны клиентов. AWS Generative AI Accelerator предоставит доступ к эффективным моделям и инструментам ИИ, индивидуальным стратегиям выхода на рынок и другим инструментам.

Облачная платформа AWS, по сообщению NetworkWorld, намерена до 2027 года инвестировать в расширение своей австралийской ЦОД-инфраструктуры приблизительно $8,93 млрд. Основная часть этих средств — около $7,45 млрд — будет вложена в облачный регион компании в Сиднее. Ещё $1,49 млрд пойдёт на расширение мощностей в Мельбурне.

Как отмечается, приблизительно $495 млн будет направлено на развитие сетевой инфраструктуры AWS по всей Австралии. Планируется, в частности, заключение партнёрских соглашений с телекоммуникационными компаниями для обеспечения высокоскоростного оптоволоконного соединения между зонами доступности.

Отмечается, что мощности AWS в Австралии включают два облачных региона с тремя зонами доступности в каждом. Кроме того, развёрнуты одна локальная зона, четыре узла CloudFront и два узла AWS Direct Connect. Ожидается, что в дополнение к локальной зоне в Перте компания вскоре запустит вторую локальную зону в Брисбене. Инфраструктура Direct Connect расположена в Виктории и Новом Южном Уэльсе.

Источник изображения: AWS

AWS, которая начала свою деятельность в Австралии в 2012 году, заявила, что до 2022-го инвестировала в страну около $6,18 млрд. Сюда входят как капитальные, так и операционные расходы, связанные со строительством, эксплуатацией и обслуживанием площадок в Азиатско-Тихоокеанском регионе. По оценкам AWS, дата-центры компании в Австралии ежегодно предоставляют около 5000 рабочих мест с полной занятостью.

Недавно открытый облачный регион AWS в Мельбурне — это двенадцатый облачный регион компании в Азиатско-Тихоокеанском регионе, присоединившийся к существующим регионам в Сингапуре, Токио, Сеуле, Мумбаи, Гонконге, Осаке, Джакарте, Хайдарабаде, Сиднее, Пекине и Нинся. У AWS действуют 99 зон доступности в 31 географическом регионе. В дальнейшем планируется добавить ещё 12 зон доступности и четыре региона в Канаде, Израиле, Новой Зеландии и Таиланде.

AWS и NVIDIA объявили о заключении соглашения о многостороннем сотрудничестве с целью создания самой масштабируемой в мире инфраструктуры искусственного интеллекта (ИИ) по требованию, оптимизированной для обучения всё более сложных больших языковых моделей (LLM) и разработки генеративных приложений ИИ.

Компании займутся развёртыванием инстансов следующего поколения EC2 P5 на базе ускорителей NVIDIA H100 с продвинутыми сетевыми возможностями и возможностями масштабирования в AWS, что позволит достичь производительности 20 Эфлопс. Каждый инстанс P5 оснащён восемью ускорителями NVIDIA H100. P5 станут первыми инстансами с ускорителями, в которых используются адаптеры AWS Elastic Fabric Adapter (EFA) 2-го поколения с низкой задержкой, скоростью передачи данных 3,200 Тбит/с и поддержкой NVIDIA GPUDirect RDMA, что позволит объединить до 20 тыс. ускорителей. Для сравнения — OCI SuperCluster позволяет объединить до 32 768 ускорителей A100).

Источник изображения: NVIDIA

Как отмечено в пресс-релизе NVIDIA, инстансы P5 идеально подходят для обучения и инференса для всё более сложных LLM и моделей компьютерного зрения, лежащих в основе самых требовательных и ресурсоёмких приложений генеративного ИИ. Повышенная производительность инстансов P5 позволяет сократить время обучения моделей машинного обучения (ML) до 6 раз. Ожидается, что инстансы P5 снизят затраты на обучение моделей машинного обучения по сравнению с предыдущим поколением на 40 %.

В результате заказчики получают производительность сравнимую с таковой у локальных HPC-кластеров, но с эластичностью и гибкостью AWS. Кроме того, клиенты смогут использовать портфолои сервисов AWS, включая S3, FSx, SageMaker и т.д. Инстансы P5 станут доступны в ближайшие недели в ограниченной предварительной версии.