AWS и NVIDIA объявили о заключении соглашения о многостороннем сотрудничестве с целью создания самой масштабируемой в мире инфраструктуры искусственного интеллекта (ИИ) по требованию, оптимизированной для обучения всё более сложных больших языковых моделей (LLM) и разработки генеративных приложений ИИ.
Компании займутся развёртыванием инстансов следующего поколения EC2 P5 на базе ускорителей NVIDIA H100 с продвинутыми сетевыми возможностями и возможностями масштабирования в AWS, что позволит достичь производительности 20 Эфлопс. Каждый инстанс P5 оснащён восемью ускорителями NVIDIA H100. P5 станут первыми инстансами с ускорителями, в которых используются адаптеры AWS Elastic Fabric Adapter (EFA) 2-го поколения с низкой задержкой, скоростью передачи данных 3,200 Тбит/с и поддержкой NVIDIA GPUDirect RDMA, что позволит объединить до 20 тыс. ускорителей. Для сравнения — OCI SuperCluster позволяет объединить до 32 768 ускорителей A100).
Источник изображения: NVIDIA
Как отмечено в пресс-релизе NVIDIA, инстансы P5 идеально подходят для обучения и инференса для всё более сложных LLM и моделей компьютерного зрения, лежащих в основе самых требовательных и ресурсоёмких приложений генеративного ИИ. Повышенная производительность инстансов P5 позволяет сократить время обучения моделей машинного обучения (ML) до 6 раз. Ожидается, что инстансы P5 снизят затраты на обучение моделей машинного обучения по сравнению с предыдущим поколением на 40 %.
В результате заказчики получают производительность сравнимую с таковой у локальных HPC-кластеров, но с эластичностью и гибкостью AWS. Кроме того, клиенты смогут использовать портфолои сервисов AWS, включая S3, FSx, SageMaker и т.д. Инстансы P5 станут доступны в ближайшие недели в ограниченной предварительной версии.
Источник:
