VMware объявила, что инструменты виртуализации VMware Fusion и VMware Workstation станут доступнее, чем когда-либо. С 11 ноября 2024 года эти продукты стали бесплатными для использования в личных, коммерческих и образовательных целях, а версии Workstation Pro и Fusion Pro больше продаваться не будут. Все функции платных версий теперь доступны и в бесплатных версиях. При этом VMware намерена и далее развивать Fusion и VMware.

Уже оплаченные лицензии на Pro-продукты никуда не денутся. У клиентов с активными соглашениями о поддержке остаётся доступ к стандартным каналам связи с VMware. Как только контракт закончится, обращение в компанию для решения проблем будет недоступно, хотя самим продуктом можно будет пользоваться. У пользователей останется доступ к онлайн-ресурсам, включая документацию, инструкции и форумы — этого, по мнению VMware, вполне достаточно.

Источник изображения: VMware

В компании обещают, что разработчики будут поддерживать стабильность на высоком уровне, своевременно обновляя ПО и заботясь о его высокой производительности. Переход на бесплатную модель распространения должен привести к росту базы пользователей, что позволит получать больше обратной связи, оптимизировать продуктовые предложения и следить за сохранением уровня качества. Новые версии Fusion и Workstation доступны в разделе VMware Desktop Hypervisor.

В мае 2024 года VMware сделала Fusion Pro и Workstation Pro бесплатными для личного пользования. На фоне остальных изменений в политике лицензирования после сделки с Broadcom это был несколько неожиданный шаг. Впрочем, для корпоративных заказчиков не всё так просто. Компания под крылом Broadcom переключилась исключительно на подписки, отменила множество продуктов (включая, например, бесплатную версию vSphere), объединила оставшиеся в наборы VMware Cloud Foundation и VMware vSphere Foundation, а также ликвидировала партнёрскую сеть.

Компания OpenAI, по информации Reuters, разрабатывает собственные чипы для обработки ИИ-задач. Партнёром в рамках данного проекта выступает Broadcom, а организовать производство изделий планируется на мощностях TSMC ориентировочно в 2026 году.

Слухи о том, что OpenAI обсуждает с Broadcom возможность создания собственного ИИ-ускорителя, появились минувшим летом. Тогда говорилось, что эта инициатива является частью более масштабной программы OpenAI по увеличению вычислительных мощностей компании для разработки ИИ, преодолению дефицита ускорителей и снижению зависимости от NVIDIA.

Как теперь стало известно, OpenAI уже несколько месяцев работает с Broadcom над своим первым чипом ИИ, ориентированным на задачи инференса. Соответствующая команда разработчиков насчитывает около 20 человек, включая специалистов, которые ранее принимали участие в проектировании ускорителей TPU в Google, в том числе Томаса Норри (Thomas Norrie) и Ричарда Хо (Richard Ho). Подробности о проекте не раскрываются.

Reuters, ссылаясь на собственные источники, также сообщает, что OpenAI в дополнение к ИИ-ускорителям NVIDIA намерена взять на вооружение решения AMD, что позволит диверсифицировать поставки оборудования. Речь идёт о применении изделий Instinct MI300X, ресурсы которых будут использоваться через облачную платформу Microsoft Azure.

Источник изображения: Unsplash

Это позволит увеличить вычислительные мощности: компания OpenAI только в 2024 году намерена потратить на обучение ИИ-моделей и задачи инференса около $7 млрд. Вместе с тем, как отмечается, OpenAI пока отказалась от амбициозных планов по созданию собственного производства ИИ-чипов. Связано это с большими финансовыми и временными затратами, необходимыми для строительства предприятий.

Broadcom Inc. объявила результаты за III квартал 2024 финансового года, закончившийся 4 августа. Несмотря на то, что в основном показатели были выше прогноза Уолл-стрит, акции компании упали более чем на 10 %, виной чему стал слабый прогноз по направлениям, не касающимся ИИ, пишет Bloomberg. Это было самое большое падение в течение дня за последние четыре года с первых дней пандемии в марте 2020 года. До падения акции компании выросли в этом году на 37 %.

В III финансовом квартале выручка Broadcom составила $13,07 млрд, что на 47 % больше результата годичной давности с учётом дохода VMware или на 4 % больше без его учёта при консенсус-прогнозе аналитиков, опрошенных LSEG, в размере $12,97 млрд. При этом у компании были убытки (GAAP) $1,88 млрд или $0,40 на акцию, тогда как год назад у неё была прибыль в $3,3 млрд или $0,77 на акцию. Broadcom объяснила убыток единовременным налоговым резервированием в размере $4,5 млрд, связанным с торговлей правами на интеллектуальную собственность между сегментами компании в рамках управления цепочкой поставок.

Источник изображений: Broadcom

Вместе с тем компания сообщила о скорректированной прибыли (Non-GAAP) в размере $6,12 млрд или $1,24 на акцию, что выше консенсус-прогноза аналитиков в $1,20 на акцию. В отчётном квартале производство полупроводниковых продуктов принесло компании 56 % выручки или $7,27 млрд (рост — 5 %), доход от ПО составил $5,80 млрд (рост — 200 %). Скорректированная EBITDA составила $8,22 млрд или 63 % выручки.

В текущем квартале Broadcom планирует получить выручку в размере $14,0 млрд в то время, как аналитики прогнозируют скорректированную прибыль в размере $1,36 на акцию при ожидаемой выручке $14,04 млрд. Также прогнозируется скорректированная EBITDA в пределах 64% выручки. При этом компания ожидает получить за весь финансовый году $12 млрд выручки от продуктов, связанных с ИИ, что превышает среднюю оценку аналитиков в $11,8 млрд. Но это не спасло Broadcom от падения акций.

Гендиректор Broadcom Хок Тан сообщил, что большинство направлений компании по производству чипов, не связанных с ИИ, находятся на самом низком уровне или уже прошли через него и набирают обороты. Выручка от производства начала последовательно расти, хотя пока остаётся ниже, чем в прошлом году. По словам Тана, заказы — индикатор будущих продаж — выросли на 20%, и нет причин, чтобы производство не вернулось к прежним, более высоким уровням. «В целом мы достигли дна на наших рынках, не связанных с ИИ, и мы ожидаем восстановления в IV квартале, — сказал он в ходе телефонной конференции с участием аналитиков. — Спрос на ИИ остаётся высоким».

Хок Тан также заявил, что рынок микросхем ИИ в долгосрочной перспективе перейдёт на индивидуальные внутренние разработки. Это означет отказ от решений NVIDIA, что будет на пользу Broadcom. По словам Тана этот процесс может занять несколько лет. Тан также сообщил, что поставки устройств следующего поколения для «североамериканского клиента» (Apple) позволят увеличить доход Broadcom в сегменте беспроводной связи в IV квартале на 20 %, хотя при этом он останется на уровне прошлого года.

Отвечая на вопрос по поводу возможного следующего приобретения на рынке полупроводников, Тан сказал, что в ближайшее время этого не будет, поскольку он занят интеграцией активов VMware, а этот процесс может занять два года.

Broadcom представила новейшую версию платформы для управления виртуальными машинами и оркестрации контейнеров VMware Cloud Foundation (VCF) 9, назвав её «будущим» своей платформы частного облака, которая ускорит переход клиентов от разрозненных ИТ-архитектур к унифицированной и интегрированной частной облачной платформе с меньшими затратами и рисками. Основной упор в новой версии сделан на создание частных облаков и, конечно же, ИИ.

Broadcom заявила, что VMware Cloud Foundation — первая в отрасли облачная платформа, сочетающая масштабируемость и гибкость публичного облака с безопасностью, устойчивостью и производительностью частного облака и низкой совокупной стоимостью владения. VCF поддержит цифровые инновации клиентов с более быстрой модернизацией инфраструктуры, унифицированным облачным опытом, а также лучшей киберустойчивостью и безопасностью, говорит Broadcom. Компания сослалась на спонсируемое ею исследование IDC, в котором сообщалось, что VCF обеспечивает в среднем на 34 % более низкие затраты на инфраструктуру, на 42 % более низкую общую стоимость эксплуатации и 564 % окупаемости инвестиций в течение трёх лет.

Источник изображений: blogs.vmware.com

VCF помогает организациям быстро перейти на современную и интегрированную инфраструктуру, снижая сложность и время простоя, связанные с ручной миграцией существующих сред в частную облачную платформу. С VMware Cloud Foundation 9 Broadcom добавила возможность клиентам импортировать конфигурации NSX, vDefend, Avi Load Balancer и сложные топологии хранения в существующие среды VCF, а также использовать и интегрировать старые версии существующей инфраструктуры. Этому будет способствовать новый интуитивно понятный пользовательский интерфейс — VCF 9 включает в себя портал самообслуживания с единой консолью управления (вместо десятка с лишним панелей ранее), которая упрощает операции и автоматизацию. Кроме того, компания представила VMware Cloud Foundation (VCF) Advanced Services, каталог готовых к развёртыванию решений, упрощающих работу клиентов в своих частных облачных средах.

VMware Cloud Foundation 9

Обновлений платформы целое множество. Так, расширение пула DRAM посредством NVMe SSD (CXL) в VCF 9 позволит значительно улучшить работу приложений с интенсивным использованием данных, такие как ИИ, СУБД и аналитика в реальном времени, а также сократит задержку и ускорит передачу информации, что имеет решающее значение для задач обучения и инференса. Также это позволяет масштабировать производительность без чрезмерных затрат. А удалённая репликация снимков между vSAN поддерживает глубокую историю неизменяемых снимков, сокращая время простоя и упрощая оркестрацию аварийного восстановления, в том числе в изолированных on-premise окружениях.

Также в VCF 9 включена функциональность VMware Cloud Director, благодаря чему в рамках одной платформы можно поддерживать несколько организаций или, например, групп разработки, сегментируя инфраструктуру на основе их конкретных требований к доступу, управлению рабочими нагрузками, безопасности и конфиденциальности. Кроме того, значительно упростилось создание виртуальных частных облаков (VPC), которые теперь можно формировать буквально в один клик, не занимаясь ручной настройкой VLAN и интеграцией с существующими сетями. Возможности VPC можно расшириить службами VMware vDefend и VMware Avi Load Balancer, которые также получили существенные обновления.

Например, Avi Load Balancer лучше оптимизирован для сред VCF и Kubernetes и интегрирован со службой Tanzu Application Service. По словам Broadcom, это сокращает время развёртывания с недель до минут и повышает прозрачность работы на уровне L4–L7. Kubernetes-системы получат расширенными возможности по управлению трафиком и конвейерами CI/CD.

vDefend был расширен с помощью распределённого анализа влияния правил брандмауэра и распределённой же системы IPS. Он поддерживает крупные и сложные среды, позволяя провести быструю оценку и профилирование угроз, в том числе в изолированных (air-gapped) окружениях. А в рамках Project Cypress компания готовит для vDefent интеллектуального помощника на базе генеративного ИИ, который будет проактивно находить возможные вектора атак, предлагать возможные варианты защиты, выявлять малоэффектвные политики безопасности и т.д. Пообщаться с ним можно будет на естественном языке. А гипервизор VMware может выступать в качестве датчика угроз для быстрой оценки защиты инфраструктуры.

Broadcom также сообщила об обновлении платформы VMware Private AI Foundation with NVIDIA, предназначенный для предприятий, которые хотят использовать возможности ИИ, сохраняя при этом преимущества частного облака, представляющей собой комплексное решение для безопасного и эффективного развёртывания, управления и масштабирования ИИ-приложений на базе VCF. В VCF 9 компания упростила развёртывания платформ генеративного ИИ, расширив возможности управления и мониторинга vGPU и GPU, добавив службу индексации и извлечения данных, а также службу создания ИИ-агентов.

Tanzu 10

На конференции также была представлена 10-я версия унифицированной платформы VMware Tanzu, с помощью котороый разработчики могут автоматизировать защищённые сборки контейнеров, привязывать сервисы к приложениям, развёртывать код одной командой и легко масштабировать приложения, заявила Broadcom. Tanzu 10 также автоматизирует задачи управления приложениями и платформами, такие как исправление уязвимостей, развёртывание непрерывных обновлений и применение политик.

Tanzu предоставляет ряд пакетных сервисов для VCF для автоматизированной и защищённой работы с контейнерами и данными. Новые функции включают поддержку изолированных среды, глобальный балансирощик, расширенные сетевые возможности (Avi Load Balancer), защищённые виртуальные машины, каталог образов с open source ПО. Наконец, встроенная среда разработки ИИ платформы Tanzu позволяет разработчикам создавать приложения Python без знания языка.

Решения Tanzu AI Solutions включают, в том числе, такие функции:

• GenAI on Tanzu Platform позволяет клиентам использовать большие языковые модели (LLM) в своих приложениях, предоставляя шлюз с OpenAI-совместимыми API для запускать более чем 100 проприетарных и открытых LLM безопасным и согласованным образом.
• Observability for GenAI отвечает за мониторинг и оценку ИИ-приложений и ответов модели. Это помогает клиентам визуализировать, тестировать и устранять неполадки в приложениях ИИ, выполняя проверки точности моделей и выявляя галлюцинации. Функция также отслеживает использование токенов, помогая контролировать расходы на использование LLM.

Поддержка VMware Private AI Foundation with NVIDIA встроена в сервис GenAI on Tanzu Platform.

В огромной лаборатории в штаб-квартире Google в Маунтин-Вью (Калифорния, США) установлены сотни серверных стоек с ИИ-ускорителями TPU (Tensor Processing Unit) собственной разработки, с помощью которых производится обучение больших языковых моделей, пишет ресурс CNBC, корреспонденту которого компания устроила небольшую экскурсию.

Первое поколение Google TPU, созданное ещё в 2015 году, и представляет собой ASIC для обработки ИИ-нагрузок. Сейчас компания использует такие, хотя и более современные ускорители для обучения и работы собственного чат-бота Gemini. С 2018 года TPU Google доступны облачным клиентам компании. В июле этого года Apple объявила, что использует их для обучения моделей ИИ, лежащих в основе платформы Apple Intelligence.

TPU v1 (Источник изображений здесь и далее: Google)

«В мире есть фундаментальное убеждение, что весь ИИ, большие языковые модели, обучаются на (чипах) NVIDIA, и, конечно, на решения NVIDIA приходится львиная доля объёма обучения. Но Google пошла по собственному пути», — отметил гендиректор Futurum Group Дэниел Ньюман (Daniel Newman). Благодаря расширению использованию ИИ подразделение Google Cloud увеличило доход, и в последнем квартальном отчёте холдинг Alphabet сообщил, что выручка от облачных вычислений выросла на 29 %, впервые превысив $10 млрд за квартал.

Google была первым провайдером облачных вычислений, создавшим кастомные ИИ-чипы. Лишь спустя три года Amazon Web Services анонсировала свой первый ИИ-ускоритель Inferentia, Microsoft представила ИИ-ускоритель Azure Maia 100 в ноябре 2023 года, а в мае того же года Meta✴ рассказала об семействе MTIA. Однако лидирует на рынке генеративного ИИ компания OpenAI, обученная на ускорителях NVIDIA, тогда как нейросеть Gemini была представлена Google спустя год после презентации ChatGPT.

В Google рассказали, что впервые задумались о создании собственного чипа в 2014 году, когда в руководстве решили обсудить, насколько большими вычислительными возможностями нужно обладать, чтобы дать возможность всем пользователям поговорить с поиском Google в течение хотя бы 30 с каждый день. По оценкам, для этого потребовалось бы удвоить количество серверов в дата-центрах. «Мы поняли, что можем создать специальное аппаратное обеспечение, <…> в данном случае тензорные процессоры, для обслуживания [этой задачи] гораздо, гораздо более эффективно. Фактически в 100 раз эффективнее, чем было бы в противном случае», — отметил представитель Google.

С выходом второго поколения TPU в 2018 году Google расширила круг выполняемых чипом задач, добавив к инференсу обучение ИИ-моделей. Процесс создания ИИ-ускорителя не только отличается высокой сложностью, но и требует больших затрат. Так что реализация таких проектов в одиночку не по силам даже крупным гиперскейлерам. Поэтому с момента создания первого TPU Google сотрудничает с разработчиком чипов Broadcom, который также помогает её конкуренту Meta✴ в создании собственных ASIC. Broadcom утверждает, что потратила более $3 млрд в рамках реализации совместных проектов.

В рамках сотрудничества Google отвечает за собственно вычислительные блоки, а Broadcom занимается разработкой I/O-блоков, SerDes и иных вспомогательных компонентов, а также упаковкой. Самы чипы выпускаются на TSMC. С 2018 года в Google трудятся ещё одни кастомные чипы — Video Coding Unit (VCU) Argos, предназначенной для обработки видео.

Что касается TPU, то в этом году клиентам Google будет доступно шестое поколение TPU Trillium. Более того, им станут доступны и первые Arm-процессоры Axion собственной разработки. Google выходит на этот рынок с большим отставанием от конкурентов. Amazon выпустила первый собственный процессор Graviton в 2018 году, Alibaba Yitian 710 появились в 2021 году, а Microsoft анонсировала Azure Cobalt 100 в ноябре. Все эти чипы основаны на архитектуре Arm — более гибкой и энергоэффективной альтернативе x86.

Энергоэффективность имеет решающее значение. Согласно последнему экологический отчёту Google, с 2019 по 2023 год выбросы компании выросли почти на 50 %, отчасти из-за увеличения количества ЦОД для ИИ-нагрузок. Для охлаждения ИИ-серверов требуется огромное количество воды. Именно поэтому начиная с третьего поколения TPU компания использует прямое жидкостное охлаждение, которое только теперь становится практически обязательным для современных ИИ-ускорителей вроде NVIDIA Blackwell.

Представлена новая версия одноплатного компьютера Raspberry Pi 5: она получила 2 Гбайт оперативной памяти, а также несколько модифицированный по сравнению с оригинальной версией процессор Broadcom. Решение уже доступно для заказа по цене $50.

Изделие Raspberry Pi 5 дебютировало в сентябре 2023 года. Оно оснащено 16-нм чипом Broadcom BCM2712C1 с четырьмя ядрами Arm Cortex-A76 с частотой 2,4 ГГц. Есть графический ускоритель VideoCore VII с поддержкой OpenGL ES 3.1 и Vulkan 1.2. Изначально предлагались варианты одноплатного компьютера с 4 и 8 Гбайт ОЗУ за $60 и $80.

Источник изображения: Raspberry Pi

Отмечается, что BCM2712C1 — это довольно сложный процессор, который, помимо функций необходимых для работы Raspberry Pi, также поддерживает дополнительные возможности, ориентированные на другие области применения. Но в случае с Raspberry Pi 5 эти возможности лишь увеличивают цену чипа. Поэтому в новой версии одноплатного компьютера процессор BCM2712C1 переведён на степпинг D0, который лишён всей ненужной функциональности. Это позволило снизить стоимость производства.

В Raspberry Pi 5 с 2 Гбайт памяти, как и в оригинальной модификации решения, задействован контроллер ввода-вывода собственной разработки RP1. Прочие технические характеристики также не изменились: контроллеры Wi-Fi 802.11ac (2,4/5 ГГц) и Bluetooth 5.0 / Bluetooth Low Energy (BLE), слот microSD, по два порта USB 3.0 и USB 2.0, адаптер 1GbE с поддержкой PoE+ и др.

Обеспокоенность тем, в каком направлении движется компания VMware после сделки с Broadcom, ведёт к негативным для бизнеса последней результатам. По данным Network World, некоторые клиенты уже рассматривают альтернативные программные платформы, например, Scale Computing и Nutanix.

Изменение условий лицензирования ПО VMware и прочие нововведения под патронажем Broadcom буквально заставляют существующих клиентов компании искать альтернативные решения. Как минимум двое конкурентов заявили о росте продаж, который напрямую связан с разочарованием новой политикой Broadcom.

Например, Scale Computing, специализирующаяся на HCI-системах, в последнем квартальном отчёте объявила о росте выручки, который во многом связан именно с изменениями схемы продаж ПО Vmware. Руководство Scale Computing отметило значительный спрос на решения для периферийных вычислений и платформы виртуализации — в минувшем квартале рост продаж оказался рекордным, а количество новых клиентов и партнёров удвоилось в сравнении с тем же периодом прошлого года. А по итогам 2024-го прирост выручки может составить год к году беспрецедентные 50 %.

Источник изображения: Razvan Chisu/unsplash.com

В Nutanix подтверждают, что клиенты обеспокоены влиянием Broadcom на бизнес VMware, что ведёт как к росту цен, так и изменениям в службах поддержки продуктов, недостатку инноваций и т.п. От VMware к Nutanix уже ушли немаленькие компании вроде Treasure Island Hotel & Casino и Computershare, причём тенденция, похоже, будет сохраняться годами.

Хотя подобный переход весьма неудобен и сложен для клиентов, а также отнимает много времени, в Oxide Computer отмечают, что клиенты VMware намерены полностью избавиться от продуктов компании в своих IT-экосистемах. И конкуренты Broadcom стараются воспользоваться моментом, предлагая не только скидки, но и помощь в миграции инфраструктур. Впрочем, в некоторых случаях компании будут вынуждены сохранить и поддерживать устаревающие VMware-инфраструктуры.

Со времён закрытия сделки по покупке VMware в конце прошлого года, Broadcom внесла чересчур много изменений в устоявшийся бизнес. В частности, она отказалась от «вечных» лицензий в пользу подписок, прекратила выпуск десятков продуктов и объединила оставшиеся в два громоздких набора ПО — VMware Cloud Foundation и VMware vSphere Foundation. Это заставляет покупателей покупать в комплекте с нужным ПО те программы, которые им нее понадобятся вовсе, из-за чего растут и издержки.

Стало известно, что компания OpenAI вела переговоры с разработчиками чипов, включая Broadcom, по поводу создания нового серверного ИИ-ускорителя. Сообщивший об этом ресурс The Information утверждает, что данная инициатива, которую возглавил руководитель OpenAI Сэм Альтман (Sam Altman), является частью более широкого плана по увеличению вычислительной мощности компании для разработки ИИ, преодолению дефицита ИИ-ускорителей и снижению зависимости от NVIDIA. На фоне этих сообщений акции Broadcom выросли на 3 %.

По словам источников The Information, компания наняла несколько сотрудников Google, участвовавших в создании ИИ-ускорителей TPU. Примечательно, что Broadcom работала с Google над созданием TPU, а это означает, что у компании есть опыт разработки чипов для обработки ИИ-приложений. И у неё есть подразделение, которое занимается созданием кастомных ASIC.

«Миру нужно больше инфраструктуры ИИ — больших мощностей, энергии, ЦОД и т. д. — чем в настоящее время планируют построить, — сказал ранее Альтман. — OpenAI постарается помочь!». В настоящее время доля рынка ИИ-чипов NVIDIA оценивается от 70 % до 95 % рынка, а это означает, что компании, занимающиеся ИИ, находятся в полной зависимости от неё с точки зрения доступа к вычислениям. Если OpenAI удастся создать свой ИИ-ускоритель, то ей больше не нужно будет всецело полагаться на NVIDIA.

Источник изображения: Broadcom

Если бы такой чип был создан, его производство началось бы не раньше 2026 года, сообщил один из источников, поскольку отдельные детали всё ещё прорабатываются, включая вопросы упаковки и доступности памяти. Альтман вёл переговоры с южнокорейскими компаниями Samsung и SK Hynix о поставках HBM и обсуждал планы по производству чипов, сообщил The Information со ссылкой на информированные источники. Кроме того, Альтман общался с TSMC по поводу возможности выпуска нового чипа, а также увеличения поставок ИИ-ускорителей NVIDIA для его компании.

OpenAI не стала подтверждать факты, изложенные в публикации The Information, но и не опровергла её. Представитель компании заявил, что «OpenAI ведёт постоянные переговоры с представителями отрасли и правительства о расширении доступа к инфраструктуре, необходимой для обеспечения широкой доступности преимуществ ИИ».

Ускорители собственной разработки есть у Amazon (Trainium и Inferentia), Google (TPU), Microsoft (Maia), Meta✴ (MTIA), а также Tesla (D1). Однако все эти компании всё равно массово скупают ускорители NVIDIA для работы над ИИ или для предоставления их своим клиентам. И всё возрастающая стоимость оборудования их пока не останавливает, хотя новейший суперускоритель NVIDIA GB200 NVL72, как ожидается, будет стоить $3 млн.

Аналитическая фирма Gartner опубликовала отчёт 2024 Hype Cycle for Data Center Infrastructure Technologies, в котором отметила, что изменения в лицензировании Broadcom не только ведут к кратному увеличению стоимости услуг и пересмотру стратегий развития инфраструктур, но и запускают процесс девиртуализации, пишет The Register.

«Поскольку проекты локальной виртуализации переходят от [корпоративного лицензионного соглашения] ELA и бессрочных лицензий к новым пакетам ПО, иному соотношению количества ядер к сокетам и моделям потребления, затраты и цены могут увеличиться в два или три раза», — полагает Gartner. Для ряда крупных рабочих нагрузок, которые «не получают такого же увеличения плотности и экономии средств, как консолидация небольших рабочих нагрузок», подорожание лицензий сводит на нет всю выгоду от виртуализации.

Девиртуализация может стать выходом в данной ситуации, утверждает Gartner, вместе с тем предупреждая о стоимости и сложности приобретения и эксплуатации платформ bare metal, для которых труднее добиться той же устойчивости, что у виртуализированных сред. На данный момент Gartner считает девиртуализацию применимой лишь к 1 % компаний, но считает, что в течение 5–10 лет технологии станут более зрелыми.

Источник изображения: vmware.com

Переезд на другие гипервизоры — ревиртуализация — оценивается Gartner как технология, достигшая зрелости, поскольку она применима для 5–20 % организаций. В качестве драйвера здесь тоже названы изменения в лицензировании VMware. «Ревиртуализация, как правило, проводится для устранения технических недостатков или для устранения рисков, связанных с жизнеспособностью систем, а также коммерческих рисков», — указала Gartner в отчёте, добавив, что она может «увеличить общую стоимость владения, привнести незрелые административные и управленческие инструменты, создать дополнительную операционную нагрузку или проблемы с надёжностью». Однако аналитики Gartner считают, что риск может быть оправданным.

В отчёте Gartner также перечислены другие технологии, которые оцениваются как «находящиеся на подъёме»:

• Новые технологии памяти. Gartner считает, что технологии MRAM и ReRAM смогут упростить масштабирование комплексных нагрузок.
• Цифровые двойники сетей. Наличие виртуальной модели для всё более сложных сетей будет полезно для тестирования производимых в них изменений. Gartner считает, что эта технология позволит ускорить развёртывание на 20 %.
• Автономное энергоснабжение. Использование в ЦОД собственных генерирующих мощностей снижает зависимость от энергосетей, повышает автономность и обеспечивает возможность расширения. ЦОД, работающие на водороде, тоже вошли в список растущих технологий. А малые модульные ядерные реакторы рассматриваются Gartner как перспективные источники питания.
• Дополненная реальность (AR) в ЦОД. Gartner считает, что технология, которая «предоставляет техническим специалистам визуализацию данных в реальном времени, рекомендации и интерактивные 3D-модели для облегчения сложных задач и процессов обслуживания», может сократить время ремонта, а также позволит отказаться за ненадобностью от руководств по эксплуатации.

Среди технологий, которые, по оценкам Gartner, достигли пика, указаны экономика замкнутого цикла в ИТ, ЦОД с нулевым уровнем потребления, модели оплаты на основе потребления ресурсов для локальных и гибридных инфраструктур, а также прямое жидкостное охлаждение (D2C).

По мнению Gartner, периферийные вычисления не оправдали ожиданий. Также исследователи отметили сокращение автоматизации инфраструктуры и использования погружного охлаждения. Гибридные серверы также разочаровали покупателей, как и компонуемая инфраструктура. Среди растущих технологий аналитики выделили программно определяемую и т.н. неизменяемую (immutable) инфраструктуры.

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.