Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.

Нехватка кадров в «Ростелекоме» привела к решению автоматизировать ряд процессов с помощью искусственного интеллекта (ИИ) собственной разработки. Как сообщает «Коммерсантъ», будут частично автоматизированы разработка ПО, аналитика и тестирование. Впрочем, эксперты опасаются, что масштабное стимулирование властями подготовки IT-специалистов может привести к избытку кадров на фоне внедрения ИИ и снижению зарплат.

О намерении компенсировать дефицит специалистов ИИ-разработками сообщил на днях вице-президент «Ростелекома» по IT. По его словам, подготовкой к этому необходимо заниматься уже сейчас, чтобы получить результат через два–три года. Позже в компании уточнили, что речь идёт о проекте «Лукоморье», касающегося полного цикла разработки ПО, от бизнес-анализа и проектирования до тестирования и создания документации. При этом в компании обещают не заменять ею действующих IT-специалистов.

Источник изображения: julien Tromeur/unsplash.com

По данным «Ростелекома», «Лукоморье» найдёт применение как в проектах самой компании, так и в сторонних бизнесах, которые тоже будут приобретать новые решения для устранения кадрового голода. Хотя бюджет проекта остаётся в секрете, некоторые эксперты оценивают его в сумму от в 1,5 млрд руб., а некоторые и вовсе говорят о «миллиардах рублей»ещё на этапе обучения нейросети, причём на реализацию даже базового проекта уйдут годы.

Глава Минцифры считает, что дефицит IT-специалистов в России составляет 500–700 тыс. человек. Поэтому многие крупные компании обращаются к ИИ. Например, чат-бот GigaChat от Сбербанка пополнился инструментом разработки и дополнения кода GigaCode. Активно развивает собственные технологии соответствующего профиля и «Яндекс». При этом эксперты уверены, что нейросети послужат лишь вспомогательным инструментом, а полного исключения людей из работы ожидать не стоит. Впрочем, допускается появление новых IT-специальностей, связанных именно с ИИ, а готовых специалистов действительно может оказаться в избытке.

Некоторые эксперты прогнозируют избыток IT-специалистов в течение следующих 10 лет, что приведёт к падению зарплат в отрасли. Согласно весенним прогнозам Goldman Sachs, ИИ позволит автоматизировать порядка 300 млн рабочих мест в мире, а в McKinsey предполагают, что уже в ближайшее время в США автоматизируют до 30 % рабочего времени, сообщает «Коммерсантъ».

Компания Cisco отрапортовала о работе в последней четверти и 2023 финансовом году в целом, который был закрыт 29 июля. По ключевым показателям зафиксирован заметный рост. Так, выручка за трёхмесячный период достигла $15,2 млрд, что на 16 % больше прошлогоднего результата, равного $13,1 млрд.

В общем объёме продаж на продукты пришлось $11,65 млрд; ещё $3,55 млрд принесли сервисы. С географической точки зрения американский рынок остаётся крупнейшим с продажами на уровне $9,08 млрд. Регион EMEA (Европа, Ближний Восток и Африка) обеспечил $3,93 млрд, рынок APJC (Азиатско-Тихоокеанский рынок, Япония и Китай) — $2,20 млрд.

Источник изображения: Cisco

Чистая прибыль Cisco в IV квартале 2023 финансового года достигла $4,0 млрд против $2,8 млрд годом ранее. Таким образом, по данному показателю отмечен рост на 41 %. Прибыль в пересчёте на одну ценную бумагу за год взлетела на 43 % — с 68 до 97 центов.

Отмечается, что Cisco практически избавилась от огромного количества невыполненных заказов, которые она накопила в период пика пандемии COVID-19, спровоцировавшего многочисленные сбои в каналах поставок. Задержки в отгрузках продуктов во многих случаях достигали нескольких месяцев. При этом сама Cisco не только недополучала средства от поставок оборудования, но и была вынуждена приостанавливать для таких заказчиков оказание сопутствующих услуг, что также приводило к сокращению денежных потоков.

По итогам 2023 финансового года в целом Cisco получила $57,0 млрд выручки — на 11 % больше по сравнению с предыдущим годом ($51,6 млрд). Чистая прибыль поднялась на 7 % — с $11,8 млрд до $12,6 млрд.

Ещё в прошлом месяце контрактный производитель полупроводников TSMC заявил о том, что спрос на чипы упал во всех сегментах рынка, за одним исключением — чипы для ИИ по-прежнему пользуются высоким спросом. Как сообщает Barron’s, в первую очередь речь идёт о чипах NVIDIA, доминирующих на рынке соответствующих решений.

Растущий спрос на генеративные ИИ-системы привёл к тому, что ускорители H100 стали самым ценным ресурсом. Как заявляют в Amazon Web Services (AWS), спрос на них устойчиво превышает предложение. Своей точкой зрения на проблему поделился и технический директор облачного ИИ-провайдера CoreWeave Брайан Вентуро (Brian Venturo). Компания одной из первых начала предлагать доступ к H100 и имеет тесные связи с NVIDIA — последняя инвестировала в стартап не менее $100 млн.

По словам Вентуро, если в I квартале 2023 года можно было довольно легко получить новые ускорители, то уже в апреле ситуация кардинально изменилась буквально за неделю — сроки выполнения заказов стали переноситься на конец года. H100 потребовались облачным провайдерам, крупным корпорациям и лабораториям, занимающимся ИИ-решениями. Сейчас H100 практически невозможно приобрести. Желающие сделать заказ сегодня могут рассчитывать на поставки в I или II квартале 2024 года. CoreWeave уже оформляет заказы, которые NVIDIA должна выполнить во II и III кварталах 2024 года.

Источник изображения: NVIDIA

При этом решения других компаний, включая AMD, по данным CoreWeave, не пользуются таким спросом. Продукты NVIDIA не просто имеют лучшую аппаратную составляющую, но и развитое и повсеместно распространённое ПО — у стартапов просто нет времени для внедрения решений AMD или Google TPU. NVIDIA годами инвестировала в программную платформу CUDA и теперь, как считает Вентуро, на 10 лет опережает конкурентов.

В кратко- и среднесрочной перспективе CoreWeave не видит появления значимых конкурентов NVIDIA. Так, TPU или AWS Trainium являются весьма специфическими решениями, не подходящими для обычных стартапов, которым требуются быстрые результаты. В этом в CoreWeave видят преимущество для своего бизнеса — компания не только имеет довольно стабильный доступ к ускорителям NVIDIA, но и готова предложить соответствующую вычислительную инфраструктуру малым игрокам.

Сама CoreVeawe активно приобретает всё больше продуктов NVIDIA, привлекая в долг средства для покупки чипов под залог уже имеющихся ускорителей. Как сообщалось в июле, в Техасе компания намерена потратить $1,6 млрд на создание дата-центра для своего ИИ-супероблака. Тем временем NVIDIA инвестирует не только в CoreVeawe — она поддержала конкурента компании, вложив средства в развитие ИИ-стартапа Lambda Labs.

Облачный провайдер Amazon Web Services (AWS) объявил о введении платы в размере $0,005/час за каждый публичный IPv4-адрес с 1 февраля 2024 года, причём независимо от того, привязан ли адрес к какому-либо инстансу или сервису или же нет. Нововведение касается всех служб AWS, включая EC2, RDS, EKS, а также любых других, которым может быть назначен и привязан общедоступный IPv4-адрес во всех регионах AWS, в том числе AWS China и GovCloud.

«IPv4-адреса становятся все более дефицитным ресурсом, и стоимость приобретения одного публичного IPv4-адреса выросла более чем на 300 % за последние 5 лет», — пояснил руководитель AWS Джефф Барр (Jeff Barr). «Это изменение отражает наши собственные затраты, а также призвано побудить вас быть немного более экономным при использовании IPv4 и подумать об ускорении перехода на IPv6», — добавил он. Напомним, что Amazon купила в 2019 году 4 млн адресов IPv4 за $108 млн. А всего по состоянию на конец 2020 года стоимость IPv4-адресов, принадлежащих Amazon, превысила $2 млрд.

Источник изображения: Pixabay

С клиентов не будет взиматься плата за их собственные IP-адреса, управляемые посредством Amazon BYOIP. Годовой бесплатный пробный период в AWS будет включать 750 часов использования публичных IPv4-адресов в месяц. Чтобы помочь клиентам определить будущие расходы, компания теперь будет добавлять информацию об адресах в отчёт о затратах (AWS Cost and Usage Reports, CUR). Также была представлена новая функция Public IP Insights для анализа и аудита используемых IPv4-адресов.

Последние свободные IPv4-адреса закончились ещё в 2019 году, и с тех пор их стоимость неуклонно растёт, что привлекает мошенников, стремящихся заработать на этом. Чтобы хоть на время справиться с нехваткой IPv4-адресов, Сет Шон (Seth Schoen), известный по работе в EFF и Let’s Encnrypt, предложил забрать 300 млн зарезервированных для особых нужд IPv4-адресов. В свою очередь Китай ускоряет внедрение IPv6, планируя полностью перейти на этот протокол к 2030 году.

Microsoft подчеркнула в квартальном отчёте для инвесторов важность обеспеченности достаточным количеством ускорителей вычислений для стабильной работы облачных сервисов искусственного интеллекта (ИИ). Компания добавила уровень обеспеченности GPU в перечень факторов риска сбоев, с которым она может столкнуться, если не будет иметь надлежащую инфраструктуру.

Этот факт отражает растущий спрос ведущих технологических компаний на ИИ-ускорители, необходимые для предоставления доступа к ИИ-сервисам небольшим предприятиям.

Microsoft увеличила объём капвложений в облачные системы в IV квартале 2023 финансового года, включая расходы на ускорители вычислений, и планирует наращивать их в дальнейшем, стремясь удовлетворить растущий спрос на облачные сервисы искусственного интеллекта (ИИ).

Источник изображения: NVIDIA

«Наши центры обработки данных зависят от наличия разрешённой и пригодной для строительства земли, предсказуемых поставок энергии, сетевых материалов и серверов, включая ускорители вычислений (GPU) и другие компоненты», — указано в квартальном отчёте Microsoft. До этого GPU не упоминались в таком разрезе в предыдущих годовых отчётах Microsoft. Также нет упоминания GPU в таком смысле в недавних годовых отчётах других крупных технологических компаний, таких как Alphabet, отметил ресурс CNBC.

В рамках партнёрства с Microsoft компания OpenAI использует облако Azure для выполнения вычислений для ИИ-чат-бота ChatGPT и различных ИИ-моделей. Microsoft также начала использовать ИИ-модели OpenAI для улучшения с помощью генеративного ИИ своих продуктов, таких как приложения Outlook и Word, а также поисковая система Bing. Это повлекло за собой рост потребности компании в ИИ-ускорителях. Чтобы обеспечить в полной мере своих клиентов вычислительными ресурсами, Microsoft подписала соглашение о сотрудничестве с CoreWeave об использовании его оборудования для обработки своих ИИ-нагрузок.

Хотя европейский сектор строительства ЦОД переживает эпоху расцвета, из-за быстрого роста спроса на новые мощности увеличилось и количество проблем. В частности, как сообщает The Register, не хватает строительных материалов, а также тяжёлой строительной техники. Между тем в ближайшие годы потребуются буквально тысячи новых ЦОД.

Как сообщается в докладе Aggreko, спрос на новые ЦОД значительно превышает предложение, причём многим подрядчикам приходится переносить сроки сдачи объектов. Для составления доклада Aggreko опросила 700 отраслевых специалистов в Великобритании и ряде стран ЕС. По данным британской Savills, в Европе в ближайшие три года планируют построить намного меньше ЦОД, чем необходимо. В компании уверяют, что уже к середине десятилетия потребуется не менее 3 тыс. новых дата-центров. Удовлетворить их будет непросто по ряду причин.

Источник: Aggreko

Виной всему не только нехватка строительных материалов и техники, на которую претендуют и другие отрасли, но и, например, проблемы с подключением к энергосетям и нехватка квалифицированных кадров. Также в числе препятствий упоминается и ужесточение контроля природоохранными ведомствами, поскольку строительству и эксплуатации ЦОД обычно сопутствуют высокие углеродные выбросы. А в случае разногласий между застройщикам и муниципальными властями возведение объекта может быть приостановлено на неопределённый срок.

Источник: Aggreko

В некоторых местах наличие доступа к энергии оказалось важнее цены на неё. Кроме того, сказывается недостаток опыта в использовании источников возобновляемой энергии — не считая рисков, связанных с самим использованием таких источников. Также важным фактором является и цена земельных участков, особенно в Германии, Франции и Нидерландах. Антирекордсменами по срокам сдачи ЦОД стали Нидерланды и Швеция, где задержка может превышать два месяца.

Ожидается, что с учётом нарастающего спроса рынок станет ещё более неустойчивым — в Aggreko предлагают использовать в некоторых случаях компромиссные решения, например, создание временных машинных залов ещё до завершения строительства всего объекта. Признаётся необходимость спотовых покупок материалов и техники для удовлетворения краткосрочного спроса и аренды некоторого оборудования вроде генераторов, а также наращивание запасов оборудования и иных мер, в том числе увеличение сроков сдачи проектов.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

Источник изображения: Pixabay

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

В Сингапуре пошли на ослабление моратория, запрещавшего строительство новых дата-центров. Как сообщает DataCenter Dynamics, страна распределила первые за несколько лет 80 МВт — они достались Equinix, Microsoft, AirTrunk (в паре с ByteDance) и GDS. Ранее представители технологического сектора Сингапура жаловались, что страна упустила «представляющийся раз в жизни» шанс стать мировым хабом для дата-центров.

Мораторий на строительство новых ЦОД появился в 2019 году — исключение составили проекты, уже получившие одобрение местных властей. Год назад запрет был смягчён, поскольку появилась возможность подать новые заявки. Всего таковых набралось более 20, так что в ближайшие год-полтора будут распределены новые мощности для ЦОД — страна по-прежнему намерена стать «глобальным цифровым хабом», намереваясь при этом добиться нулевого углеродного выброса.

Источник изображения: Mike Enerio/unsplash.com

Победителями, как сообщается, стали компании, лучше всех способные достичь желаемых Сингапуром экономических и экологических результатов. В частности, победители смогли предложить наиболее энергоэффективные решения для машинного обучения, ИИ и HPC, в том числе с новыми системами охлаждения. Также победители выразили готовность взять на себя «иные экономические обязательства» помимо прямых инвестиций. Впрочем, есть ещё один предварительно одобренный проект морского дата-центра.

Microsoft запустила первый в стране облачный регион Azure в 2010 году, последний ЦОД AirTrunk был открыт в Сингапуре в 2020 году, а Equinix, владеющая пятью ЦОД в стране, ввела в эксплуатацию последний из них уже после введения моратория. И только GDS построит дата-центр в Сингапуре впервые. В русле этой политики вполне ожидаемо, что Сингапур намеревается потратить более $7 млрд на расширение системы подводных интернет-кабелей и провести в ближайшие 10 лет комплексную модернизацию интернет-инфраструктуры.

Хотя многие компании считают облако лучшим выбором для обучения и запуска больших приложений ИИ, лишь небольшая часть существующей облачной инфраструктуры на данный момент имеет соответствующие вычислительные мощности, пишет The Wall Street Journal (WSJ). «Сейчас существует довольно большой дисбаланс между спросом и предложением», — сообщил Четан Капур (Chetan Kapoor), директор по управлению продуктами в подразделении AWS EC2. Ниди Чаппелл (Nidhi Chappell), генеральный менеджер Azure AI Infrastructure, отметила наличие «неутолимого» спроса на запуск больших языковых моделей (LLM).

Однако основная часть текущей облачной инфраструктуры не была создана для запуска таких больших и сложных систем. Облако позиционировалось как удобная альтернатива локальным серверам, которую можно легко масштабировать под свои цели с оплатой по факту использования. Большая часть современного облачного пространства состоит из серверов с CPU общего назначения, предназначенных для одновременного выполнения нескольких рабочих нагрузок. И гораздо меньше имеется GPU-серверов и кластеров, оптимизированных для ИИ и больших рабочих нагрузок. При этом AWS, Google, Meta✴ и Microsoft уже увеличили срок эксплуатации имеющегося оборудования с трёх–четырёх до шести лет.

Источник изображения: Google

По словам Капура, оптимизированная для ИИ-нагрузок инфраструктура составляет лишь небольшой процент от общего объёма облачных ресурсов компании, хотя темпы её роста гораздо выше, чем у других сегментов. Капур сообщил, что в течение следующих 12 мес. компания развернёт несколько ИИ-кластеров. Microsoft Azure и Google Cloud Platform заявили WSJ, что тоже работают над тем, чтобы сделать ИИ-инфраструктуру большей частью своего парка. Вместе с тем в Microsoft отметили, что не собираются отказываться от серверов общего назначения, которые по-прежнему ценны для компаний.

А вот Dell ожидает, что высокая стоимость облачных вычислений может подтолкнуть компании к локальному развёртыванию систем. «Существующие экономические модели, в первую очередь, публичной облачной среды, не были оптимизированы для того типа спроса и уровня активности, который мы увидим, когда люди перейдут на ИИ-системы», — заявил технический директор Dell Джон Роес (John Roese). По его словам, в локальной среде компании смогут сэкономить на расходах на сеть и хранение данных. С этим не согласны облачные провайдеры, утверждающие, что у них есть доступные по цене предложения, и что в долгосрочной перспективе on-premise системы обойдутся дороже в связи с необходимостью обновления оборудования.

HPE и вовсе строит собственный публичный облачный сервис для обучения моделей ИИ на базе суперкомпьютера, который будет доступен во второй половине 2023 года. «Он специально создан для крупномасштабных сценариев использования ИИ», — заявил Джастин Хотард (Justin Hotard), исполнительный вице-президент и глава сегмента HPC & AI. Впрочем, поставщики оборудования сходятся во мнении, что ИИ-индустрия всё ещё находится на начальном этапе, и что в конечном итоге решение может быть гибридным, когда только часть вычислений будет выполняться в облаке.