Хотя проблемы с поставками электронных компонентов в последнее время постепенно отходят на второй план, в некоторых секторах IT-индустрии они так и не решены до конца. Как сообщает Network World со ссылкой на ассоциацию профессионалов рынка ЦОД (AFCOM), 44 % опрошенных операторов дата-центров сталкиваются с перебоями или отключениями, вызванными дефицитом самых необходимых запасных частей и компонентов.

Примечательно, что в 2021 году о подобных проблемах говорили только 25 % опрошенных, причём ситуация усугубляется стремлением многих операторов ЦОД расширять свой бизнес ускоренными темпами. Как сообщает AFCOM в докладе State of the Data Center 2023, 94 % опрошенных столкнулись с теми или иными проблемами при организации поставок для своих ЦОД, 59 % — с дефицитом основного оборудования вроде серверов и коммутаторов, 51 % — систем энергоснабжения, включая генераторы и ИБП, 34 % жалуются на нехватку систем безопасности, в том числе защищённых дверей и камер, а 35 % — на дефицит строительных материалов вроде бетона. Некоторые операторы сталкиваются с несколькими проблемами сразу.

Источник изображения: dendoktoor/pixabay.com

По мнению экспертов, в последнее время многие инвестиционные компании приобрели дата-центры и теперь пытаются нарастить их мощности настолько быстро, насколько возможно, что тоже усугубляет дефицит. Иногда доходит до того, что почти готовые ЦОД не могут ввести в эксплуатацию из-за одного компонента. Например, в некоторых случаях ИБП и генераторы доставляют 50 недель вместо привычных ранее 8-10, а на поставку чиллеров может уйти и 70 недель — почти полтора года.

При этом сами операторы превращают ситуацию на рынке из плохой в катастрофическую, скупая комплектующие на всякий случай и скапливая запасы фактически ненужного оборудования на складах. Дефицит больше затронул гиперскейлеров и колокейшн-сервисы, чем корпоративных заказчиков с локальными ЦОД. Последние настроены эксплуатировать оборудование как можно дольше и чаще готовы неспешно ожидать поставок. Впрочем, действительно рекомендуется иметь некоторый запас необходимых запчастей на случай экстренных ситуаций.

Эксперты рекомендуют искать поставщиков-партнёров, которые имеют чёткий план на случай перебоев с поставками по воздуху или железным дорогам. Не стоит отказываться и от рынка б/у оборудования — даже устаревшее на несколько поколений и несущее другие проблемы «железо» во многих случаях лучше, чем полное отсутствие оборудования. Этот рынок тем более стоит рассматривать потому, что гиперскейлеры довольно часто поставляют на него оборудование.

Наконец, одним из важнейших советов является приобретение схожего оборудования у разных вендоров. Известно, что многие предпочитают приобретать железо одного производителя, но в ситуации, когда выбирать не из чего, особо разборчивым быть не приходится.

Эбен Кристофер Аптон, основатель и директор по программному обеспечению Raspberry Pi Foundation, объявил о постепенном увеличении объёмов производства одноимённых одноплатных компьютеров. Как сообщает The Register, он пообещал довести количество выпускаемых изделий до 1 млн единиц в месяц.

Дефицит Raspberry Pi сформировался в конце 2021 года и начал ослабевать только к концу 2022-го. Проблемы с поставками этих популярных мини-компьютеров возникли из-за пандемии COVID-19 и глобальной нехватки полупроводниковой продукции. В пике стоимость модели 4B достигала €100–€150 в зависимости от объёма набортной памяти. Энтузиасты даже создали трекер для отслеживания доступности «малинки» в онлайн-магазинах.

Источник изображения: Raspberry Pi Foundation

Отмечается, что в I квартале 2023 года отгрузки Raspberry Pi оказались на уровне 800 тыс. штук — это худший результат с 2015 года. Обычно такое количество устройств потребители приобретают за один месяц. Однако уже в мае ситуация начала стабилизироваться: объём производства составил примерно 600 тыс. единиц. В июне этот показатель планируется довести до 800 тыс., а в июле — до 1 млн. Аптон заявил, что производство будет оставаться на этом уровне «столько, сколько необходимо», чтобы удовлетворить спрос и закрыть невыполненные заказы, которые сформировались в условиях дефицита.

Нехватка электронных компонентов привела к росту стоимости одноплатных компьютеров, включая Raspberry Pi 4, Raspberry Pi Compute Module 4 и Raspberry Pi Zero. Ситуацией смогли воспользоваться конкуренты, но и они были вынуждены бороться с дефицитом и даже менять компонентную базу. Несмотря на все сложности, Аптон выразил уверенность, что нехватка Raspberry Pi осталась в прошлом, а 2023-й станет «самым сильным годом» для одноплатных компьютеров.

Компания Inspur и другие китайские производители серверов повысили цены на выпускаемые серверы для ИИ, сообщает ресурс DigiTimes со ссылкой на местные СМИ,. Это решение связано с введением США ограничений на поставки в Китай передовых ускорителей вычислений компании NVIDIA.

Ещё в апреле этого года из Китая начали поступать сообщения инсайдеров о том, что Inspur повысит цены на свои серверы ИИ примерно на 20 % после того, как NVIDIA прекратила из-за американских санкций поставки в Поднебесную ускорителей NVIDIA A100 и H100. Источники китайского издания The Paper, осведомлённые о бизнесе китайского производителя суперкомпьютеров Sugon, недавно также подтвердили рост цен на его ИИ-серверы, но не указали насколько значительным было увеличение стоимости этих продуктов.

Впрочем, из Китая поступает и другая информация. Некоторые источники DigiTimes сообщают, что поставщики серверов повысили цены только на оборудование на базе ИИ-ускорителей NVIDIA, а цены на другие серверные продукты остались прежними.

Источник изображения: Inspur

По данным китайского инвестиционного банка Pacific Securities, в 2022 году на долю топ-8 поставщиков серверов приходилось 92 % китайского рынка серверов ИИ. При этом у лидера рынка Inspur доля составляла 37 %. Согласно раскрытой финансовой информации Inspur, компания NVIDIA была её крупнейшим поставщиком чипов. В 2019 году ведущими поставщиками чипов для Inspur были Intel и NVIDIA.

Проблемы с чипами для серверов в Китае начались в прошлом году после введения США запрета на поставку компаниями NVIDIA и AMD ускорителей вычислений, соответствующих определённым критериям производительности, таких как NVIDIA A100 и H100, а также AMD Instinct MI250.

На североамериканском рынке сложилась необычная ситуация — компании, желающие заполучить колокейшн-мощности, столкнулись с тем, что их либо нет совсем, либо за них придётся платить намного больше, чем обычно. По данным Network World, растущие аппетиты гиперскейлеров ставят под вопрос возможность доступа к необходимой инфраструктуре для всех участников рынка.

Как сообщают эксперты datacenterHawk, на долю гиперскейлеров приходится уже 80 % арендуемых в североамериканских ЦОД мощностей. Особенную активность большие игроки демонстрировали в прошлом и позапрошлом годах, забирая почти все доступные мощности. По мнению экспертов, хотя темпы роста на североамериканском рынке замедлились, спрос на мощности ЦОД остаётся рекордным, поскольку на основных региональных рынках свободны лишь 2,88 % мощностей, на вторичных рынках — 5 %.

Источник изображения: TheDigitalArtist/pixabay.com

Другими словами, свободных мест в ЦОД, особенно на крупных рынках вроде Северной Вирджинии или штата Вашингтон, почти не осталось. Если пару лет назад на рынке имелось до 10 провайдеров, способных предоставить до 4 МВт ёмкости, то теперь таковых не более четырёх, а цены выросли на 5–20 %. Причём мощности часто полностью забронированы гиперскейлерами, что не оставляет возможностей более мелким компаниям.

Источник: datacenterHawk

Операторы не могут удовлетворить спрос, и вряд ли свободные ёмкости вскоре появятся. Одна только Серверная Вирджиния обгоняет по ёмкости сверхкрупных дата-центров Европу и Китай. Хотя операторы работают над расширением своей инфраструктуры, ключевые компоненты — землю, энергию и финансирование — в последние два года становится всё труднее получить, так что темпы строительства падают, а его стоимость — растёт. Эксперты предрекают сохранение такого положения в ближайшие 3–5 лет. Многим компаниям приходится просто оптимизировать свои нагрузки или уменьшать их.

Теперь операторы ищут необходимые ресурсы для развёртывания ЦОД за пределами крупных агломераций и даже вне США — индустрия ЦОД в Латинской Америке переживает стремительное развитие. Во многом это обусловлено прогнозируемым постпандемийным ростом внедрения передовых технологий на континенте, что приведёт и к росту спроса на колокейшн-сервисы в Мексике, Бразилии, Чили и Колумбии в следующее десятилетие. При этом страны вроде Мексики будут не только сами потреблять новые мощности, но и, вероятно, обслуживать близлежащие государства.

Microsoft и Oracle изучают возможность аренды серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для выполнения ИИ-нагрузок крупных облачных клиентов, пишет DataCenter Dynamics со ссылкой на The Information. Уточняется, что решение по сделке Oracle и Microsoft, которая позволила бы решить проблему нехватки серверов с высокопроизводительными ускорителями, пока не принято.

Компании заключили соглашение о сотрудничестве ещё в 2019 году, чтобы предоставить клиентам возможность совместно выполнять вычисления в их облачных сервисах. Это потребовало создания прямых оптоволоконных каналов между ЦОД Oracle и Microsoft. Сформированная инфраструктура может быть использована для совместного использования серверных мощностей, сообщил ресурсу The Information источник, знакомый с этим вопросом.

Microsoft уже некоторое время работает над собственным ИИ-чипами Athena, а пока вынуждена скупать ускорители NVIDIA, которых, судя по всему, ей уже не хватает. У Oracle тоже достаточно тесные отношения с NVIDIA — последняя выбрала именно облако Oracle Cloud Infrastructure (OCI) для первичного запуска сервиса DGX Cloud. Причём зарабатывает на этом сервисе в первую очередь сама NVIDIA.

Источник изображения: Microsoft

Ранее сообщалось, что Microsoft ограничивала доступ к ИИ-серверам для ряда своих внутренних команд, чтобы отдать ресурсы своим клиентам. Одна из таких компаний — OpenAI, разработавшая ИИ-чат-бот ChatGPT и нейронную сеть Dall-E. Microsoft инвестировала в OpenAI миллиарды долларов, получив взамен эксклюзивную лицензию на предоставление её услуг в облаке Azure. Как сообщают источники, Oracle выясняла, возможна ли перепродажа решений OpenAI напрямую её клиентам по аналогии с тем, как она перепродаёт пакет приложений Microsoft 365.

Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).

Возникшие в связи с пандемией COVID-19 проблемы в цепочках поставок продемонстрировали зависимость индустрии ЦОД от глобальных рынков. Как сообщает Data Center Knowledge со ссылкой на аналитиков, после пандемии проблем с поставками должно стать меньше, так как сроки доставки сокращаются, а поставщики научились справляться со сложностями. Однако, по данным Uptime Institute, для рынка дата-центров перспективы не столь радужны. В недавнем обзорном отчете организация пришла к выводу, что «операторы ЦОД продолжают сталкиваться со значительными препятствиями в цепочке поставок».

Согласно проведённому опросу, количество сбоев в цепочке поставок за последний год увеличилось. Каждый пятый оператор сообщает о серьёзных задержках или сбоях в своих закупках за предыдущие 18 мес. В конце 2022 года наибольшие проблемы были с поставками систем охлаждения залов и электрооборудования, в частности, ИБП, генераторов и распределительных устройств. Порядка 40 % участников опроса сообщили, что ищут дополнительные источники поставок. Хотя более половины респондентов говорят о медленном улучшении ситуации, количество операторов, столкнувшихся с перебоями или задержками в поставках, за последний год увеличилось примерно на 60 %.

Как отмечено в исследовании, геополитическая напряжённость — особенно между условным Западом во главе с США и Китаем и, в меньшей степени, Россией — порождает дополнительные угрозы. Даже с более диверсифицированными поставками и более высокими целевыми запасами индустрия ЦОД всё равно остаётся особенно уязвимой для связанных с этим угроз. Следует учесть, что в отличие от пандемии, стихийного бедствия или экономического кризиса, возникновение и последствия геополитических событий сложнее смоделировать и, следовательно, сложнее разработать эффективные планы на случай непредвиденных обстоятельств.

Источник: Uptime Institute Journal

В Uptime Intelligence назвали две основные области, в которых сочетание глобальной взаимозависимости и концентрации сделают современную цифровую инфраструктуру уязвимой в случае дальнейшего ухудшения текущей геополитической обстановки — это цепочки поставок полупроводников и подводные кабельные системы.

Производство полупроводников охватывает тысячи компаний из самых разных отраслей, причём на каждом этапе лишь небольшое количество высококвалифицированных поставщиков может обеспечить требуемые стандарты качества и производительности. И, как отметили исследователи, «ни одна страна или торговый блок — независимо от того, насколько они велики или богаты ресурсами — не являются полностью самодостаточными и не станут таковыми в разумные сроки и с разумными экономическими затратами».

Ещё одной проблемой является уязвимость подводных волоконно-оптических кабелей. В настоящее время существует более 500 международных и внутренних подводных сетей, протяжённость которых делает очень сложной их защиту от потенциальных угроз. Вдобавок ко всему эта инфраструктура оказалась под угрозой и из-за климатических изменений. При этом через подводные ВОЛС проходит более 90 % глобального интернет-трафика.

Американский поставщик сетевого оборудования корпоративного класса Cisco объявил итоги работы во II квартале 2023 финансового года, завершившемся 28 января. Выручка компании составила $13,6 млрд, что на 7 % больше по сравнению с результатом аналогичного квартала 2022 финансового года, равного $12,7 млрд и выше консенсус-прогноза аналитиков ($13,4 млрд).

Чистая прибыль (GAAP) равна $2,77 млрд, или $0,67 на акцию, что на 6 % меньше показателей предыдущего года, равных $2,97 млрд и $0,71 соответственно. Прибыль (Non-GAAP) равна $3,6 млрд (рост на 3 %), прибыль на акцию — $0,88, что на 5 % больше показателя II квартала 2022 финансового года ($0,84) и больше прогноза аналитиков, опрошенных FactSet ($0,85). Выручка компании от продажи продукции увеличилась на 9 %, с $9,4 млрд до $10,2 млрд.

Источник изображения: Cisco

Сервисная выручка выросла на 2 %, с $3,37 млрд до $3,44 млрд. Общая выручка от поставок ПО выросла на 10 % по сравнению с предыдущим финансовым годом, а доход от подписки на ПО увеличился на 15 %. Задолженность компании по поставкам ПО по-прежнему составляет около $2 млрд, о чем она сообщила в прошлом году. В III финансовом квартале Cisco прогнозирует рост выручки в годовом исчислении на 11–13 %.

«Несмотря на то, что количество компонентов для некоторых продуктовых областей остаётся крайне ограниченным, мы зафиксировали общее улучшение в цепочке поставок», — сообщил гендиректор Cisco Чак Роббинс (Chuck Robbins). Некоторое улучшение поставок в отчётном квартале отметила компания Arista. Компания Juniper Networks тоже полагает, что к концу года в цепочке поставок наступят улучшения.

В связи с продолжающимся дефицитом компонентов Cisco пришлось пойти на изменение конструкции некоторых изделий. По словам Роббинса, Cisco сократила объём невыполненных работ на 6 % по сравнению с предыдущим кварталом, но он не назвал точные цифры. Компания прогнозирует, что к концу финансового года объём невыполненных работ будет по-прежнему примерно вдвое больше обычного. В феврале прошлого года Cisco оценивала его почти в $14 млрд.

Команда Raspberry Pi сообщила о том, что ситуация в каналах поставок электронных компонентов улучшается, а потому дефицит одноимённых одноплатных компьютеров начинает постепенно ослабевать. В преддверии праздничного сезона будут доступны Raspberry Pi Zero W, 3A+ и Raspberry Pi 4 с 2 и 4 Гбайт памяти.

О дефиците устройств семейства Raspberry Pi говорилось ещё около года назад. Проблемы с поставками возникли в свете пандемии и глобальной нехватки полупроводниковой продукции. Примерно тогда же глава Raspberry Pi Ltd объявил о первом повышении цен на одноплатные компьютеры. Дефицит особенно сильно ударил по отгрузкам Raspberry Pi 4. Стоимость изделий значительно подскочила, а сроки выполнения заказов выросли до 52 недель. Это отчасти помогло другим производителям одноплатных компьютеров, но даже им пришлось подстраиваться под новые реалии, корректируя компонентную базу.

Источник изображения: Raspberry Pi

Разработчики смогли выделить немногим более 100 тыс. устройств семейств Raspberry Pi Zero W, 3A+ и Raspberry Pi 4 для продаж поштучно. Ещё одна хорошая новость заключается в том, что поставки одноплатных компьютеров восстановятся до докризисного уровня во II квартале 2023 года, а полностью добиться устранения ограничений на отгрузки решений планируется во втором полугодии 2023 года. Вместе с тем из-за наблюдающихся производственных сложностей цена Raspberry Pi Zero увеличилась с $5 до $10, а Raspberry Pi Zero W — с $10 до $15.

Отчёт, обнародованный компанией Dell’Oro Group, говорит о том, что в III квартале 2022 года выручка от поставок коммутаторов для ЦОД в глобальном масштабе поднялась на 20 % по сравнению с результатом за тот же период 2021-го. Это самый существенный рост в уходящем году.

Рынки Северной Америки, Китая и Азиатско-Тихоокеанского региона продемонстрировали увеличение продаж на двузначные числа процентов, тогда как в регионе EMEA, в который входят Европа, включая Россию, Ближний Восток и Африка, зафиксирован спад. Такая картина объясняется наблюдающимися ограничениями в цепочках поставок, а также снижением спроса в силу макроэкономических вызовов и роста цен на энергоносители.

Основной рост на рынке коммутаторов для дата-центров обеспечили облака и гиперскейлеры. В результате, продажи устройств класса 200G/400G достигли почти 2 млн портов. На долю коммутаторов класса 200G и выше приходится лишь 10 % мировых поставок, но они обеспечили 20 % выручки в III квартале 2022-го.

Источник изображения: Dell’Oro Group

Эксперты прогнозируют, что 200G/400G-решения будут по-прежнему пользоваться спросом среди облачных провайдеров и гиперскейлеров в 2023 году, несмотря на ухудшение макроэкономической ситуации. Однако основной объём продаж по-прежнему приходится на оборудование 25 Гбит/с и 100 Гбит/с, а не 200 Гбит/с или 400 Гбит/с.

Отмечается, что значительный рост продаж коммутаторов для ЦОД в III квартале — это побочный эффект длительного невыполнения заказов, размещённых в прошлом году. За последние месяцы сроки поставки коммутаторов значительно сократились: с более чем года до 30–40 недель. Дефицит, как ожидается, должен исчезнуть к середине следующего года.