Стартап Lambda Labs, специализирующийся на предоставлении в аренду облачных ИИ-мощностей, заключил партнёрство с крупнейшей южнокорейской телекоммуникационной компанией SK Telecom (SKT), пишет DataCentre Dynamics. В рамках сотрудничества SK Telecom до конца года развернёт облачную ИИ-платформу Lambda AI Cloud в дата-центре SK Broadband в Касане (Gasan). Со временем планируется разместить в ЦОД тысячи ускорителей.

«SKT разделяет наше видение того, как сделать GPU-вычисления такими же повсеместными, как электричество», — говорит генеральный директор и соучредитель Lambda Стивен Балабан (Stephen Balaban). «Учитывая быстрый темп инноваций в области ИИ, происходящих в Южной Корее, мы рады сотрудничать с SKT в их миссии по превращению своей компании и страны в глобальную ИИ-державу».

ЦОД в Касане был запущен в 2021 году. На тот момент он имел ёмкость 46 МВт и площадь 69,3 тыс. м². SKT говорит, что сейчас площадка предлагает до 44 кВт на стойку. SK Broadband также управляет дата-центрами в Сочхо (Seocho), Илсане (Ilsan) и Пундангу (Bundang). «Мы построим крупнейший в Корее кластер ускорителей, чтобы повысить конкурентоспособность национального ИИ, и выйдем на мировой рынок», — сказал Ким Кён Док (Kim Kyeong Deog), вице-президент и глава корпоративного подразделения SK Telecom.

Источник изображения: Lambda Labs

Какие именно ускорители будут использоваться в ИИ-облаке, не уточняется, хотя Lambda традиционно полагается на чипы NVIDIA. SK Group владеет долями в южнокорейских разработчиках ИИ-ускорителей Sapeon и Rebellions, которые объединятся под началом SK, чтобы вместе противостоять NVIDIA. В свою очередь в прошлом месяце SKT объявила об инвестировании $200 млн в американскую компанию Smart Global Holdings (Penguin Solutions), которая занимается ИИ- и HPC-инфраструктурой. А для Lambda сотрудничество с SKT стало первым за пределами Северной Америки, где компания управляет двумя ЦОД.

На прошлой неделе Wiwynn, поставляющая серверы и комплектующие для гиперскейлеров, подала в Калифорнии иск к X (бывшую Twitter), обвинив последнюю в нарушении соглашения о поставках оборудования, подписанного ещё в 2014 году и до недавних пор соблюдаемого соцсетью. По данным DigiTimes, в материалах иска были раскрыты подробности взаимоотношений компаний. X, судя по всему, более не является клиентом Wiwynn, свои последние ИИ-серверы соцсеть покупала у Dell и Supermicro.

Заявляется, что с ноября 2022 года X прекратила платить Wiwynn и отказалась выполнять ранее взятые обязательства. Из-за этого Wiwynn пошла на обострение отношений с бывшим партнёром 16 августа 2024, потребовав компенсаций. Судя по материалам жалобы, политика X грозила Wiwynn потенциальными потерями в размере $101 млн — это соответствует 1,32 % всей выручки последней в 2023 году. Для смягчения потерь компании пришлось срочно продавать некоторые комплектующие, снизив прямые потери до $61 млн или 0,79 % выручки. По данным источников DigiTimes, Wiwynn уже некоторое время занимается решением данной проблемы, так что значительной части потерь, похоже, удалось избежать.

Источник изображения: David Clode/unsplash.com

24 сентября 2014 года Wiwynn и X подписали соглашение Master Purchase Agreement (MPA), которое, в частности, покрывало поставки серверного оборудования. MPA предусматривало предварительный прогноз будущих заказов Twitter. На основе прогноза Wiwynn готовила список компонентов, закупки которых осуществлялись только после письменного одобрения со стороны Twitter. По условия соглашения, X несла ответственность за неиспользованное «железо».

В последующие восемь лет компании соблюдали условия соглашения, а X (Twitter) добросовестно платила за продукты, поставлявшиеся партнёром. Последний одобренный и подписанный Twitter заказ предполагал закупку компонентов на $120 млн. В ноябре 2022 года, после перехода соцсети к Илону Маску (Elon Musk), который объявил о намерении урезать затраты на IT-инфраструктуру на $1 млрд/год, X прекратила оплачивать счета, в том числе за уже поставленное оборудование. Wiwynn безуспешно пыталась наладить контакт с X, стараясь получить платежи и решить вопросы с поставкой компонентов в целом, но ответа не последовало.

Wiwynn попыталась минимизировать возможные убытки, отменив заказы на поставки компонентов приблизительно на $40 млн и вернув около $19 млн путём продажи неиспользованных компонентов или установки их в оборудование других заказчиков. Тем не менее, многие компоненты были высокоспециализированными и найти им другое применение оказалось нелегко или вовсе невозможно, что и стало причиной судебного иска. Забавно, что на фоне всевозможных тяжб за каждый доллар, в X нашёлся полностью готовый к работе, но простаивающий кластер некогда дефицитных ускорителей NVIDIA V100.

Компания AAEON анонсировала одноплатный компьютер UP Squared 7100, подходящий для построения различных индустриальных устройств, встраиваемых систем и пр. В основу новинки положена аппаратная платформа Intel Alder Lake-N. Кроме того, говорится о совместимости с процессорами Intel Atom x7000RE поколения Amston Lake (такие модификации платы станут доступны с I квартала 2025 года).

На первом этапе UP Squared 7100 предлагается в версиях с чипом Intel Processor N100 (4C/4T; до 3,4 ГГц; 6 Вт) и Intel Processor N97 (4C/4T; до 3,6 ГГц; 12 Вт). Объём оперативной памяти LPDDR5 может достигать 16 Гбайт, вместимость флеш-модуля eMMC — 128 Гбайт.

В оснащение входят слот M.2 2230 E-Key (PCIe x1, USB 2.0 x1) для адаптера Wi-Fi и разъём M.2 2280 M-key (PCIe x2) для SSD. Есть двухпортовый контроллер 1GbE (гнёзда RJ-45) и модуль TPM 2.0. Предусмотрены три порта USB 3.2 Gen2 Type-A, интерфейсы HDMI 2.0b и DisplayPort 1.2, коннектор eDP и 40-контактная колодка GPIO. Могут быть также задействованы два последовательных порта RS-232/422/485 и два порта USB 2.0.

Источник изображения: AAEON

Одноплатный компьютер имеет размеры 85,6 × 90 мм и весит около 190 г. Диапазон рабочих температур — от 0 до +60 °C. При необходимости на обратной стороне изделия может быть закреплён радиатор охлаждения. Кроме того, предусмотрен коннектор для подключения вентилятора. Питание (12 В) подаётся через DC-разъём. Говорится о совместимости с Microsoft Windows 10/11, Ubuntu 22.04 LTS и Yocto Linux 5.1.

Компания ATP Electronics анонсировала индустриальные SSD семейства N751Pi в форм-факторе M.2 2280, рассчитанные на эксплуатацию в широком температурном диапазоне — от -40 до +85 °C. Устройства выполнены на основе флеш-чипов 3D TLC NAND, которые функционируют в режиме pSLC (pseudo SLC).

В серии N751Pi представлены обычные модели и версии с увеличенным ресурсом: количество циклов записи/стирания (P/E) у них достигает соответственно 100 тыс. и 150 тыс. Такие накопители способны гарантированно хранить информацию при температуре 55 °C в течение года. Вместимость у всех новинок варьируется от 80 Гбайт до 1,28 Тбайт. Заявленное значение MTBF (средняя наработка на отказ) превышает 2 млн часов.

Скорость последовательного чтения информации у всех моделей достигает 6450 Мбайт/с, скорость последовательной записи — 6100 Мбайт/с у варианта ёмкостью 1,28 Тбайт и 6050 Мбайт/с у всех других версий. Величина IOPS (операций ввода/вывода в секунду) у накопителя на 1,28 Тбайт составляет до 1,050 млн при произвольном чтении данных и 1,200 млн при произвольной записи. У всех прочих модификаций эти показатели достигают 1,090 млн и 1,107 млн соответственно.

Источник изображения: ATP Electronics

По запросу заказчика накопители могут быть оборудованы радиатором охлаждения толщиной 4 или 8 мм. Реализована защита от потери питания (PLP). Заявлена поддержка TCG Opal 2.0 и шифрования AES-256. Все устройства обеспечиваются пятилетней гарантией.

Компания Exascend объявила о расширении семейств индустриальных накопителей SA4, SI4 и SE4, в которые входят SSD в различных форм-факторах с интерфейсом SATA-3. Во всех этих сериях появилась SFF-модель вместимостью 15,36 Тбайт на основе чипов флеш-памяти 3D TLC NAND.

Все три новинки заключены в корпус толщиной 7 мм. Скорость последовательного чтения информации достигает 560 Мбайт/с, скорость последовательной записи — 535 Мбайт/с. Реализована поддержка TCG Opal 2.01 и AES-256. Средняя наработка на отказ (величина MTBF) достигает 2 млн часов.

Источник изображения: Exascend

В устройствах применена технология непосредственной записи в TLC-память (write-to-TLC) для поддержания стабильной скорости чтения и записи: это позволяет компенсировать падение производительности при исчерпании кеша SLC. Имеется встроенная защита от потери питания (PLP).

У моделей SA4 и SI4 диапазон рабочих температур простирается от -40 до +85 °C. Показатель IOPS (операций ввода/вывода в секунду) при произвольных чтении и записи данных блоками по 4 Кбайт находится на уровне 97 тыс. и 26 тыс. соответственно. При этом для изделий серии SA4 предусмотрено специальное покрытие для защиты от негативных воздействий окружающей среды. Устройства рассчитаны на 0,6 полных перезаписи в сутки (показатель DWPD) на протяжении трёх лет.

Накопитель SE4, в свою очередь, имеет диапазон рабочих температур от 0 до +70 °C. Величина IOPS составляет до 97 тыс. при чтении и до 18 тыс. при записи. Значение DWPD — 0,6 на протяжении пяти лет.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Спрос на CPU-мощности в ключевых китайских облаках Alibaba Cloud и Tencent Cloud выровнялся и теперь клиентов больше интересуют ИИ-ускорители, сообщает The Register. Рост спроса на предложения, связанные с ИИ, зарегистрировала и Lenovo.

На прошлой неделе Alibaba и Tencent опубликовали квартальную отчётность, выручка Alibaba Cloud выросла год к году на 6 % до $3,7 млрд. Tencent не раскрывает показатели гиперскейл-сегмента, но отмечает рост спроса на облачные сервисы, благодаря чему квартальные показатели подразделения Business Services выросли год к году на «десятки процентов».

Представитель Tencent объявил инвесторам, что бизнес по аренде ИИ-ускорителей переживает настоящий бум. Впрочем, абсолютные показатели достаточно скромные в сравнении с американским рынком, поскольку у КНР меньше хорошо финансируемых ИИ-стартапов. По некоторым данным, местные стартапы часто располагают $1–$2 млрд, тогда как в США объём инвестиций может достигать и $10–$90 млрд. Tencent в любом случае не теряет клиентов даже на фоне замещения CPU на GPU.

В Alibaba сообщают, что спрос на ИИ-продукты и связанные технологии очень большой, причём он всё ещё далёк от удовлетворения. Для Alibaba Cloud во II половине 2024 года прогнозируется двузначный рост в процентах и большая часть выручки придётся на ИИ-продукты. При этом в Alibaba констатируют, что спрос на традиционные вычисления в облаке на базе классических процессоров ограничен, большая часть роста связана именно с ИИ-продуктами на основе ускорителей.

Источник изображения: Growtika/unsplash.com

В Lenovo тоже сообщили, что в подразделении Infrastructure Solutions Group (ISG) зарегистрирован рекордный рост выручки до $3,2 млрд — это на 65 % выше год к году, частично благодаря спросу на ИИ-решения, причём и на базе обычных серверов, и на базе систем с ИИ-ускорителями. Инвесторам объявили, что оживлённые вложения в ИИ-инфраструктуру и улучшение поставок ускорителей помогут компании вырасти.

Пока же ISG отчиталась о квартальных убытках в объёме $37 млн. Впрочем, это лучше, чем $60,4 млн убытков в аналогичном квартале прошлого года и $97 млн в прошлом квартале. В ходе отчёта экспертов заинтересовало, почему рост выручки на 65 % не привёл к прибыльности соответствующего бизнеса. В самой компании обещают дальнейшую оптимизацию бизнеса в соответствии с требованиями эры гибридных и ИИ-вычислений. Другими словами, не исключены увольнения и/или сокращение продуктовых линеек.

Alibaba Group Holding Limited сообщила финансовые результаты II квартала 2024 года, закончившегося 30 июня. Выручка компании выросла год к году на 4 % до ¥243,2 млрд ($33,5 млрд). Чистая прибыль (GAAP) составила ¥24,0 млрд ($3,3 млрд) или ¥1,24 ($0,17) на акцию, что на 27 % и 26 % меньше по сравнению с прошлым годом соответственно, в основном из-за снижения доходов от операций и обесценивания инвестиций.

Скорректированная чистая прибыль (Non-GAAP) за квартал составила ¥40,7 млрд ($5,6 млрд), что на 9 % меньше результата за II квартал 2023 года. Скорректированная разводнённая прибыль на акцию (Non-GAAP) составила ¥2,05 ($0,28) — снижение год к году на 5 %.

Источник изображений: Alibaba

Облачное подразделение Cloud Intelligence Group увеличило выручку на 6 % — с ¥25,1 млрд во II квартале 2023 года до ¥26, 5 млрд ($3,7 млрд) в отчётном. EBITA подразделения облачных вычислений выросла на 155 % в годовом исчислении до ¥2,3 млрд ($322,15 млн). Было отмечено, что в основном рост показателей был достигнут благодаря ИИ-услугам.

Гендиректор Alibaba Эдди Ву (Eddie Wu) сообщил, что во II половине 2024 года Alibaba Cloud покажет двузначный рост в процентах, причём большая его часть будет обеспечена за счёт решений ИИ. «Среди наших клиентов наблюдается очень, очень высокий спрос на ИИ и продукты, связанные с ИИ», — отметил он, добавив, что «спрос всё ещё далёк от удовлетворения». Ву сообщил, что, если рассматривать отрасль в целом, спрос на традиционные облачные вычисления на базе CPU относительно ограничен, и большая часть роста сейчас достигается благодаря разработке продуктов ИИ на базе GPU/ускорителей.

Гендиректор подчеркнул, что во II квартале рост выручки от реализации продуктов, связанных с ИИ, исчислялся трёхзначными числами в процентах. Он сообщил, что фирменные большие языковые модели (LLM) Alibaba получают всё более широкое распространение. В этом году Alibaba Cloud также выступила в качестве основного поставщика облачных услуг для Олимпийских игр, предоставив облачные вычисления и ИИ-услуги для Olympic Broadcasting Services (OBS).

Ву сообщил, что компания продолжит инвестировать в ИИ высокими темпами «в течение следующих нескольких кварталов». В этом году Alibaba снизила стоимость своих облачных сервисов, причём в некоторых случаях снижение для китайских клиентов составило 55 %, что позволило ей вернуть клиентов, ушедших ранее к конкурентам, таким как Tencent, JD.com и Baidu.

Новые данные Synergy Research Group свидетельствуют о том, что на 20 ключевых рынков ЦОД гиперскейлеров приходится 62 % всей IT-ёмкости. Портал агентства сообщает, что только на Северную Вирджинию и Пекин с прилегающими территориями приходится 22 %. В пятёрку вошёл регион «Большого Дублина» и американские штаты Орегон и Айова, а также Шанхай с окрестностями. Из 20 основных рынков 13 расположены в США, 4 — в Азиатско-Тихоокеанском регионе и 3 — в Европе.

Доля рынков, не попавших в Топ-20, составляет ещё 18 %. В этом сегменте лучше показали себя Европа и Азиатско-Тихоокеанский регион. Преобладание в двадцатке регионов США объясняется тем, что почти 60 % мировых гиперскейлеров родом именно отсюда, включая четырёх крупнейших. Кроме того, на США приходится почти половина выручки от облачных сервисов. Прогнозируется, что в дальнейшем США и Китай продолжат доминировать, хотя страны вроде Малайзии, Индии и Испании постепенно укрепляют свои позиции.

Источник изображения: Synergy Research Group

Исследование основано на анализе показателей ЦОД для 19 крупнейших облачных и IT-компаний, предоставляющих различные интернет-сервисы, включая ключевых операторов SaaS, IaaS и PaaS-услуг, а также поисковые службы, социальные сети, представителей сектора электронной коммерции и игрового бизнеса. В числе лидеров — крупнейшие облачные провайдеры, включая Amazon, Microsoft и Google. Каждый из них к тому же имеет ЦОД почти во всех регионах мира. На «большую тройку» облаков приходится 60 % всей ёмкости ЦОД гиперскейл-класса. За ней следуют Meta✴, Alibaba, Tencent, Apple, ByteDance и «малые гиперскейлеры».

В Synergy Research Group сообщается о строительстве и планировании ещё 510 ЦОД на разных этапах. По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), на выбор места для инфраструктуры гиперскейлеров влияет ряд факторов, включая близость клиентов, лёгкость ведения дел, местные финансовые льготы, политическая стабильность и минимальные естественные угрозы. Именно поэтому крупнейшие экономические хабы вроде Лондона и Нью-Йорка по совокупности всех факторов могут уступать американской сельской глубинке в Орегоне, Айове и Небраске.

Хотя в ближайшие годы определяющие факторы для размещения могут остаться в основном прежними, приоритеты при выборе мест могут измениться в пользу развивающихся рынков вроде Юго-Восточной Азии и Латинской Америки. Недавно Synergy Research Group также сообщала, что на долю гиперскейлеров приходится уже более 40 % ёмкости всех дата-центров в мире.

Компания Xperi объявила о заключении соглашения по продаже своего подразделения Perceive, которое занимается разработкой специализированных ИИ-чипов. Покупателем является Amazon, сумма сделки составляет $80 млн в виде денежных средств. Завершить поглощение планируется до конца 2024 года.

Perceive со штаб-квартирой в Сан-Хосе (Калифорния, США) создаёт ИИ-решения для работы с большими языковыми моделями (LLM) на периферийных устройствах. Такое оборудование обычно обладает ограниченными возможностями в плане вычислительных ресурсов, средств подключения и хранения данных. Чипы Perceive проектируются с учетом особенностей edge-платформ.

В частности, Perceive разработала процессор Ergo AI. Утверждается, что он позволяет запускать «нейронные сети ЦОД-класса» даже на устройствах с самыми жёсткими требованиями к энергопотреблению. Это могут быть системы конференц-связи и носимые гаджеты. Отмечается, что Ergo AI может поддерживать самые разные ИИ-нагрузки — от классификации и обнаружения объектов до обработки аудиосигналов и языка.

Источник изображения: Perceive

Как именно Amazon намерена использовать решения Perceive, не уточняется. Но известно, что Amazon приобретает разработчика ИИ-чипов через своё подразделение Devices & Services, в которое входят голосовой помощник Alexa, интеллектуальные колонки и устройства серий Echo и Fire TV.

Ожидается, что сделка не потребует одобрения со стороны регулирующих органов. После поглощения большинство из 44 сотрудников Perceive присоединятся к Amazon. Perceive, которую возглавляют со-генеральные директоры Мурали Дхаран (Murali Dharan) и Стив Тейг (Steve Teig), имеет сотрудников в США, Канаде, Ирландии, Румынии и Эстонии. Лаборатория Perceive в Бойсе (Айдахо, США) продолжит функционировать.

Нужно отметить, что подразделение Amazon Web Services (AWS) уже не один год разрабатывает собственные аппаратные решения для ИИ-задач и облачных платформ. Это, в частности, чипы семейства Graviton и ИИ-ускорители Trainium. В конце 2023 года дебютировало изделие Graviton4 с 96 ядрами Arm для широкого спектра нагрузок. К выпуску готовится мощный ускоритель Trainium 3, энергопотребление которого может достигать 1000 Вт.