Материалы по тегу: ии
23.07.2024 [11:33], Сергей Карасёв
HPE разместила североамериканское ИИ-облако в дата-центре QScaleHPE выбрала компанию QScale в качестве партнёра для размещения своего ИИ-облака в Северной Америке. Инфраструктура, поддерживающая обучение, оптимизацию и развёртывание масштабных ИИ-моделей, базируется в дата-центре QScale Q01 в Квебеке (Канада). Фирма QScale основана в 2018 году Винсентом Тибо (Vincent Thibault), Дэни Перроном (Dany Perron) и Мартином Бушаром (Martin Bouchard) с целью предоставления ресурсов для задач ИИ и НРС. В прошлом году компания привлекла инвестиции от американского оператора Aligned Data Centers. Создание площадки QScale Q01 началось в 2021 году. Комплекс соответствует уровню Tier III. Для питания на 100 % используется энергия из возобновляемых источников. Заявленный коэффициент PUE составляет менее 1,2. Доступны полностью кастомизируемые системы воздушного и жидкостного охлаждения. Во втором случае мощность может превышать 300 кВт на стойку. Кроме того, задействовано естественное охлаждение, поддерживаемое холодным климатом Квебека. HPE является якорным арендатором дата-центра QScale Q01 с 2023 года. Ожидается, что после завершения строительства суммарная мощность этого кампуса составит 142 МВт. Отмечается, что современная инфраструктура QScale позволила HPE минимизировать воздействие своего ИИ-облака на окружающую среду. Энергопотребление удалось снизить приблизительно на 20 % по сравнению с традиционными ЦОД. «Технический опыт QScale и приверженность устойчивому развитию позволили нам в сжатые сроки ввести облачную ИИ-платформу в эксплуатацию», — отметил Майк Вангсмо (Mike Wangsmo), директор направления облачных дата-центров HPE.
23.07.2024 [01:20], Владимир Мироненко
Стартап xAI Илона Маска запустил ИИ-кластер в Теннеси [Обновлено]Илон Маск объявил в соцсети X (ранее Twitter) о запуске стартапом xAI в дата-центре в Мемфисе «самого мощного в мире кластера для обучения ИИ», который будет использоваться для создания «самого мощного в мире по всем показателям искусственного интеллекта к декабрю этого года», пишет Tom's Hardware. Однако, судя по всему, на практике сейчас работает лишь очень небольшая часть кластера. «Отличная работа команды @xAI, команды @X, @Nvidia и компаний поддержки, которые начали обучение с кластером Memphis Supercluster примерно в 4:20 утра по местному времени. 100 тыс. H100 с жидкостным охлаждением в единой RDMA-фабрике — это самый мощный кластер обучения ИИ в мире!», — сообщил миллиардер в своём аккаунте. Как указали в xAI, новая вычислительная система будет использоваться для обучения новой версии @grok, которая будет доступна премиум-подписчикам @x. Ранее появились сообщения о том, что оборудование для ИИ-кластера будут поставлять Dell и Supermicro. Комментируя нынешнее заявление Маска, гендиректор Supermicro Чарльз Лян (Charles Liang) подтвердил, что большая часть оборудования для ИИ-кластера была поставлена его компанией. В мае этого года Маск поделился планами построить гигантский суперкомпьютер для xAI для работы над следующей версией чат-бота Grok, который будет включать 100 тыс. ускорителей Nvidia H100. А в следующем году Илон Маск планирует запустить ещё один кластер, который будет содержать 300 тыс. ускорителей NVIDIA B200. Для его создания Маск намеревался привлечь Oracle, планируя выделить $10 млрд на аренду ИИ-серверов компании, но затем отказался от этой идеи, так как его не устроили предложенные Oracle сроки реализации проекта. Как отметил ресурс Tom's Hardware, новый ИИ-кластер стартапа xAI превосходит все суперкомпьютеры из TOP500 с точки зрения количества ускорителей. Самые мощные в мире суперкомпьютеры, такие как Frontier (37 888 ускорителей AMD), Aurora (60 000 ускорителей Intel) и Microsoft Eagle (14 400 ускорителей NVIDIA), похоже, значительно уступают кластеру xAI. Впрочем, технические детали о сетевой фабрике нового кластера пока не предоставлены. Но, как выясняется, не всё в заявлении Маска соответствует действительности. Аналитик Dylan Patel (Дилан Пател) из SemiAnalysis обвинил Маска во лжи, поскольку в настоящее время кластеру доступно 7 МВт мощности, чего хватит для работы примерно 4 тыс. ускорителей. С 1 августа будет доступно 50 МВт, если xAI наконец подпишет соглашение с властями Теннесси. А подстанция мощностью 150 МВт все ещё находится в стадии строительства, которое завершится в IV квартале 2024 года. Как отмечает местное издание commercial appeal, поскольку речь идёт об объекте мощностью более 100 МВт, для его подключения требуется разрешение коммунальных компаний Memphis Light, Gas and Water (MLGW) и Tennessee Valley Authority (TVA). Контракт на подключение ЦОД к энергосети с TVA не был подписан. Более того, для охлаждения ЦОД, по оценкам MLGW, потребуется порядка 4,9 тыс. м3 воды ежедневно. UPD: Дилан Пател удалил исходный твит, но уточнил текущее положение дел. От энергосети кластер сейчас потребляет 8 МВт, однако рядом с площадкой установлены мобильные генераторы (14 × 2,5 МВт), так что сейчас в кластере активны около 32 тыс. ускорителей, а в полную силу он зарабатает в IV квартале. Если контракт с TVA будет подписан, то к 1 августу кампус получит ещё 50 МВт от сети, а к концу году будет подведено 200 МВт. Для работы 100 тыс. H100 требуется порядка 155 МВт.
22.07.2024 [15:57], Руслан Авдеев
Поставки суперускорителей с чипами NVIDIA GB200 могут задержаться из-за протечек СЖОNVIDIA уже готовилась начать продажи систем на базе новейших ИИ-суперускорителей GB200, однако столкнулась с непредвиденной проблемой — TweakTown сообщает, что в системах жидкостного охлаждения этих серверов начали появляться протечки. Судя по всему, серверы на основе GB200 использовали дефектные компоненты систем СЖО охлаждения, поставляемые сторонними производителями: разветвители, быстросъёмные соединители и шланги. Некорректная работа любого из этих компонентов может привести к утечке охлаждающей жидкости. В случае с моделью GB200 NVL72 стоимостью в $3 млн это может перерасти в большую проблему. К счастью, нарушения в работе новых систем NVIDIA GB200 NVL36 и NVL72 обнаружили до начала массового производства в преддверии запуска поставок ключевым покупателям ИИ-решений. Предполагается, что на сроках поставок проблема не скажется, поскольку её успеют устранить. Впрочем, по данным источников, теперь крупные провайдеры облачных сервисов «нервничают». NVIDIA предлагают свою продукцию всё больше тайваньских производителей, способных заменить бракованные компоненты для серверных систем с GB200. Однако сертификация компонентов — процесс довольно сложный, поскольку многие тайваньские компании не специализировались на их выпуске ещё в недавнем прошлом. Тем не менее, когда NVIDIA объявила, что ускорители следующего поколения получат жидкостное охлаждение, многие производители решили попробовать себя в этой сфере. Тайваньские Shuanghong и Qihong уже имеют хороший опыт в выпуске водоблоков, а теперь расширили спектр разрабатываемых товаров, предлагая разветвители, быстросъемные соединители и шланги. Именно эти компании по некоторым данным сейчас предоставляют необходимые комплектующие для замены бракованных в новых суперускорителях NVIDIA GB200 NVL36 и NVL72. Лидером на рынке серверных СЖО остаётся CoolIT, но её услугами NVIDIA, видимо, решила не пользоваться.
22.07.2024 [12:51], Руслан Авдеев
NVIDIA готовит урезанную версию флагманского ИИ-чипа Blackwell для КитаяNVIDIA работает над новым вариантом представленного весной флагманского ИИ-ускорителя серии Blackwell — теперь для китайского рынка, находящегося под давлением американских санкций. По данным Reuters, вендор работает над тем, чтобы привести оборудование в соответствие с техническими требованиями властей США к поставляемым в Китай полупроводникам. Серию Blackwell компания представила в марте 2024 года. Массовое производство планируется позже в текущем году. Выпускаемый в рамках нового семейства ускоритель B200 до 30 раз производительнее своего предшественника при выполнении некоторых задач. Над выпуском и поставками упрощённого для Китая чипа B20 вендор будет работать совместно с одним из своих крупнейших дистрибьюторов в Китае — компанией Inspur. Источники Reuters пожелали остаться неизвестными, в самой NVIDIA новость пока не комментируют, предпочитают молчать и в Inspur. Вашингтон в очередной раз ужесточил контроль над поставками передовых чипов в Китай в 2023 году, пытаясь предотвратить развитие в Поднебесной собственных суперкомпьютеров. С тех пор NVIDIA разработала три чипа, специально оптимизированных для китайского рынка. Примечательно, что американские санкции помогли компаниям вроде китайского техногиганта Huawei и стартапам вроде Enflame добиться некоторых успехов на китайском рынке ИИ-ускорителей. Появление версии чипа серии Blackwell для Китая, вероятно, поможет NVIDIA избавиться от конкуренции на одном из ключевых рынков. Из-за санкций США за год, закончившийся в январе, выручка NVIDIA в Китае составила 17 % от общемировой, для сравнения, двумя годами ранее на страну приходилось 26 % всех продаж компании. Изначально предназначенный для Китая чип H20, продажи которого начались в этом году, раскупался довольно слабо, поэтому вендору пришлось снизить цену, чтобы сделать его дешевле конкурирующего решения Huawei. Теперь, по данным источников, продажи растут быстрыми темпами. По оценкам экспертов SemiAnalysis, в этом году NVIDIA намерена продать в Китае более 1 млн чипов H20 на сумму свыше $12 млрд. При этом высока вероятность, что американские власти и дальше продолжат ужесточать экспортный контроль, ограничивая поставки передовых ускорителей в КНР. Более того, США хотят, чтобы Нидерланды и Япония всё активнее включались в санкционный процесс, ограничивая с Китаем сотрудничество в области оборудования для производства полупроводников. Также, как сообщают источники, имеются предварительные планы ограничить доступ к наиболее передовым ИИ-моделям. Акции полупроводниковых компаний упали на прошлой неделе на фоне новостей о том, что США оценивают целесообразность введения правила, позволяющего просто запрещать продажи продуктов, выпущенных с помощью американских технологий. UPD: Inspur отрицает совместную работу с NVIDIA над ускорителями B20.
22.07.2024 [08:57], Сергей Карасёв
Mistral AI и NVIDIA представили корпоративную ИИ-модель Mistral NeMo 12B со «здравым смыслом» и «мировыми знаниями»Корпорация NVIDIA и французская компания Mistral AI анонсировали большую языковую модель (LLM) Mistral NeMo 12B, специально разработанную для решения различных задач корпоративного уровня — чат-боты, обобщение данных, работа с программным кодом и пр. Mistral NeMo 12B насчитывает 12 млрд параметров и использует контекстное окно в 128 тыс. токенов. Для инференса применяется формат данных FP8, что, как утверждается, позволяет уменьшить размер требуемой памяти и ускорить развёртывание без какого-либо снижения точности ответов. При обучении модели была задействована библиотека Megatron-LM, являющаяся частью платформы NVIDIA NeMo. При этом использовались 3072 ускорителя NVIDIA H100 на базе DGX Cloud. Утверждается, что Mistral NeMo 12B отлично справляется с многоходовыми диалогами, математическими задачами, программированием и пр. Модель обладает «здравым смыслом» и «мировыми знаниями». В целом, говорится о точной и надёжной работе применительно к широкому спектру приложений. Модель выпущена под лицензией Apache 2.0 и предлагается в виде NIM-контейнера. На внедрение LLM, по словам создателей, требуются считанные минуты, а не дни. Для запуска модели достаточно одного ускорителя NVIDIA L40S, GeForce RTX 4090 или RTX 4500. Среди ключевых преимуществ развёртывания посредством NIM названы высокая эффективность, низкая стоимость вычислений, безопасность и конфиденциальность. UPD 21.08.2024: компании представили Mistral-NeMo-Minitron 8B, более компактную, но не менее эффективную, по словам создателей, версию Mistral NeMo 12B, которая может работать даже на ускорителе NVIDIA RTX.
21.07.2024 [21:35], Руслан Авдеев
К ИИ готов: IXAfrica и Schneider Electric запустили в Кении ЦОД гиперскейл-классаКомпании IXAfrica Data Centres и Schneider Electric ввели в эксплуатацию готовый к работе с ИИ-оборудованием дата-центр гиперскейл-уровня NBOX1. По данным Datacenter Dynamics, заработавший в Найроби (Кения) ЦОД — крупнейший объект такого рода в Восточной Африке. Дата-центр находится на территории принадлежащего IXAfrica кампуса Nairobi Campus площадью 1,7 га в кенийской столице. ЦОД ёмкостью 4,5 МВт соответствует стандарту Tier III и может поддерживать ресурсоёмкие ИИ-нагрузки. В трёх залах расположены 780 серверных стоек. Со временем ёмкость кампуса может вырасти до 22,5 МВт. Пока используется архитектура и решения EcoStruxure for Data Centers от Schneider Electric. Эта же компания поставила и часть энергооборудования. Используемые решения Schneider Electric поддерживают резервирование N+1 с четырьмя независимыми силовыми линиями. Оборудование отвечает как немедленным потребностям IXAfrica, так и долгосрочным целям компании, включая PUE всего кампуса на уровне 1,25 и доступность 99,999 %. Сам кампус IXAfrica в Найроби находится на территории, ранее относящейся к комплексу всё той же Schneider Electric. Helios инвестировала в развитие кампуса $50 млн. Дополнительно IXAfrica подписала соглашение с девелопером Tilsi Developments о покупке порядка 4,5 га для строительства в Найроби второго кампуса ЦОД. Кроме того, анонсировано создание совместного ЦОД Microsoft и G42 с питанием от геотермальных источников, Airtel Africa намерена построить в Найроби собственный ЦОД, а Oracle рассматривает возможность создание в стране облачного региона. Как утверждают представители IXAfrica, Кения представляет собой регион, готовый к появлению гиперскейлеров. Здесь довольно развита цифровая среда, есть доступ к нескольким ВОЛС, имеются доступные источники энергии с низкими углеродными выбросами. Подчёркивается, что в стране стабильный политический климат, а также сильная экономика, которая, как ожидается, в 2024 году вырастет на 5,2 %.
20.07.2024 [21:45], Владимир Мироненко
Tenstorrent начала продажи ИИ-ускорителей Wormhole и рабочие станции на их основеКанадский стартап Tenstorrent приступил к выпуску ИИ-чипов Wormhole. В настоящее время стартап предлагает построенные на них ИИ-ускорители Wormhole n150 и n300, а также рабочие станции TT-LoudBox и TT-QuietBox на их базе. ИИ-ускорители Wormhole n150 и n300 представляют собой двухслотовые FHFL-карты (PCIe 4.0 x16): n150 с одним чипом Wormhole, n300 — с двумя. Wormhole n150 и n300 имеют пассивное охлаждение и теплопакет 160 Вт и 300 Вт соответственно. Процессоры Wormhole были разработаны в 2021 году, но их внедрение происходит только сейчас. Это второе поколение ИИ-ускорителей Tenstorrent, которые придут на смену Grayskull. Wormhole n150 оснащён 72 ядрами Tensix, каждое из которых включает пять ядер RISC-V, поддерживающих различные форматы данных, и 108 Мбайт SRAM — вместе они предоставляют до 262 Тфлопс (FP8). Ускоритель также оснащён 12 Гбайт памяти GDDR6 с ПСП 288 Гбайт/с. У Wormhole n300 таких ядер 128, а частота также равна 1 ГГц. Объём SRAM составляет 192 Мбайт, а внешняя подсистема памяти включает 24 Гбайт GDDR6 с ПСП 576 Гбайт/с. Ускоритель обеспечивает производительность до 466 Тфлопс (FP8). RISC-V ядра Tensix обладают аппаратной и программной поддержкой вертикального и горизонтального масштабирования — объединения множества ядер в единое целое как внутри одного узла, так и за его пределами с другими ядрами Tensix на нескольких чипах Wormhole. Именно эта функциональность, как надеется Tenstorrent, позволит ей отобрать долю рынка у NVIDIA. Впрочем, стоимость новинок тоже невелика: Wormhole n150 предлагается по цене $999, а n300 — за $1399. В рабочих станциях Tenstorrent четыре Wormhole n300 могут работать как один ускоритель, который с точки зрерния ПО выглядит как единый массив ядер Tensix. Впрочем, можно отдать по одному ускорителю каждому пользователю или же одновременно обрабатывать восемь разных ИИ-моделей, причём всё это без использования виртуализации. В состав рабочей станции TT-LoudBox помимо четырёх ускорителей n300 (суммарно восемь чипов Wormhole) входят два восьмиядерных процессора Intel Xeon 4309Y (Ice Lake-SP), 512 Гбайт RAM, NVMe-хранилище ёмкостью 4 Тбайт и пара портов 10 GbE. TT-LoudBox уже поступила в продажу по цене $12 тыс. Рабочая станция TT-QuietBox оснащена четырьмя Wormhole n300 и 16-ядерным AMD EPYC 8124P (Siena). Для отвода тепла от компонентов используется жидкостное охлаждение, а остальные характеристики идентичны TT-LoudBox. Устройство доступно для предзаказа по цене $15 тыс. с поставкой в течение 8–10 недель.
20.07.2024 [14:40], Сергей Карасёв
Разработчик сетевых решений для гиперскейлеров Arrcus привлёк $30 млнКомпания Arrcus, разработчик программных решений для гиперскейлеров, объявила о проведении раунда финансирования на сумму $30 млн, в котором приняла участие NVIDIA. В число других инвесторов вошли Prosperity7 Ventures, Lightspeed, Hitachi Ventures, Liberty Global, Clear Ventures и General Catalyst. Arrcus была основана в 2016 году. Ранее Arrcus привлекла на развитие $138 млн от различных инвесторов. В число партнёров компании входят Amazon Web Services (AWS), Equinix, Edgecore networks, CoreSite и др. Компания специализируется на передовых сетевых технологиях: в числе её продуктов — платформа Leaf-Spine Fabric и решение ACE-AI на основе ArcOS для обслуживания распределенных рабочих нагрузок ИИ. Сетевая платформа ACE (Arrcus Connected Edge), использующая NVIDIA BlueField DPU, позволяет эффективно разгружать, ускорять и изолировать ресурсоемкие приложения, такие как системы обеспечения безопасности или средства управления трафиком. По сути, Arrcus оптимизирует использование распределённой вычислительной инфраструктуры, охватывающей дата-центры, периферийные узлы и гибридные/мультиоблачные среды. Отмечается, что решения Arrcus в сочетании с ИИ-инфраструктурой на базе компонентов NVIDIA позволят обеспечить максимальную эффективность для заказчиков. Кроме того, сотрудничество компаний поможет расширить архитектуру традиционных ЦОД до распределённых конфигураций, основанных на модульной платформе NVIDIA MGX, специально разработанной для построения ИИ-систем на базе CPU, GPU и DPU.
20.07.2024 [14:36], Сергей Карасёв
Gartner: затраты в области ЦОД в 2024 году вырастут почти на четвертьКомпания Gartner опубликовала свежий прогноз по мировому IT-рынку на 2024 год. Аналитики полагают, что расходы в области дата-центров в годовом исчислении увеличатся практически на четверть, что связано со стремительным развитием ИИ и облачных платформ. В 2023 году, по оценкам, общий объём мировой IT-отрасли достиг $4,9 трлн. Из них примерно $236,1 млрд пришлось на сегмент ЦОД. Ещё $974,1 млрд обеспечило ПО корпоративного класса. Затраты в области коммуникационных и IT-сервисов составили примерно по $1,5 трлн. Продажи различных электронных устройств обеспечили $692,8 млрд. По итогам 2024 года, полагают специалисты Gartner, объём мирового IT-рынка увеличится на 7,5 %, достигнув $5,3 трлн. Самым крупным сегментом станут IT-сервисы с расходами на уровне $1,6 трлн (плюс 7,1 % год к году). Расходы в сегменте коммуникационных сервисов прогнозируются на уровне $1,54 трлн с прибавкой в 3,0 %. Софт корпоративного класса принесёт $1,1 трлн, показав рост на 12,6 % в годовом исчислении. В сегменте устройств ожидается прибавка на 5,4 % — до $730,1 млрд. Вместе с тем, полагают аналитики Gartner, наилучшую динамику покажет сектор дата-центров: здесь затраты, согласно прогнозам, подскочат на 24,1 %, составив $293,1 млрд. Столь существенный скачок эксперты связывают с двумя факторами. В частности, компания NVIDIA, которая доминирует на рынке GPU-ускорителей для ИИ-серверов, решила большинство проблем с поставками своих продуктов. Дефицит ослабевает, а поставки решений для ЦОД растут. Вторая причина заключается в том, что ажиотаж вокруг ИИ, в том числе генеративного, вынуждает облачных провайдеров и гиперскейлеров наращивать вычислительные мощности. По оценкам Gartner, затраты на облачные инфраструктуры в 2024 году достигнут $70 млрд, а в 2025-м увеличатся вдвое, составив около $140 млрд. В 2028 году расходы могут подняться до $210 млрд.
20.07.2024 [00:19], Руслан Авдеев
Не виноватый ИИ: Google заявила, что развитие ИИ-сервисов на самом деле не так уж сильно повлияло на её выбросы углекислого газаНе так давно Google опубликовала доклад, в котором признала, что её выбросы CO2 в 2023 году выросли на 13 % год к году и на 48 % в сравнении с 2019 годом. Но главный научный сотрудник Google Джефф Дин (Jeff Dean) заявил, что ИИ напрасно обвиняют в росте выбросов углекислого газа компании, передаёт The Register. Он также подчеркнул, что бизнес по-прежнему намерен полностью перейти на «чистую» энергию к 2030 году. Причинами увеличения выбросов названы рост энергопотребления ЦОД, а также цепочки поставок компании. Однако публика неизбежно стала винить в росте выбросов именно ИИ, в том числе из-за того, что Google стремительно наращивала возможности своих ИИ-систем в последние годы. В интервью Fortune Дин заявил, что ИИ на деле не виноват в растущих выбросах ЦОД, поскольку на него приходится лишь малая часть вычислений, но признал, что этот сегмент растёт быстрыми темпами. Дин подтвердил, что Google не намерена отказываться от своей цели по полному переходу на чистую энергию к концу 2030 года, причём уклончиво добавил, что «прогресс в этом деле — вещь нелинейная». Например, некоторые проекты компании в области поставок безуглеродной энергии могут увенчаться успехом лишь годы спустя после старта. В ESG-докладе Google констатируется, что выбросы Scope 2 (в том числе от поставщиков энергии) увеличились на 37 %, составив 24 % от всех углеродных выбросов компании в 2023 году. При этом в компании утверждают, что все её энергопотребности на 100 % компенсируются закупками мощностей возобновляемых источников. В Google отметили, что она использует собственную методику подсчёта выбросов Scope 2, которая отличается от методики Greenhouse Gas (GHG). Также в докладе Google утверждается, что хотя потребление всех ЦОД компании выросло на 17 %, достигнув 3,5 ТВт∙ч в 2023 году, сегментам бизнеса, связанных с облачными сервисами и поиском, удалось удержать средний показатель использования безуглеродной энергии на уровне 64 %. Каким образом IT-гигант намерен довести этот показатель до 100 %, если его энергетические аппетиты только растут, а ввод новых «зелёных» источников за ними не поспевает, не уточняется. Google — не единственная компания, имеющая проблемы с достижением поставленных экоцелей. Microsoft признаёт, что её выбросы CO2 выросли с в 2020 году на 29,1 %, но оправдывает это необходимостью строительства и оснащения всё большего числа ЦОД для удовлетворения спроса на облачные и ИИ-сервисы. Зато снизить их удалось AWS, хотя к корректности подсчёта выбросов компании тоже есть вопросы. |
|