Материалы по тегу: hardware

26.05.2024 [22:25], Александр Бенедичук

«Гигафабрика» для ИИ: стартап xAI Илона Маска хочет построить суперкомпьютер со 100 тыс. NVIDIA H100

Как сообщает Reuters со ссылкой на The Information, Илон Маск планирует построить гигантский суперкомпьютер для своего ИИ-стартапа xAI для работы над следующей версией чат-бота Grok. Запуск предполагаемого суперкомпьютера ожидается к осени 2025 года, при этом, по словам Маска, xAI может сотрудничать с Oracle.

Для обучения Grok 2 использовалось около 20 тыс. ускорителей NVIDIA H100, а для Grok 3 и более поздних версий потребуется уже 100 тыс. NVIDIA H100. После завершения строительства суперкомпьютер будет как минимум в четыре раза больше самых больших существующих на сегодняшний день GPU-кластеров, утверждается в презентации, сделанной для инвесторов в мае. Семейство ускорителей NVIDIA доминирует на рынке ИИ-чипов для ЦОД, но из-за высокого спроса их может быть трудно приобрести.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Маск основал xAI в прошлом году в качестве конкурента OpenAI и Google. Маск также был соучредителем OpenAI и членом совета директоров до 2018 года. В феврале этого года он подал иск к OpenAI и соучредителям Альтману и Брокману, посчитав, что они нарушили соглашение о некоммерческом характере деятельности.

Постоянный URL: http://servernews.kz/1105429
26.05.2024 [13:24], Руслан Авдеев

Эрик Шмидт: будущие суперкомпьютеры США и Китая будут окружены пулемётами и колючей проволокой и питаться от АЭС

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

 Источник изображения: Joel Rivera-Camacho/unsplash.com

Источник изображения: Joel Rivera-Camacho/unsplash.com

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Постоянный URL: http://servernews.kz/1105432
25.05.2024 [20:50], Сергей Карасёв

EdgeCortix представила ИИ-ускоритель SAKURA-II Edge AI с производительностью до 60 TOPS

Компания EdgeCortix, по сообщению CNX Software, анонсировала ускоритель SAKURA-II Edge AI, предназначенный для выполнения ИИ-задач на периферии. Новинка, как утверждается, способна справляться с обработкой больших языковых моделей (LLM), больших визуальных моделей (LVM) и пр.

В основу изделия положен нейропроцессорный движок с архитектурой Dynamic Neural Accelerator (DNA) второго поколения. Заявленная производительность достигает 60 TOPS на операциях INT8 и 30 Тфлопс на операциях BF16.

 Источник изображений: CNX Software

Источник изображений: CNX Software

Ускоритель может нести на борту 8, 16 или 32 Гбайт памяти LPDDR4x с пропускной способностью 68 Гбайт/с. Есть 20 Мбайт памяти SRAM. Заявленное типовое энергопотребление составляет 8 Вт. Изделие имеет упаковку BGA с размерами 19 × 19 мм. Диапазон рабочих температур простирается от -40 до +85 °C. Для ускорителя доступен программный комплект MERA с поддержкой PyTorch, TensorFlow Lite и ONNX.

Помимо собственно ускорителя SAKURA-II Edge AI, компания EdgeCortix представила решения на его основе. Это, в частности, модуль формата M.2 2280: он использует интерфейс PCIe Gen 3.0 x4, а энергопотребление равно 10 Вт. Доступны модификации с 8 и 16 Гбайт памяти LPDDR4. Стоят такие модули $249 и $299.

Кроме того, выпущены однослотовые низкопрофильные карты расширения с интерфейсом PCIe 3.0 x8. Такие устройства существуют в вариантах с одним и двумя чипами SAKURA-II Edge AI. Во втором случае производительность удваивается и достигает 120 TOPS на операциях INT8 и 60 Тфлопс на операциях BF16. Младшая версия оснащена 16 Гбайт памяти и имеет энергопотребление 10 Вт. Старший вариант несёт на борту 32 Гбайт памяти и обладает энергопотреблением 20 Вт. Цена — $429 и $749 соответственно.

Постоянный URL: http://servernews.kz/1105399
25.05.2024 [20:34], Сергей Карасёв

Infineon готовит блоки питания мощностью до 12 кВт для ИИ-серверов

Компания Infineon Technologies AG поделилась планами по выпуску блоков питания следующего поколения для серверов, ориентированных на выполнение ресурсоёмких задач ИИ и НРС в дата-центрах. Готовящиеся устройства обеспечат высокую мощность и улучшенную эффективность.

Infineon отмечает, что на фоне стремительного развития технологий ИИ возрастает энергетическая нагрузка в ЦОД. Современные ускорители на базе GPU обладают энергопотреблением до 1 кВт, а к концу текущего десятилетия этот показатель, как ожидается, достигнет 2 кВт и более. Это порождает необходимость в создании передовых блоков питания для серверного оборудования.

 Источник изображения: Infineon

Источник изображения: Infineon

На сегодняшний день в ассортименте Infineon присутствуют блоки питания мощностью 3 кВт и 3,3 кВт. К выпуску готовятся решения на 8 кВт и 12 кВт. Утверждается, что разработка новинок стала возможной благодаря интеграции трёх полупроводниковых материалов: кремния (Si), карбида кремния (SiC) и нитрида галлия (GaN). Такая комбинация, по заявлениям компании, позволяет добиться наилучших результатов с точки зрения производительности, эффективности и надёжности в высоконагруженных системах.

Инновационные блоки питания помогут снизить энергопотребление и выбросы CO2, что будет способствовать сокращению эксплуатационных расходов в течение срока службы. По утверждениям Infineon, устройства обеспечивают эффективность до 97,5 %. Удельная мощность увеличена до 100 Вт/дюйм3 по сравнению с 32 Вт/дюйм3 у доступного блока питания на 3 кВт. Это обеспечивает дополнительные преимущества в плане плотности компоновки и экономии средств.

Отмечается, что блок питания мощностью 8 кВт подходит для стоек с ИИ-оборудованием общей мощностью до 300 кВт. Это устройство станет доступно в I квартале 2025 года. О сроках начала продаж модели мощностью 12 кВт пока ничего не сообщается. При этом крупные операторы всё чаще предпочитают варианты с единой DC-шиной на уровне стойки.

Постоянный URL: http://servernews.kz/1105400
24.05.2024 [15:09], Сергей Карасёв

Разработчик «компрессора» для оперативной памяти ZeroPoint получил первые инвестиции

Стартап ZeroPoint Technologies AB, разрабатывающий специализированные аппаратные решения для сжатия данных в высокопроизводительных системах, объявил о проведении раунда финансирования Series A, в ходе которого на развития привлечено €5 млн.

 Источник изображений: ZeroPoint

Источник изображений: ZeroPoint

ZeroPoint — это дочерняя компания Технического университета Чалмерса (Chalmers University of Technology) в Гётеборге (Швеция). Стартап запущен с целью коммерциализации исследований в области методов сжатия данных, которые его соучредители Пер Стенстрём (Per Stenström) и Ангелос Арелакис (Angelos Arelakis) проводили в вузе.

Скорость, с которой серверный процессор может извлекать данные из DRAM, напрямую влияет на его производительность, а значит, и на быстродействие всей системы в целом. При этом, как заявляет ZeroPoint, обычно до 70 % хранимых данных являются избыточными. Одним из способов ускорить процесс получения информации является сжатие. Однако исторически применение этого метода было непрактичным, поскольку даже самые продвинутые алгоритмы компрессии относительно медленны, что сводит на нет любую потенциальную выгоду.

ZeroPoint решает проблему с помощью, как утверждается, первого в своём роде подхода с аппаратным ускорением. Технология сочетает в себе сверхбыстрое сжатие данных без потерь и на лету, уплотнение в реальном времени и «прозрачное» управление памятью. Для выполнения этих задач применяется небольшой IP-блок Ziptilion-BW, который может быть интегрирован практически с любым стандартным контроллером памяти и совместим с (LP)DDR4/5 и HBM.

ZeroPoint заявляет, что предложенный подход позволят увеличить эффективную ёмкость памяти в 2–4 раза, а также обеспечивает повышение производительности на Ватт до 50 %. Таким образом, общая стоимость владения серверами в дата-центрах может быть снижена на 25 %. Утверждается, что технология ZeroPoint в 1000 раз быстрее, чем другие существующие методы сжатия. ZeroPoint использует проприетарные методы, которые динамически определяют, какие именно данные можно сжать и каким именно образом. Для дополнительного ускорения извлечения данных в устройство интегрирован собственный кеш.

Раунд финансирования Series A возглавила мюнхенская компания Matterwave Ventures. Средства также предоставили Industrifonden, Climentum Capital и Chalmers Ventures. Деньги будут использованы для дальнейших разработок и коммерциализации технологии. Компания также предлагает «компрессоры» для L2/L3-кеша и CXL/NVMe-устройств, ускоритель для zram/zswap и блок (де-)шифрования.

Постоянный URL: http://servernews.kz/1105340
24.05.2024 [14:44], Руслан Авдеев

Microsoft и G42 за $1 млрд построят в Кении ЦОД на геотермальной энергии

Microsoft и G42, базирующаяся в ОАЭ, объединили усилия для постройки дата-центра в Кении. Его электропитание будет обеспечиваться за счёт геотермальной энергии. Datacenter Knowledge сообщает, что это лишь начальная часть многолетнего плана, в рамках которого будут значительно увеличены облачные мощности на востоке Африки. В конце прошлого года Кения уже заявляла о намерении направить $4,5 млрд на «зелёные» проекты: 200-МВт ЦОД EcoCloud, геотермальную энергетику и умное сельское хозяйство.

G42 займётся инвестициями на первом этапе и будет отвечать за строительство объекта в Олкарии, где расположено немало геотермальных источников. Это важно для континента, где перебои с электроэнергией — скорее норма, чем исключение. Кроме того, проект отвечает планам Microsoft по декарбонизации своей деятельности. Первая очередь обеспечит 100 МВт и будет введена в эксплуатацию в ближайшие пару лет. Для полной реализации проекта потребуется 1 ГВт, причём пока не сообщается, сколько времени пройдёт до ввода всех объектов в эксплуатацию и во сколько это обойдётся.

Microsoft намерена использовать первую очередь объекта для создания восточноафриканского региона Azure. Пока ближайший к клиентам из Кении ЦОД Microsoft расположен в Южной Африке. В рамках новой сделки кенийские власти согласились перенести больше своих сервисов в облака, что, по расчётам Microsoft, будет стимулировать спрос в целом. Новый ЦОД предложит ИИ-сервисы и облачные вычисления и ближайшим странам вроде Уганды, Руанды и Танзании.

 Источник изображения: Matt Palmer/unsplash.com

Источник изображения: Matt Palmer/unsplash.com

Инициатива Microsoft и G42 анонсирована накануне встречи американского и кенийского президентов, намеренных объявить об укреплении связей между странами для противостояния китайскому и российскому влиянию в регионе. Компании вроде Huawei активно вкладывают деньги в Африку, создавая ЦОД, интернет-сервисы, системы слежения и умные энергосети. А экспансия в Кении — лишь часть проекта ОАЭ по получению влияния в Африке, куда Эмираты готовы инвестировать $100 млрд.

В апреле Microsoft согласилась инвестировать $1,5 млрд в G42. Активное участие в сделке приняла администрация президента США — предположительно, G42 согласилась прекратить ведение бизнеса с компаниями КНР, включая Huawei, и обязалась использовать вместо китайских американские технологии. При этом президент Microsoft Брэд Смит (Brad Smith) должен войти в состав совета директоров G42, а последняя будет использовать облако Azure для своих ИИ-проектов.

В Кении G42 будет работать над большими языковыми моделями для суахили и английского, а также французского и других локальных языков. Также компания будет создавать ИИ-модели для сельского хозяйства и других сфер деятельности, а Microsoft будет отвечать в том числе за киберзащиту местных клиентов и поможет обеспечить широкополосным интернетом около 40 % населения Кении уже к концу следующего года. Ожидается, что прибыль партнёры начнут получать через несколько лет.

Постоянный URL: http://servernews.kz/1105366
24.05.2024 [13:29], Сергей Карасёв

Облачный провайдер Scaleway расширил охват до 52 стран и закупил ещё тысячу NVIDIA H100

Французский облачный провайдер Scaleway, по сообщению ресурса Datacenter Dynamics, значительно расширил зону охвата. Компания теперь предоставляет свой сервис Dedibox Virtual Private Server (VPS) в 65 городах на территории 52 стран.

По заявлениям Scaleway, Dedibox VPS даёт компаниям гибкость в развёртывании виртуальной инфраструктуры. Доступны различные конфигурации, а стоимость начинается примерно с €5/мес. Услуга охватывает Северную Америку, Южную Америку, Европу, Ближний Восток, Африку, Азию и Океанию.

 Источник изображения: Scaleway

Источник изображения: Scaleway

Кроме того, провайдер объявил о приобретении более 1000 дополнительных ускорителей NVIDIA H100, которые будут использованы для расширения вычислительных мощностей в дата-центре Iliad DC5 в Большом Париже. Scaleway использует Ethernet-платформу Spectrum-X, разработанную для облачных провайдеров.

Scaleway также запустила новую услугу под названием GPU Cluster On Demand. Она позволяет клиентам зарезервировать необходимое количество вычислительных кластеров на базе GPU — от нескольких штук до нескольких тысяч. Таким образом, можно гибко масштабировать ресурсы при реализации различных проектов в области ИИ и НРС.

Наконец, Scaleway объявила о подписании соглашения о предоставлении ускорителей H100 компании H из Парижа. Этот стартап сформирован командой бывших руководителей Google DeepMind. Компания занимается разработкой мультиагентных моделей и фундаментальных моделей поведения.

Постоянный URL: http://servernews.kz/1105343
24.05.2024 [13:17], Сергей Карасёв

Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров

Microsoft на фоне стремительного развития ИИ активно расширяет свой вычислительный потенциал: каждый месяц корпорация развёртывает эквивалент пяти суперкомпьютеров Eagle. Об этом, как сообщает ресурс Datacenter Dynamics, заявил технический директор облачной платформы Azure Марк Руссинович (Mark Russinovich).

Комплекс Microsoft Azure Eagle в нынешнем рейтинге TOP500 занимает третье место с FP64-производительностью 561,2 Пфлопс — это самый мощный в мире облачный суперкомпьютер. В системе задействованы 14 400 ускорителей NVIDIA H100, а также интерконнект NVIDIA InfiniBand NDR. «Сегодня мы развёртываем эквивалент пяти таких суперкомпьютеров каждый месяц. Наша экосистема ИИ теперь на несколько порядков больше и меняется каждый день и каждый час», — сказал Руссинович на конференции Microsoft Build.

Таким образом, ежемесячно Microsoft вводит в эксплуатацию вычислительные мощности, сопоставимые с теми, которые могут обеспечить 72 000 ускорителей Н100. В общей сложности это 2,8 Эфлопс ресурсов, которые распределены по расширяющейся сети дата-центров корпорации. Руссинович отметил, что общая протяжённость соединений InfiniBand в этих ЦОД такова, что ими можно было бы как минимум пять раз опоясать Землю. То есть, это не менее 200 тыс. км.

 Источник изображения: Microsoft

Источник изображения: Microsoft

О стремительном расширении вычислительных мощностей также говорит технический директор Microsoft Кевин Скотт (Kevin Scott). Он не стал приводить конкретные цифры, но дал наглядное представление. Так, ИИ-суперкомпьютер, который корпорация в 2020 году создала для OpenAI GPT-3, Скотт сравнил с акулой. Система следующего поколения, разработанная в 2022-м для обучения GPT-4, — это косатка, которая в два раза длиннее и в три раза тяжелее больших белых акул. Нынешняя система Microsoft сравнивается с синим китом: он более чем в два раза длиннее и примерно в 25 раз тяжелее косатки.

В настоящее время Microsoft и OpenAI обсуждают проект строительства масштабного кампуса ЦОД для решения самых сложных и ресурсоёмких задач в области ИИ. Проект под названием Stargate стоимостью около $100 млрд предполагает создание ряда объектов, суммарная мощность которых может достигать 5 ГВт. Компания действительно стремительно наращивает ёмкость своих ЦОД, добавляя порядка 200 МВт ежемесячно.

Постоянный URL: http://servernews.kz/1105333
23.05.2024 [21:32], Алексей Степин

Бери да пользуйся: IBM представила частное облако на базе POWER10

IBM представила платформу POWER Virtual Server Private Cloud для локального развёртывания частного облака, за обслуживание и корректное функционирование которого отвечает сама IBM. Это решение, по словам компании, позволяет сохранить «ИТ-суверенитет» и избежать существенных финансовых затрат благодаря гибкой ценовой политике.

Базовая конфигурация (Small Pod) начинается с 2–4 серверов с 8 Тбайт оперативной памяти, до 340 ядер и до 438 Тбайт пространства для хранения данных. Занимают такие комплекты одну стандартную стойку. Среднего размера «капсула» (Medium Pod) может насчитывать до 40 серверов, в том числе в варианте с 32 Тбайт памяти. Максимальная конфигурация насчитывает 1615 ядер и примерно 3,5 Пбайт дискового пространства.

 Источник изображения: IBM

Источник изображения: IBM

В основе платформы лежат серверы IBM POWER S1022 и E1050/1080, использующие процессоры POWER10. Первая система может иметь один или два 20-ядерных процессора с поддержкой SMT8, дополненных 2-4 Тбайт памяти. POWER E1050/1080 поддерживают до четырёх процессоров. Объём памяти в этом случае варьируется в пределах 4–32 Тбайт на сервер.

В состав локального облака также могут входить СХД IBM FlashSystem ёмкостью 460 или 920 Тбайт. Сетевые коммутаторы и управляющие серверы входят в стоимость услуги. В качестве базовых ОС доступны Red Hat Enterprise Linux и классические решения IBM — IBM i и AIX. Доступна и сертификация SAP HANA и SAP NetWeaver.

Сама услуга предлагается сроком на один год с возможностью возобновления, также доступны трёх- и пятилетние контракты. При этом само оборудование и лицензии приобретать не придётся, платить надо только за их фактическое использование, а сама платформа управляется из IBM Cloud.

Постоянный URL: http://servernews.kz/1105319
23.05.2024 [21:00], Владимир Мироненко

Чистая прибыль NVIDIA по итогам квартала взлетела более чем в семь раз

NVIDIA объявила финансовые результаты за I квартал 2025 финансового года, завершившийся 28 апреля 2024 года. После объявления итогов, которые превзошли прогнозы аналитиков Уолл-стрит, акции компании выросли в цене в ходе расширенных торгов на 7 %, впервые превысив отметку в $1000.

Выручка компании выросла на 262 % до $26,04 млрд, что значительно превышает консенсус-прогноз аналитиков, опрошенных LSEG, в размере $24,65 млрд. Скорректированная прибыль на акцию (Non-GAAP) превзошла прошлогодний показатель на 461%, составив $6,12, что также выше консенсус-прогноза LSEG, равного $5,59 на акцию. Чистая прибыль (GAAP) выросла год к году на 628 %, достигнув $14,881 млрд или $5,98 на акцию.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

В текущем, II квартале 2025 года NVIDIA ожидает получить выручку в размере $28,0 млрд ± 2 %, что выше прогноза аналитиков Уолл-стрит в размере $26,61 млрд. Консенсус-прогноз аналитиков, опрошенных LSEG, по скорректированной прибыли на акцию (Non-GAAP) в этом квартале равен $5,95. NVIDIA проведёт форвардное дробление акций в соотношении 10:1, которое пройдёт после закрытия торгов 7 июля. Это сделает акции компании доступными для более широкого круга розничных инвесторов.

Большую часть выручки компании принесло подразделение по выпуску продуктов для ЦОД, увеличившее выручку год к году на 427 % до $22,56 млрд, чему способствовал растущий спрос на ИИ-ускорители. При этом поставки продукции для серверов увеличились год к году на 478 % до $19,39 млрд, а продажи сетевых решений — на 242 % до $3,17 млрд. В сегменте профессиональной визуализации продажи выросли на 45 % до $427 млн, в автомобильном секторе рост выручки год к году составил 11 %, до $329 млн.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

По словам финансового директора Колетт Кресс (Colette Kress), рост показателей подразделения по выпуску решений для ЦОД был обусловлен высоким спросом на ускорители H100, которые в настоящее время являются самыми мощными на рынке и на них приходится около 40 % продаж в этом сегменте. «Большим событием в этом квартале стал анонс Meta большой языковой модели Llama 3, для которой потребовалось 24 тыс. ИИ-ускорителей H100», — сообщила Кресс.

Аналитик Third Bridge Лукас Ке (Lucas Keh) утверждает, что спрос на ускорители NVIDIA H100 настолько велик, что производитель чипов едва успевает за ним. Генеральный директор компании Дженсен Хуанг (Jensen Huang) заявил, что ожидает ещё большего роста благодаря выходу к концу года ускорителей Blackwell следующего поколения. По его словам, эти ускорители начнут поступать в ЦОД к IV кварталу. Компания намерена ежегодно представлять новую архитектуру ускорителей.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

NVIDIA также отметила высокий спрос на её сетевые компоненты, которые становятся столь же важными, как и ИИ-ускорители, поскольку кластеры из десятков тысяч чипов требуют эффективного интерконнекта. Рост продаж, связанных с сетевыми технологиями, в первую очередь был обусловлен увеличением реализации продуктов InfiniBand.

Постоянный URL: http://servernews.kz/1105318

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus