Компания LG AI Research (ИИ-подразделение LG Group) из Южной Кореи заключила соглашение с южнокорейским стартапом FuriosaAI о выпуске серверов с ИИ-ускорителями RNGD для работы с собственным семейством LLM Exaone, сообщил The Register. Как сообщил генеральный директор FuriosaAI Джун Пайк (June Paik) изданию EE Times, серверы LG с чипами RNGD будут ориентированы на предприятия, использующие модели ExaOne в сфере электроники, финансов, телекоммуникаций и биотехнологий. Серверы поступят в продажу в конце этого года.

«После тщательного тестирования широкого спектра опций мы пришли к выводу, что RNGD — высокоэффективное решение для развёртывания моделей Exaone», — заявил Киджонг Чон (Kijeong Jeon), руководитель подразделения продуктов LG AI Research. «RNGD обеспечивает убедительное сочетание преимуществ: превосходную производительность в реальных условиях, значительное снижение совокупной стоимости владения и удивительно простую интеграцию», — добавил он.

Подобно системам на базе NVIDIA RTX Pro Blackwell, серверы LG RNGD будут включить до восьми ускорителей с интерфейсом PCIe 5.0. Эти системы будут работать на базе того, что FuriosaAI описывает как высокоразвитый программный стек, включающий библиотеку vLLM. LG также предложит собственную платформу агентского ИИ ChatExaone, которая адаптирована для корпоративных сценариев использования. Она объединяет ряд фреймворков для анализа документов, глубоких исследований, анализа данных и RAG.

Источник изображений: FuriosaAI

LG AI Research протестировала работу модели ExaOne-32B на восьмичиповом 4U-сервере c воздушным охлаждением, который был разработан совместно с Supermicro. В 15-кВт стойке можно разместить пять таких серверов. По словам Пайка, LG AI Research протестировала оборудование от нескольких поставщиков оборудования из Южной Кореи и других стран, взяв за основу ускорители NVIDIA A100. «LG AI Research также тестировала облачные решения, но, по их словам, наше решение на данный момент оказалось единственным, отвечающим их требованиям», — сказал Пайк.

Как полагает The Register, выбор для сравнения ускорителя NVIDIA A100, дебютировавшего в 2020 году, а не более свежих моделей, вызван тем, что LG AI Research больше интересует энергоэффективность оборудования, чем производительность. И, как отметил Джун Пайк, хотя за пять лет с момента появления A100 ускорители NVIDIA, безусловно, стали мощнее, но произошло это за счёт увеличения энергопотребления и площади кристалла.

Сообщается, что LG AI фактически использовала четыре PCIe-ускорителя RNGD, задействовав тензорный параллелизм для запуска модели Exaone 32B с 16-бит точностью. По словам Пайка, у LG были очень чёткие целевые показатели производительности, которые она стремилась достичь при валидации чипа. В частности, ограничения включали время до отдачи первого токена (TTFT) — примерно 0,3 с для небольших запросов на 3 тыс. токенов или 4,5 с для более крупных запросов на 30 тыс. токенов. Результат в 60 токенов/с достигается для контекстного окна размером 4 тыс. токенов или 50 токенов/с для контекстного окна размером 32 тыс. токенов.

По словам Пайка, тесты проводились в режиме BF16, поскольку сравниваемые A100 не имеет встроенной поддержки FP8, так что использование RNGD в FP8-режиме позволит удвоить эффективность инференса и снизить TTFT. Кроме того, сервер продемонстрировал в 2,25 раза более высокую производительность инференса LLM на Ватт по сравнению с A100, а полная стойка сможет генерировать в 3,75 раза больше токенов, чем стойка с A100 при том же энергопотреблении. Чип FuriosaAI RNGD обеспечивает производительность 512 Тфлопс (FP8) при TDP 180 Вт.

В отличие от ускорителей NVIDIA, оснащённых высокоскоростным интерконнектом NVLink (600 Гбайт/с), FuriosaAI использует интерфейс PCIe 5.0 (128 Гбайт/с). По словам FuriosaAI, чтобы избежать узких мест и накладных расходов, связанных с интерконнектом, компилятор компании помогает оптимизировать процесс обмена данными и собственно вычисления.

Компания Microsoft намерена развернуть системы охлаждения LG Electronics в своих дата-центрах. Речь идёт о неизвестном пока числе готовящихся к работе ИИ ЦОД, сообщает Datacenter Dynamics. О партнёрстве объявлено после того, как LG Electronics представила обновлённую серию охлаждающих решений, объединив в одном портфолио существующие и новые решения, в том числе СЖО.

Как заявили в LG, между смартфонами дома, ноутбуками на работе и, например, смарт-ТВ стоят ЦОД, играющие ключевую роль в повседневной жизни. А её решения для охлаждения играют решающую роль в обеспечении корректной работы серверного оборудования. LG намерена стать уникальным игроком, она готова удовлетворить спрос на соответствующие компоненты будущим проектам ЦОД и упростить строительство с помощью эффективных предложений «под ключ».

LG предлагает водоблоки, CDU, чиллеры, системы кондиционирования, интеллектуальную платформа мониторинга и управления охлаждением, а также другие комплексные решения. Компания объявила, что намерена сотрудничать с Microsoft для внедрения систем терморегулирования LG и технологии охлаждения в дата-центрах «следующего поколения». Объёмы и рамки сделки не раскрываются.

Источник изображения: LG Electronics

Ранее в этом году LG заявляла, что будет работать с Microsoft над рядом ИИ-проектов, включая создание ИИ-агентов для разных объектов, от домов до транспорта, отелей и офисов. Компания начала более агрессивно развивать решения для сектора ЦОД в прошлом году и заявила, что подписала крупную сделку на более 100 чиллеров для ЦОД, которая оценивается в десятки миллионов долларов.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.