Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, анонсировала SSD серии ER3 для дата-центров. Это, как утверждается, первые в мире изделия в своём классе, на которые предоставляется 5-летняя гарантия по использованию в системах с погружным охлаждением.

Благодаря полному погружению комплектующих в теплопроводящую жидкость тепло отводится более эффективно. Это обеспечивает стабильную и надёжную работу при высоких и продолжительных нагрузках. Все компоненты решений тщательно отбираются и тестируются.

Устройства предлагаются в двух вариантах исполнения — SFF и М.2 2280. В обоих случаях применены микрочипы 3D TLC NAND, а для подключения служит интерфейс SATA-3. Значение DWPD (полных перезаписей в сутки) ≥ 1. Поддерживаются шифрование по алгоритму AES-256 и функция защиты от потери питания Power Loss Data Protection. Показатель MTBF (средняя наработка на отказ) заявлен на отметке 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

Накопители типоразмера SFF доступны в модификациях вместимостью от 240 Гбайт до 1,92 Тбайт. Скорость последовательного чтения у всех версий достигает 520 Мбайт/с, а скорость последовательной записи — 280 Мбайт/с у младшего варианта и 520 Мбайт/с у всех других. Значение IOPS на операциях случайного чтения — 90 тыс., на операциях записи — от 10 до 45 тыс. в зависимости от ёмкости.

Изделия формата М.2 представлены в вариантах ёмкостью 240 и 480 Гбайт. У них показатели последовательного чтения/записи равны соответственно 520/280 Мбайт/с и 520/520 Мбайт/с. Величина IOPS при случайном чтении одинакова — до 90 тыс., при записи — 10 тыс. и 15 тыс. соответственно.

Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.

Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.

Фото: Anthony Indraus / Unsplash

В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.

Источник: Schneider Electric

Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.

Источник: Schneider Electric

Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.

Источник: Schneider Electric

Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.

Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Многие знают, что ИИ-модели в процессе работы потребляют огромное количество энергии, но не всем известно, что им нужно ещё и очень много чистой воды. Как сообщает Silicon Angle, выяснилось, что ЦОД стоящих за работой ИИ-систем компаний тратят очень много воды, а у техногигантов вроде Google и Microsoft водопотребление только растёт.

Как следует из доклада Associated Press, использование ЦОД Microsoft воды выросло с 2021 по 2022 гг. на 34 %, в прошлом году компания потратила 6,4 млрд литров. В тот же период водопотребление Google выросло на 20 %. По данным экспертов, занимавшихся исследованием воздействия генеративных ИИ-систем на окружающую среду, в большей части рост потребления вызван увеличением связанных с ИИ нагрузок.

По некоторым оценкам, модель GPT-3 компании OpenAI, стоящая за чат-ботом ChatGPT, ответственна за трату более 320 тыс. л во время тренировки, а ChatGPT и вовсе «выпивает» 0,5 л воды каждую чат-сессию, состоящую из 25-50 запросов. Учитывается и непрямое использование воды, включающее затраты электростанций, питающих ЦОД.

Источник изображения: MartinStr/pixabay.com

Для Google статистика оказалась крайне неоднородной и разнится от ЦОД к ЦОД — многое зависит от местоположения, сезона, технологии охлаждения и уровня потребления воды электростанциями. Впрочем, многие специалисты отрасли уверены, что рост потребления воды имеет важное значение, но большие опасения вызывает рост энергопотребления.

Дело в том, что значительная часть используемой воды перерабатывается и применяется снова, тогда как об энергии нельзя сказать того же. Кроме того, Microsoft, Google и другие операторы ЦОД сами заинтересованы в сокращении потребления воды, поэтому будут принимать все необходимые меры для этого.

Ранее Microsoft сообщала, что намерена стать «водно-положительной», «углеродно-отрицательной» и безотходной уже к 2030 году, а к 2024 году снизить потребление ЦОД воды на 95 % (в сравнении с 2021 годом). Впрочем, до сих пор нет точных определений некоторым терминам, например, никто детально не говорил, о какой «водно-положительности» идёт речь. Можно только предполагать, что компания намерена отдавать в природу больше воды, чем потребляет.

Источник: Microsoft

Примером может служить Pepsi, которая, пропустив воду сквозь снековое оборудование в районе Мехико, очищает её до уровня питьевой и отправляет на другой завод — для мытья картофеля для чипсов. Таким образом, воды действительно поступает «в оборот» больше, чем изначально забирается из природных источников.

В OpenAI, крупнейшим инвестором которой является Microsoft, подчеркнули, что осознают высокие уровни потребления ИИ энергии и воды и активно работают над повышением эффективности в этой сфере. Решением может стать создание для ИИ более эффективных алгоритмов и оборудования, хотя на это уйдёт некоторое время.

Компания Nautilus Data Technologies лицензировала использование технологии охлаждения проточной водой TRUE (Total Resource Usage Effectiveness) дата-центра компании Start Campus. По данным Datacenter Dynamics, строительство кампуса ведётся в португальском городе Синиш (Sines), охлаждение будет вестись океанской водой.

В рамках соглашения предполагается, что Start Campus, принадлежащая North American Davidson Kempner и British Pioneer Point Partners, будет использовать в своём проекте систему Nautilus, обеспечивающую «нулевое» потребление воды. Подобные системы, например, с размещением ЦОД на речных баржах, уже активно пытается внедрять сама Nautilus.

Источник изображения: Start Campus

В ходе первой фазы уже начавшегося в Синише строительства компании намерены начать внедрение новой технологии охлаждения наряду с уже использующимися на территории кампуса. В ходе второй Start Campus намерена полностью интегрировать технологию Nautilus для расширения мощностей. Общая мощность кампуса Start составит до 495 МВт, а находится он на территории площадью 60 га на прилегающей к недавно выведенной из эксплуатации угольной электростанции. Хотя реализацию проекта анонсировали ещё в 2021 году, строительство началось только в прошлом. Ожидается, что применение новых экобезопасных технологий позволит серьёзно изменить ландшафт рынка ЦОД.

Nautilus занимается не только плавучими ЦОД, но и стационарными системами, в которых ЦОД охлаждаются за счёт речной проточной воды. В компании утверждают, что они снижают затраты на электричество и позволяют обеспечить «нулевое» потребление воды и нулевые выбросы сточных вод. Правда, пока компания управляет только баржей с ЦОД в калифорнийском Стоктоне (Калифорния), но в дальнейшем планируется построить и наземный объект в Мэне. В разработке находятся и другие проекты, как во Франции и США, так и в Ирландии, а также материковой Европе, изучается возможность применения технологии в Таиланде и на Филиппинах.

Компания ChinData, которая скоро перейдёт в полную собственность Bain Capital, представила набор полнофункциональных модульных продуктов для крупных дата-центров. По данным DataCenter Dynamics, он включает всевозможные элементы, от интегрированных систем энергоснабжения до готовых зданий.

Новые продукты представлены в ходе мероприятия Data Center New Technology Development Forum на конференции 2023 China Computing Conference в Китае. В компании подчёркивают, что продукты предназначены для удовлетворения спроса крупных строителей ЦОД в новую эпоху генеративного ИИ (AIGC).

Значительная часть применяемых технологий поставляется партнёрами. Так, в прошлом году ChinData представила «первую в мире безводную систему охлаждения», которая на поверку оказалось решением Vertiv Liebert DSE для фрикулинга. В этом году речь зашла о безмасляных компрессорах на магнитной подушке, которые, похоже, тоже уходят корнями к Vertiv. В случае с ChinData речь идёт о двухфазной системе охлаждения X-Cooling Maglev на таких компрессорах. Также применяются и другие технологии охлаждения, за управление которыми отвечает специальный ИИ.

Источник изображения: ChinData

Модульная система X-PrePower 3.0 включает блоки питания и распределения энергии с эффективностью 98,5 %. В ChinData подчеркнули, что такие блоки выгоднее немодульных и занимают на 20 % меньше места. Более того, время доставки снижается с двух месяцев до одной недели. Наконец, платформа Kunpeng обеспечивает эксплуатацию, управление, мониторинг и контроль новых модульных решений.

В итоге новый комплекс решений позволяет формировать стойки мощностью до 35 кВт. Упрощённая конструкция с повышенной надёжностью, по данным компании, способна обеспечить годовой показатель Cooling Load Factor (CLF) на уровне 0,08 на севере Китая и 0,15 в Малайзии.

Компания CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ-проектами. Как сообщает DataCenter Dynamics, он комбинирует погружное охлаждение и другие технологии, благодаря чему можно добиться высокой плотности размещения ресурсов на стойку — до 300 кВт на стойку. Недавно Digital Realty предложила клиентам 70-кВт стойки.

По словам CyrusOne, проект Intelliscale способен поменять правила игры в индустрии ИИ-решений и является первым в своём роде — специально разработанным под нужды ИИ-приложений и сервисов. Мощности Intelliscale специально созданы для обслуживания высокопроизводительного аппаратного обеспечения. Задействованы прямое жидкостное охлаждение процессоров, встроенные в дверцы теплообменники и погружное охлаждение. При этом модульная структура и дизайн Intelliscale предусматривает нулевое потребление воды.

Источник изображения: CyrusOne

По данным CyrusOne, новые решения могут занимать всего четверть от площади сопоставимых классических ЦОД (в зависимости от решаемых задач). При этом сами здания могут быть как одно-, таки многоуровневыми. В некоторых случаях она позволяет модернизировать и уплотнить уже существующие ИИ-мощности. По словам CyrusOne, внедрение Intelliscale сегодня позволит обеспечить работу ресурсоёмкого оборудования в будущем, поскольку спрос на ИИ будет только увеличиваться. Технология позволит бизнесам выходить на рынок быстро и с меньшими затратами, чем с использованием классических ЦОД.

Сингапурское подразделение оператора Digital Realty применило электролиз для очистки воды в дата-центре SIN10. Как сообщает DataCenter Dynamics, специальные DCI-модули сингапурской компании Innovative Polymers позволяют ЦОД экономить более 1 тыс. м³ ежемесячно. Системы DCI (DeCaIon) используют ток для генерации ионов, что ведёт к выпадению в осадок соединений кальция и магния. Считается, что такая система значительно экономичнее, чем очистка с помощью химикатов.

DCI-модули уже довольно широко используются, например, в системах кондиционирования медучреждений. Что касается ЦОД, в них подобная система применяется впервые. DCI-модуль, позволяющий трижды прогнать воду по контурам до её сброса в канализацию, стоит около $25 тыс., потребляет порядка 700 кВт·ч в год и способен обслуживать охлаждающую инфраструктуру ЦОД мощностью примерно 1–1,3 МВт. Важным преимуществом системы является и то, что она избавляет контуры охлаждения от появления в них отложений солей — в результате улучшается теплообмен и энергосбережение.

Фото: Innovative Polymers

Для SIN10 требуется примерно 20–25 модулей, так что внедрение технологии только в этом дата-центре стоит порядка $500 тыс. Впрочем, проект частично финансируется из фондов правительства Сингапура. В Digital Realty заявляют, что DCI-система позволяет экономить до 1,24 млн л ежемесячно. А в целом компании удалось снизить потребление воды с 2020 года на 7 %. Впрочем, теперь перед ней стоит сложная задача сохранения водного баланса, поскольку она готовит площадки для инфраструктуры генеративного ИИ, которая намного более требовательна и к электропитанию, и к охлаждению.

Источник изображения: Innovative Polymers

Проблема водопотребления ЦОД имеет критическое значение. Ещё в 2021 году сообщалось, что они потребляют сотни миллионов кубометров питьевой воды, но сколько именно — никто достоверно не знает. Операторы активно работают над сокращением потребления этого ценного ресурса. Например, в том же году сообщалось, что Microsoft объявила о намерении использовать дождевую воду в Нидерландах из-за протестов местных жителей, а буквально в прошлом месяце лондонская Thames Water потребовала от местных ЦОД сократить расход воды.

Но проблемам с водоснабжением сопутствуют и проблемы водоотведения. Так, Microsoft в одном из последних ЦОД была вынуждена поменять подход к охлаждению из-за того, что местная канализация попросту не справляется с потоками сточных вод от дата-центров. А несколько лет назад компанию почти что вынудили построить выделенную станцию очистки сточных вод её ЦОД. Тогда же Microsoft вместе с рядом других гиперскейлеров пообещала стать «водно-положительной» к 2030 году.

Компания Thames Water, являющаяся крупнейшей коммунальной службой в Великобритании и занимающаяся водоснабжением и водоотведением для 15 млн человек, выдвинула ультиматум операторам некоторых ЦОД. Как сообщает The Register, им предложено сократить расход воды самостоятельно, или это будет сделано в принудительном порядке. Также не исключается повышение цен в периоды пиковых нагрузок.

В прошлом году Thames Water оценила использование воды дата-центрами в зоне обслуживания компании, включающей как большую часть британской столицы, так и долину Темзы на юге Англии. В дальнейшем планировалось снизить использование воды, координируя действия с ЦОД — страна как раз переживала необычайную жару, из-за которой пострадали и сами дата-центры.

Фото: Kevin Grieve / Unsplash

Теперь, похоже, компания готова прибегнуть и к мерам принуждения, в частности, ограничивать в случае необходимости подачу воды тем, кто расходует её слишком много, или взимать больше в периоды пикового спроса. В июле прошлого года сложилась критическая ситуация — из-за рекордной жары внешние модули систем кондиционирования британских ЦОД буквально приходилось обрызгивать водой из шлангов во избежание перегрева.

По имеющимся данным, рассматривается ограничение подачи воды как минимум одному лондонскому оператору ЦОД в периоды пикового потребления — подобные меры необходимы во время летней жары уже нынешнего года на фоне роста потребностей в воде со стороны бизнесов и граждан. Пока неизвестно, рассматривается ли подобная политика в качестве временной меры или ограничения могут ввести навсегда. Также не сообщается, будут ли ограничения тотальными или станут применяться только в районах компактного размещения кластеров ЦОД.

Фото: Benjamin Davies / Unsplash

Конечно, в Thames Water утверждают, что предпочли бы добровольное ограничение потребления операторами прежде чем вводить репрессивные меры. ЦОД, например, могли бы изучить возможность переработки и использования сточных вод непосредственно по месту потребления. В Thames Water заявили, что компания также поощряет использование дата-центрами альтернативных источников воды. К счастью, не все ЦОД полагаются на пресную воду, но те, что прибегают к ней, часто тратят порядка 4–19 тыс. м³ ежедневно.

Впрочем, это не единственная проблема коммунальных компаний в Англии. В этом году их активно критикуют за сброс неочищенных сточных вод в реки и даже прибрежные морские воды. Кроме того, службы не успевают ремонтировать стареющую инфраструктуру. Из-за этого Thames Water теряет больше любой компании такого профиля в Великобритании — по данным BBC, ежедневно она допускает утечку более 600 тыс. м³, что уже привело к смене её руководства в прошлом месяце.