Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.
Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.
Серверы прошлого поколения (Источник изображений: Cloudflare)
Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.
Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.
Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:
- Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
- Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
- Меньшее сопротивление воздушным потокам внутри корпуса;
- Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.
Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.
Источник:
