Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.

Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.

Серверы прошлого поколения (Источник изображений: Cloudflare)

Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.

Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.

Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:

• Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
• Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
• Меньшее сопротивление воздушным потокам внутри корпуса;
• Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.

Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.

Исландский оператор дата-центров Verne Global объявил о развёртывании СЖО в подземном кампусе ЦОД The Rock, который находится в Финляндии. Внедрение системы поможет повысить эффективность при решении сложных и ресурсоёмких задач, связанных с ИИ и машинным обучением.

Verne Global отмечает, что рост популярности ИИ и НРС усиливает потребность в надёжных решениях для охлаждения дата-центров. Среднестатистический ЦОД расходует на отвод тепла от своей инфраструктуры до 40 % от общего энергопотребления. Поэтому внедрение передовых решений в области охлаждения позволяет снизить общую стоимость владения.

Verne Global также подчёркивает, что по мере роста популярности моделей ИИ увеличиваются требования к плотности размещения оборудования в ЦОД. Это создаёт дополнительную нагрузку на традиционные средства воздушного охлаждения. В результате, жидкостное охлаждение становится всё более востребованным среди операторов дата-центров.

Источник изображения: Verne Global

Сообщается, что проект по оснащению площадки The Rock жидкостным охлаждением реализован Verne Global в сотрудничестве с Dell и Intel. В частности, задействованы системы Dell DLC3000 с процессорами Intel Xeon Sapphire Rapids, обеспечивающие мощность до 80 кВт на стойку. Это первый случай использования данного решения Dell в Финляндии.

Площадка Rock, созданная финским провайдером Ficolo на базе бывших военных туннелей в скале в Пори, расположена примерно в 200 км от Хельсинки. Инвестиционный фонд Digital 9 Infrastructure (D9) из Великобритании приобрёл компанию Ficolo в 2022 году, а затем объединил её ЦОД с другими активами Verne Global. Недавно D9 объявил о продаже своей доли в Verne Global частной инвестиционной компании Ardian из Франции. Сумма сделки не раскрывается.

Индийский технологический гигант Infosys, специализирующийся на разработке ПО, консалтинге и аутсорсинге, объявил о заключении соглашения о сотрудничестве с международной энергетической компанией Shell New Energies UK с целью ускорения внедрения систем погружного охлаждения в дата-центрах.

По оценкам, на ЦОД приходится до 1,5 % мирового потребления электроэнергии и 1 % глобальных выбросов углекислого газа. Повсеместное внедрение ИИ, как отмечается, увеличит эти показатели. Вместе с тем технологии погружного охлаждения потенциально могут обеспечить снижение выбросов CO₂ на 30 % и сокращение энергопотребления на 48 %.

Infosys намерена использовать синтетическую охлаждающую жидкость Shell Immersion Cooling Fluid для однофазных систем погружного охлаждения вместе со своей ИИ-платформой Topaz. Она включает набор услуг для генеративного ИИ. Это, в частности, более 150 предварительно обученных моделей и всевозможные ресурсы для ИИ.

Источник изображения: Shell

После пилотного тестирования нового решения для охлаждения ЦОД на своих площадках компании намерены предлагать технологию корпоративным заказчикам по всему миру. Жидкости Shell, как ожидается, помогут клиентам сократить расходы и повысить производительность своих дата-центров, а также снизить негативное воздействие на окружающую среду.

Около года назад Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Составы Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Такие жидкости предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, анонсировала SSD семейства PJ1 для систем корпоративного уровня. Изделия выполнены в форм-факторе М.2 на основе микрочипов флеш-памяти eTLC NAND, а для обмена данными служит интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4c).

В устройствах реализована фирменная защита от потери питания TruePLP (Power Loss Protection). В оснащение входят высоконадежные конденсаторы для резервной подачи энергии. В случае сбоя TruePLP предоставляет SSD возможность записать любые данные из памяти DRAM во флеш-память NAND, предотвратив тем самым потерю информации.

Источник изображения: SSSTC

В серию PJ1 вошли модели типоразмера М.2 2280 и М.2 22110. В первом случае вместимость составляет 480 и 960 Гбайт, а также 1,92 Тбайт, во втором — ещё и 3,84 Тбайт. Скорость последовательного чтения информации у всех версий достигает 5000 Мбайт/с, скорость последовательной записи — соответственно 600, 1200, 2400 и 2400 Мбайт/с. Величина IOPS при произвольном чтении / записи данных блоками по 4 Кбайт составляет до 350 000 / 150 000, 650 000 / 300 000, 750 000 / 600 000 и 750 000 / 600 000. Гарантированный объём записанной информации (показатель TBW) — 1000, 2000, 4000 и 8000 Тбайт соответственно.

Все накопители могут выдерживать 1,2 полных перезаписи в сутки (величина DWPD) на протяжении пяти лет. Говорится о поддержке TCG Opal 2.0. Показатель MTBF заявлен на уровне 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Компании Intel и Vertiv объявили о заключении соглашения о сотрудничестве, в рамках которого планируется разработка эффективной СЖО для ускорителей Gaudi3: эти решения, предназначенные для ресурсоёмких ИИ-задач, увидят свет в 2024 году.

Сообщается, что Gaudi3 можно будет использовать в составе серверов с воздушным и жидкостным охлаждением. В первом случае допускается работа при тепловой нагрузке до 40 кВт с температурой окружающего воздуха на входе до +35 °C.

В качестве альтернативы предлагается применять двухфазное жидкостное охлаждение. Такое решение протестировано при совокупной мощности ИИ-ускорителей до 160 кВт с использованием на входе воды с температурой от +17 до +45 °C. Эта система на основе хладагента среднего давления, как утверждается, поможет заказчикам реализовать повторное использование тепла, одновременно улучшив показатели эффективности использования воды (WUE) и энергии (PUE). Кроме того, клиенты смогут снизить совокупную стоимость владения (TCO).

Источник изображения: Vertiv

Системы двухфазного жидкостного охлаждения отводят тепло более эффективно по сравнению с другими решениями. Однако в последнее время технология столкнулась с критикой. Проблема заключается в том, что в таких системах используются фтористые соединения, такие как Novec от 3M, который недавно был снят с производства из-за опасений по поводу того, что состав может представлять угрозу для здоровья людей.

Как сообщает ресурс Datacenter Dynamics, ссылаясь на заявления представителей Vertiv, в СЖО для Gaudi3 не будут применяться полифторалкильные вещества (PFAS, «вечные химикаты»), будущее которых находится под вопросом. Однако пока не уточняется, какую именно альтернативную жидкость намерена использовать компания.

Dell Technologies объявила результаты III квартала 2024 финансового года, завершившегося 3 ноября 2023 года. Выручка компании составила $22,25 млрд, что на 10 % меньше по сравнению с аналогичным периодом предыдущего финансового года и ниже прогнозов аналитиков LSEG, ожидавших $23 млрд.

Операционная прибыль компании составила $1,5 млрд (GAAP) и $2 млрд (non-GAAP), что на 16 и 17 % меньше год к году соответственно. Разводнённая прибыль на акцию (GAAP) составила $1,36 или $1,88 на акцию (non-GAAP). Денежный поток от операционной деятельности за III квартал составил $2,2 млрд, что обусловлено прибыльностью и высокими показателями оборотного капитала. За последние 12 месяцев компания получила денежный поток от операционной деятельности в размере $9,9 млрд.

Источник: Dell

Выручка инфраструктурного подразделения ISG (Infrastructure Solutions Group) в III квартале составила $8,5 млрд, не изменившись по сравнению с предыдущим кварталом и снизившись на 12 % по сравнению с аналогичным кварталом предыдущего финансового года. Выручка от реализации СХД составила $3,84 млрд, снизившись на 13 % год к году и на 8 % последовательно. У подразделения CSG (Client Solutions Group), занимающегося клиентским оборудованием, выручка сократилась на 11 % до $12,3 млрд.

Выручка от продажи серверов и сетевого оборудования упала год к году на 10 % до $4,66 млрд, увеличившись вместе с тем по сравнению с предыдущим кварталом на 9 % благодаря продажам ИИ-серверов, которые принесли компании более $500 млн. Dell завершила квартал с оставшимися обязательствами по исполнению контрактов в размере $39 млрд. Немалая часть из них приходится на ИИ-серверы с ускорителями NVIDIA, дефицит которых привёл к тому, что заказчики Dell вынуждены ждать поставок до 39 недель — большая часть ускорителей отгружается гиперскейлерам.

Источник: Dell

«Мы поставили серверов, оптимизированных для ИИ, на сумму более $0,5 млрд, включая наши XE9680, XE9640, XE8640 и серверы R750 и R760xa. Спрос на эти ИИ-серверы последовательно почти удвоился, и спрос по-прежнему значительно превышает предложение <…> XE9680 — самое быстрорастущее решение в истории Dell», — отметил зампредседателя и главный операционный директор Джефф Кларк (Jeff Clarke). Компания уже подготовила цепочку поставок, чтобы в ближайшее время постараться утроить отгрузки ИИ-серверов.

Компания повысила прогноз по прибыли на акцию за год до $6,63±0,10 по сравнению с предыдущим прогнозом в $6,30±0,20 на акцию. Ожидаемая выручка за 2024 финансовый год равна $88,1 млрд, что на 14 % ниже выручки годом ранее. В текущем квартале компания ожидает получить выручку в размере $22 млрд±0,5 млрд, что в среднем значении на 12 % меньше показателя предыдущего года.

Хотя многие знают, что на операции с биткоинами тратится очень много электроэнергии, не всем известно, что соответствующая экосистема требует для работы и существенных объёмов воды. Как сообщает The Register, основатель Digiconomist и эксперт Амстердамского свободного университета Алекс де Врис (Alex de Vries) предполагает, что экосистема биткоина только в 2023 году потратит 2237 гигалитров пресной воды (1 гигалитр = 1 млн м³).

В США на добычу этой криптовалюты за год ушло 39–120 гигалитров воды, примерно столько же потребляют 300 тыс. домохозяйств или город размером с Вашингтон. В прошлом году биткоин подешевел, что привело к некоторому спаду использования энергии и воды, но в текущем году его цена снова выросла, а в марте 2023 года потребление энергии взлетело до рекордных значений. По итогам года на биткоин уйдёт 141,9 ТВт·ч, т.е. на треть выше в сравнении с 2021 годом. В 2021 году на биткоины во всём мире было потрачено почти 1600 гигалитров — примерно 16 тыс. литров на каждую транзакцию, т.е. в 6,2 млн раз больше, чем обходится обработки транзакции банковской карты.

Источник: Alex de Vries / Cell.com

По мнению эксперта, способы снизить расход воды и энергии имеются, но, похоже, никто не намерен ими воспользоваться, поскольку биткоин-сообщество весьма консервативно. Переход на более эффективные механизмы, как это произошло с Ethereum, не предвидится. Более того, держатели и майнеры во многом видят залог относительной надёжности и стабильности биткоина в том, что никаких изменений и не будет. Эксперт отмечает, что огромный урон окружающей среде может привести к серьёзным проблемам, особенно на фоне острой нехватки воды в мире.

Например, в Казахстане, ставшем крупной площадкой для майнинга биткоинов после запрета аналогичной деятельности в Китае, нехватка воды приведёт к настоящему кризису. Ожидается, что с учётом климатических изменений дефицит воды в стране к 2030 году составит 75 гигалитров. В 2021 году на майнинг биткоинов в Казахстане ушло около 1 тыс. гигалитров воды. При этом, как утверждает учёный, нет никаких свидетельств того, что тревожные новости вызывают какую-либо озабоченность в биткоин-сообществе. На этом фоне затраты воды на обучение и запуск нейросетей уже не кажутся такими уж большими.

AWS представила корпоративную версию системы биометрической идентификации Amazon One Enterprise. Новый сервис основан на решении Amazon One, которое появилось в 2020 году. Оно используется для биометрических платежей в собственных магазинах Amazon, не имеющих кассиров. Посетители Amazon Go могут привязать данные банковской карты к информации об отпечатке ладони.

Хотя технология, как это обычно бывает с такими решениями, вызвала опасения среди правозащитников и политиков в связи с возможной утечкой данных, компания продолжила внедрять её, предлагая клиентам различные льготы. Сервис уже появился во всех магазинах сети Whole Foods, принадлежащей Amazon, в США. Также компания заключила соглашения и со сторонними ретейлерами.

Источник изображения: Amazon

Проект Amazon One Enterprise стал закономерным развитием предыдущей инициативы. Несмотря на повсеместный переход на удалённую работу, многие компании всё ещё хотят видеть своих сотрудников в офисах хотя бы время от времени. Amazon One Enterprise обеспечивает бесконтактную идентификацию для доступа на такие объекты. Более того, технологию можно использовать и для всевозможного ПО с разграничением доступа, например, для защиты доступа к кадровой или финансовой информации.

Источник изображения: Amazon

Заказчикам предлагается на выбор два вида устройств: отдельный модуль, который можно разместить где угодно, и турникет. Возможно совместное использование биометрической идентификации с традиционными средствами, т.е. карточками, PIN-кодами и паролями. AWS подчёркивает, что Amazon One Enterprise отличается от решений для магазинов уровнем обеспечения безопасности. В частности, коллекция отпечатков ладоней сохраняется в облаке AWS отдельно для каждой компании. С помощью точно такого же устройства пользователь может удалить свои данные, а если в течение двух лет он не проявлял никакой активности, данные будут удалены автоматически.

Компания QNAP Systems анонсировала модули расширения TL-R1200PES-RP, TL-R1600PES-RP и TL-R2400PES-RP, предназначенные для использования совместно с NAS. Эти стоечные решения PCIe JBOD, выполненные в форм-факторе 2U, 3U и 4U соответственно, рассчитаны на установку 12, 16 и 24 накопителей.

Могут применяться HDD или SSD типоразмера LFF или SFF с интерфейсом SATA-3. Допускается горячая замена. Младшая версия оборудована двумя блоками питания мощностью 300 Вт каждый, старшие — двумя блоками на 550 Вт. В системе воздушного охлаждения задействованы два (2U) и три (3U/4U) вентилятора диаметром 80 мм. Модели на 12 и 16 накопителей выполнены в укороченном шасси. Диапазон рабочих температур — от 0 до +40 °C.

Применяется хост-интерфейс SFF-8644 (×2). Для подключения модулей расширения в NAS должна быть установлена карта QXP-3X8PES (PCIe 3.0 x8) или QXP-3X4PES (PCIe 3.0 x4). Максимальная скорость обмена данными составляет чуть меньше 8 Гбайт/с, но на практике зависит от используемых накопителей и возможностей NAS. Реализована функция включения/выключения через NAS, что повышает удобство управления. На новинки предоставляется пятилетняя гарантия.

Источник изображения: QNAP

В общей сложности к одному хранилищу можно подсоединить до 12 полок PCIe JBOD, что даёт до 144 накопителей в случае TL-R1200PES-RP, до 192 у TL-R1600PES-RP и до 288 накопителей для TL-R2400PES-RP. Таким образом, могут формироваться массивы петабайтного класса — с эффективной вместимостью до 2,0, 2,9 и 4,1 Пбайт соответственно (RAID 60; HDD ёмкостью 22 Тбайт).

Облачная платформа AWS объявила о доступности Amazon S3 Express One Zone — нового высокопроизводительного объектного хранилища. Утверждается, что решение обеспечивает в 10 раз более высокую производительность по сравнению со стандартной версией S3, что позволяет ускорить работу приложений с интенсивным использованием данных.

Каждая корзина Amazon S3 Express One Zone располагается в определённой локальной зоне, выбранной заказчиком. Там же могут находиться вычислительные ресурсы (EC2, ECS, EKS), что обеспечивает минимальные задержки при обработке запросов. AWS заявляет, что S3 Express One Zone не только быстрее стандартного хранилища S3, но и обеспечивает значительную экономию средств. Утверждается, что стоимость запросов на 50 % ниже по сравнению с обычным хранилищем S3.

Источник изображений: AWS

Утверждается, что хранилище Amazon S3 Express One Zone может обслуживать сотни тысяч запросов в секунду с постоянной задержкой, которая измеряет миллисекундами. Сервис способен обрабатывать объекты любого размера, но наибольшая эффективность достигается при работе с небольшими блоками. Доступ к хранилищу можно получить посредством стандартного набора API. Корзины поддерживают заданный набор функций, включая загрузку и копирование файлов по частям (multi-part upload/copy), предварительно назначенные URL-адреса и анализатор доступа.

По заявлениям AWS, решение отлично подходит для создания масштабных ИИ-моделей, которым требуется доступ к наборам обучающих данных миллионы раз в минуту. Кроме того, могут решаться ресурсоёмкие задачи в сферах финансового моделирования, обработки мультимедийного контента, формирования и размещения рекламы в реальном времени и пр. Такие приложения обычно хранят данные в течение относительно короткого периода времени, но в течение этого срока обращаются к ним очень часто.