В современных ИИ-системах огромную роль играет перемещение больших объёмов данных, однако механика этого перемещения далеко не оптимальны. Google представила экспериментальную реализацию механизма Device Memory TCP для ядра Linux, который позволяет избавиться от ненужного копирование данных в буфер хост-системы, сообщает Phoronix.

Инициатива Device Memory TCP как раз и нацелена на то, чтобы избавиться от лишних перемещений больших объёмов данных при копировании их с устройств хранения на удалённые ускорители GPU/TPU в тех случаях, когда эти данные не требуют обработки хост-системой. То есть Devmem TCP позволяет открыть прямой сетевой доступ к ресурсам памяти GPU, TPU и прочих сопроцессоров.

Google: TPU Pod. В системах такого масштаба использование Devmem TCP позволит существенно поднять эффективность

Если технология Devmem TCP будет внедрена в Linux, то в ОС появятся новые API для работы с сокетами, позволяющие непосредственно отсылать содержимое памяти по сети, а также и принимать напрямую в память пакеты, приходящие из сети, без промежуточной буферизации. По словам Google, это позволит существенно снизить нагрузку на подсистемы памяти и более эффективно использовать доступную пропускную способность PCI Express. В тестовой реализации уже удалось добиться утилизации сетевого канала на уровне 96,6 %.

Институт системного программирования им. В.П. Иванникова Российской академии наук (ИСП РАН) сообщил о формировании Консорциума участников по поддержке Технологического центра исследования безопасности ядра Linux. Главной задачей новой организации является повышение уровня защищённости российских ОС.

Названный технологический центр был создан в 2021 году на базе ИСП РАН под эгидой ФСТЭК России в целях реализации федерального проекта «Информационная безопасность» национальной программы «Цифровая экономика Российской Федерации». Специалисты центра работают над повышением безопасности отечественных Linux-платформ.

Источник изображения: pixabay.com

Предполагается, что появление нового консорциума позволит поднять эффективность исследований в обозначенной сфере. Кроме того, будет решён вопрос дублирования работ по изучению и устранению проблем безопасности Linux. Консорциум не является юридическим лицом и может расширяться по мере выполнения задач и достижения целей. Присоединиться к организации могут компании, чья деятельность так или иначе связана с исследованиями безопасности Linux-систем.

В число направлений деятельности консорциума входят: совершенствование средств разработки и тестирования ПО; повышение квалификации разработчиков отечественных Linux-продуктов; улучшение нормативного и методического обеспечения процессов безопасной разработки ПО в России; разработка методик и рекомендаций по исследованию безопасности ядра Linux; развитие инфраструктуры для научной, научно-технической и инновационной деятельности, направленной на повышение уровня защищённости отечественных Linux-систем и пр.

Сообщество разработчиков ядра Linux отказалось принимать от российской компании «Байкал Электроникс» патчи для ядра. О запрете, как отмечает ресурс Phoronix, сообщил Якуб Кичиньский (Jakub Kicinski), занимающийся поддержкой сетевой подсистемы Linux. «Нам некомфортно принимать патчи от вашей организации или обновления, связанные с произведённым вами оборудованием», — заявил господин Кичиньский в переписке с Сергеем Сёминым, сотрудником «Байкал Электроникс».

Дело в том, что российский разработчик процессоров и SoC с архитектурами MIPS и Arm находится под европейскими и американскими санкциями. В этой связи Якуб Кичиньский посоветовал «Байкал Электроникс» воздержаться от внесения изменений в сетевую подсистему ядра Linux «до дальнейшего уведомления». Отметим, что именно благодаря «Байкал Электроникс» в ядре Linux появилась полноценная поддержка Warrior P5600 — именно это решение лежит в основе чипа «Байкал-Т1».

Источник изображения: «Байкал Электроникс»

Как уточняет Phoronix, отказ принимать патчи последовал после того, как «Байкал Электроникс» предложила ряд исправлений для сетевого драйвера STMMAC. Он предназначен для Ethernet-контроллеров Synopsys, которые используются в решениях российской компании. «Серия исправлений, о которой идёт речь, не относится непосредственно к решениям "Байкал Электроникс", а представляет собой всего лишь исправления для сетевого драйвера Synopsys, используемого несколькими различными аппаратными платформами/организациями», — подчёркивается в публикации.

Одной из проблем и в то же время достоинств Linux является поддержка многих старых архитектур процессоров. Это увеличивает размеры ядра и усложняет сопровождение. Но теперь, похоже, на одну архитектуру станет меньше. В ядре Linux 5.11, как выяснилось, оказалась нарушена поддержка Itanium IA-64.

После исправления выяснилось, что это не единственная проблема такого рода, однако истинную причину выяснить не удалось из-за отсутствия доступа к «железу». Так что Линус Торвальдс (Linus Torvalds) в итоге принял решение пометить данную архитектуру как orphaned, то есть заброшенную, и прямо заявил, что она мертва. А это первый шаг к полному исключению её из ядра, как это уже случилось с другим продуктом Intel — Xeon Phi.

Изображения: wikipedia.org

Два последних крупных игрока на рынке Itanium-систем — сама Intel и её клиент HPE — уже давно забросили поддержку этой архитектуры в Linux, да и энтузиасты к ней охладели. И это объяснимо. Последнее поколение Itanium 9700 Kittson вышло в 2017 году, а приём заказов на них прекратился год назад. Поставки формально будут свёрнуты 29 июля 2021 года, но эти CPU с высокой степенью вероятности практически никто не закупил хоть в сколько-то значимых объёмах.

Несбывшиеся надежды

В дистрибутивах же поддержку процессоров убрали давно. Red Hat не поддерживает чипы с RHEL 5, SUSE перестала поддерживать после SUSE Linux 11. Так что теперь поддержка будет осуществляться лишь теми компаниями, которые явно заинтересованы в этом. Разумеется, если такие остались. В своё время спор между Oracle и HPE подорвал репутацию платформы. Впрочем, Linux не является единственным вариантом — поддержка HP-UX, наследника классических UNIX, версии 11i v3 для ряда продуктов HPE будет осуществляться до 31 декабря 2025.

Аналогичная ситуация сложилась и вокруг SPARC c Solaris, так как большую часть разработчиков обоих продуктов Oracle уволила ещё в 2017 году. Oracle обязалась сопровождать Solaris 11 максимум до 2034 года. В частности, на днях она выпустила патч безопасности для sudo и восстановила некоторые старые материалы. Однако Solaris 12 мы вряд ли когда-либо увидим. Сейчас компании гораздо более интересны облака, Linux и Arm-процессоры Ampere.

Финальная партия Intel Xeon Phi была отгружена летом этого года, хотя сам закат продуктов на базе архитектуры MIC (Many Integrated Core) начался за несколько лет до этого. Теперь же можно сказать, что в их истории поставлена последняя точка — из основной ветки ядра Linux 5.10 поддержка этих процессоров убрана уже в rc2.

В ядре Linux поддержка MIC появилась в 2013 году, и Intel очень активно развивала её, почти втрое увеличив объём кодовой базы. Однако в последние годы развитие прекратилось и код остался фактически заброшенным. Связано это, понятное дело, с уходом ускорителей с рынка, где они не стали массовыми, проиграв конкуренцию NVIDIA как в HPC, так и в остальных сегментах.

Intel последовательно отменила выпуск следующего поколения MIC и продуктов всех прошлых поколений Xeon Phi, переключившись на создание универсальной архитектуры GPU. HPC-ускорители на её базе должны появиться в скором времени. Шине Intel Omni-Path, которая была непосредственно интегрирована в некоторые поздние модели Xeon Phi, повезло больше — после отказа Intel разработки были переданы свежесозданной Cornelis Networks.

Тем не менее, кое-какое наследие MIC в ядре всё же может сохраниться. Речь идёт подсистеме VOP (VirtIO over PCIe), которая решает некоторые проблемы виртуализации PCI Express и для устройств других вендоров. Однако в текущем она ориентирована только на поддержку продуктов и драйверов Intel, и сможет вернуться в ядро Linux лишь после доработки.