Red Hat объявила о запуске платформы Red Hat Enterprise Linux AI (RHEL AI) для создания генеративных ИИ-решений в облачных средах. По данным Silicon Angle, анонсированный три месяца назад пакет ПО сделали общедоступным в ходе мероприятия Red Hat Summit.

Ранее анонсированный пакет включает семейство открытых языковых моделей IBM Granite, а также инструмент настройки моделей InstructLab, разработанный самой RedHat. Всё это объединили в образ RHEL для развёртывания в гибридных облаках и на локальных площадках. В компании сообщили, что RHEL AI упростит и удешевит разработку компактных и недорогих моделей.

Затраты на обучение моделей могут быть очень высокими, в Red Hat сообщают, что на создание некоторых передовых моделей уходит до $200 млн. И это только на обучение, без учёта стоимости самих данных и настройки, критически важной для выполнения специальных задач каждой конкретной компании. В Red Hat уверяют, что будущее за небольшими генеративными ИИ-моделями, большинство которых будет open source.

Источник изображения: Red Hat

В компании рассчитывают, что RHEL AI станет основной платформой для создания «бюджетных» и открытых решений. По умолчанию предоставляется библиотека бесплатных LLM Granite общего назначения. InstructLab поможет в тонкой настройке моделей без обширных навыков, связанными с наукой о данных. А интеграция с Red Hat OpenShift AI упростит обучение, настройку и обслуживание моделей. RHEL AI позволит разворачивать генеративный ИИ в непосредственной близости от баз данных и хранилищ компаний.

RHEL AI оптимизирован для развёртывания на новейших серверах Dell PowerEdge и обеспечивает все возможности, предоставляемые подпиской Red Hat, в т.ч. круглосуточную поддержку, расширенную поддержку жизненного цикла моделей и, например, правовую защиту Open Source Assurance. Поскольку RHEL AI фактически является расширением Red Hat Enterprise Linux, дистрибутив можно использовать и на любом другом оборудовании, в том числе в облаках. Решение уже доступно у AWS и IBM Cloud, в Google Cloud и Azure появится возможность использовать его позже в этом году. В IBM Cloud ожидается появление предложения «как услуги» — по подписке в самом облаке, но только в следующем году.

Ранее сообщалось, что для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти и хранилище от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

В ядре Linux Kernel 6.12, по сообщению ресурса Phoronix, появится функция отображения QR-кода во время критических сбоев ядра (kernel panic). Идея заключается в том, чтобы предоставлять пользователям максимально подробную информацию о причинах появления «экрана смерти» и возможных способах устранения проблемы.

Как отмечает Tom's Hardware, попытки интеграции информационных QR-кодов в Linux осуществлялись и раньше. Так, возможность внедрения данного инструмента обсуждалась в 2014 году. А в декабре 2023-го состоялся релиз systemd 255 с модулем systemd-bsod, который в случае сбоя отображает «синий экран смерти» и QR-код с ошибкой.

Источник изображения: Phoronix

Аналогичный инструмент интегрируется непосредственно в ядро Linux 6.12, поэтому даже если произойдет полный сбой операционной системы, пользователь всё равно увидит QR-код с описанием проблемы. QR-код — достаточно мощный и важный инструмент для выяснения причины критического сбоя, особенно с учётом того, что обычно вывод о причинах неполадок обрезан. Поддержка новой функции реализована в виде Rust-модуля. Работа инструмента контролируется параметром DRM_PANIC_SCREEN_QR_CODE.

Нужно отметить, что Microsoft добавила QR-код к «синему экрану смерти» Windows в 2016 году. Но при его сканировании пользователь попадает лишь на общую страницу поддержки, не получая никаких дополнительных подробностей. Вместо этого предлагается перезапустить компьютер, открыть приложение Get Help и затем ввести «Troubleshoot BSOD error». Однако такой подход бесполезен, если «экран смерти» возникает при каждом включении ПК.

Проект FreeBSD опубликовал отчёт за II квартал 2024 года, в котором описана проделанная работа ведущими разработчиками BSD. По данным Phoronix, среди выполненных за последний квартал задач FreeBSD Foundation выделяются проекты по улучшению аудиостека, улучшению OpenZFS, переносу VPP (Vector Packet Processing) на FreeBSD и улучшению поддержки беспроводных сетей.

Также стало известно, что AMD и FreeBSD Foundation сотрудничают в разработке полноценного драйвера AMD IOMMU. Цель проекта — улучшить поддержку серверов на базе AMD EPYC во FreeBSD, в том числе с более чем 256 ядрами, сделать интеграцию с системой виртуализации Bhyve и другие усовершенствования.

«Продолжалась работа над совместным проектом Advanced Micro Devices (AMD) и FreeBSD Foundation по разработке драйвера AMD IOMMU. Этот драйвер позволит FreeBSD полностью поддерживать более 256 ядер с такими функциями, как отображение [mapping] CPU, а также будет включать интеграцию Bhyve. Константин Белоусов работал над различными частями проекта, включая подключение драйвера, определение регистров, парсер таблиц ACPI и реализацию служебных функций. Два ключевых компонента, которые необходимо доделать, — это обработка контекста, которая в основном является обобщением кода Intel DMAR, и создание таблиц страниц. После этого можно будет активировать драйвер AMD для тестирования. Чтобы следить за работой Константина, ищите коммиты в репозитории с тегом «Sponsored by fields for Advanced Micro Devices (AMD) and The FreeBSD Foundation»», — говорится в отчёте.

Источник изображения: FreeBSD

Появление поддержки со стороны AMD для сообщества FreeBSD является значимым событием, поскольку ранее только Intel славилась активным вкладом в развитие проекта и предоставлением инженерных ресурсов на протяжении многих лет. В этом свете интересно, является ли поддержка AMD жестом доброй воли или же у компании есть клиенты, которым необходимы совместимость и оптимизации для FreeBSD. Среди крупных игроков, в инфраструктуре которых активно используется FreeBSD, есть, например, Netflix. В последние годы Arm также начала активно участвовать в развитии ОС.

Кроме того, FreeBSD продолжает активную работу по поддержке архитектуры RISC-V. Так, уже существует экспериментальная поддержка Bhyve. Кроме того, одной из новых разработок для ядра FreeBSD стало создание Zcond — легковесного механизма условного выполнения, аналогичного интерфейсу static_key в Linux.

Похоже, команда юристов AMD намерена получить полный контроль над значительной частью базы ПО, созданной в рамках открытого проекта ZLUDA. По данным The Register, ранее в этом году компания прекратила финансовую поддержку инициативы, позволяющей использовать CUDA-код на сторонних ускорителях. Теперь, похоже, AMD ужесточает политику.

Изначально проект ZLUDA создавался для запуска CUDA-приложений без каких-либо модификаций на GPU Intel при поддержке со стороны самой Intel. Позже автор проекта Анджей Яник (Andrzej Janik) подписал с AMD контракт, в рамках которого предполагалось создание аналогичного инструмента для ускорителей AMD. В начале 2022 года проект стал закрытым, но уже в начале 2024 года Яник снова сделал проект открытым по соглашению сторон, поскольку AMD решила прекратить финансирование и дальнейшее развитие ZLUDA.

Источник изображения: Mapbox/unsplash.com

Однако позже AMD изменила своё решение. Именно по её запросу соответствующее ПО стало недоступным. По словам Яника, юристы AMD заявили, что предыдущее письмо с разрешением на публикацию кода не является юридически значимым документом. Яник после консультации с юристом пришёл к выводу, что законность писем не имеет значения, поскольку потенциальная судебная тяжба с AMD отняла бы у него слишком много ресурсов, а её результат трудно предсказать. Проще и быстрее переписать проект на базе старых наработок, хотя часть функций, вероятно, воссоздать не выйдет.

Почему в AMD решили попытаться «похоронить» ZLUDA, достоверно неизвестно. Первой и самой очевидной причиной может быть желание AMD дистанцироваться от проекта, возможно, нарушающего права NVIDIA на интеллектуальную собственность. NVIDIA уже запретила использовать CUDA-код на других аппаратных платформах, создавая «слои трансляции CUDA», и прибегать к декомпиляции всего, что создано с помощью CUDA SDK, для адаптации ПО для запуска на других GPU.

Кроме того, в AMD могли посчитать, что само существование ZLUDA могло бы помешать внедрению собственного ПО. Собственный инструментарий AMD предполагает именно портирование и рекомпиляцию исходного кода CUDA вместо запуска уже готовых программ. Кроме того, мог возникнуть конфликт относительного того, какой код, созданный в рамках ZLUDA, можно выпускать, а какой нет.

То ли в шутку, то ли всерьёз компания Torrance Computer Supply (TCS) начала продажи накопителей с предзаписанными большими язковыми моделями. Доступны как HDD ёмкостью 14 Тбайт, так и карта памяти вместимостью 1 Тбайт.

HDD-вариант базируется на недорогом 14-Тбайт LFF-накопителе MDD (MDD16TSATA25672E): SATA-3, 7200 RPM, кеш 256 Мбайт. Это один из самых доступных жёстких дисков такой ёмкости, поскольку MDD занимается восстановлением б/у накопителей и продажей складских остатков крупных вендоров под своим брендом. В комплекте с жёстким диском поставляется кейс Orico и адаптер USB 3.0 с внешним питанием (12 В, 24 Вт).

Mika Baumeister / Unsplash

Согласно описанию, на жёсткий диск записаны актуальные версии более двух десятков открытых больших языковых моделей (LLM), включая различные варианты Llama, Mistral, Nemotron и др. Предлагаются версии от нескольких миллиардов до почти полутриллиона параметров максимальным объёмом до 820 Гбайт. Продавцы уверяют, что постоянно меняют набор в зависимости от изменений рынка и технологий. Покупка обойдётся в $229, но если накопитель вернуть, то можно получить $125 на дальнейшие покупки в этом же магазине.

На том же сайте предлагается и комплект LLM «для бедных» — желающие могут приобрести флэш-карту SanDisk 1TB Ultra microSDXC UHS-I на 1 Тбайт с адаптером в комплекте. Этот вариант стоит всего $119 и поставляется как минимум с тремя ИИ-моделями: Llama3.1 на 8, 70 и 405 млрд параметров. Практическая ценность данных предложений сомнительна, поскольку никто не мешает скачать те же самые модели и записать их на свой накопитель. Впрочем, некоторые компании предлагают услуги по оффлайн-транспортировке данных, но в этом случае речь идёт о на порядок больших объёмах.

Несколько европейских стран уже делают ставку на открытое ПО (open source) для государственного сектора. По данным ZDNet, на этот раз важный шаг навстречу открытым программным решениям сделала Швейцария, приняв «Федеральный закон об использовании электронных средств выполнения государственных задач» (EMBAG). В частности, он предписывает использование открытого ПО в государственном секторе.

Новый закон требует от всех государственных органов раскрыть код программного обеспечения, разработанного ими или для них, за исключением случаев, когда это нецелесообразно по соображениям безопасности или нарушает сторонние права. Такой подход должен способствовать прозрачности, безопасности и эффективности правительственной деятельности.

Подобный переход осуществить нелегко. В 2011 году Федеральный верховный суд Швейцарии (Swiss Federal Supreme Court) опубликовал судебное приложение Open Justitia под открытой лицензией. Компания Weblaw, занимающаяся проприетарным юридическим ПО, выступила категорически против такого решения. Разбирательства длились более 10 лет, пока в 2023 году не был принят закон EMBAG. Он не просто разрешает публиковать код программного обеспечения органам власти или их подрядчиками под открытой лицензией, но и требует этого — с учётом названных исключений.

Источник изображения: Henrique Ferreira/unsplash.com

По словам сторонников закона, EMBAG открывает большие возможности для правительства, IT-индустрии и общества. Предполагается, что государственный сектор избавится от зависимости от конкретных вендоров, у компаний появится больше возможностей для развития своих цифровых решений, что потенциально позволит снизить себестоимость информационных технологий и улучшить обслуживание налогоплательщиков.

Дополнительно EMBAG предписывает публикацию неперсональных и не несущих угрозу безопасности государственных данных в формате Open Government Data (OGD). Другими словами, открытость данных по умолчанию обеспечит большую открытость и многократное практическое применение ПО и информации.

Применение EMBAG может послужить примером и другим странам, рассматривающим аналогичные меры. Закон предназначен для продвижения концепции цифрового суверенитета и поощряет инновации и сотрудничество в пределах структур государственного сектора. Федеральное статистическое управление Швейцарии (Swiss Federal Statistical Office, BFS) возглавит применение закона, но организационные и финансовые аспекты всё ещё предстоит прояснить.

Некоторые другие страны Европы уже довольно давно поддерживают open source в госструктурах. Например, Национальная жандармерия Франции давно пользуется Linux, а Евросоюз в целом давно способствует продвижению open source с помощью проекта Free and Open Source Software Auditing (FOSSA), направленного на проверку ПО с открытым кодом. Впрочем, многие опасаются, что Еврокомиссия урежет финансирование фонду NGI Zero Commons — важному источнику средств для открытых разработок.

В США поддержка «открытой» концепции гораздо ниже, чем в Европе. Доктрина Federal Source Code Policy предписывает федеральным органам делать открытым не менее 20 % выпускаемого ими кода. При этом использование open source решений не обязательно. Управление общих служб США (GSA) также предписывает своим структурам публиковать открытый исходный код, продвигая политику «открытость в первую очередь» при разработке ПО. Другими словами, пока Швейцария фактически является одним из мировых лидеров движения за внедрение open source, Европе и США придётся проделать в этом направлении ещё немало работы.

Компания Google, по сообщению ресурса DarkReading, дала старт соревнованию Bug Bounty по поиску уязвимостей нулевого дня в гипервизоре KVM (Kernel-based Virtual Machine) с открытым исходным кодом. Сумма вознаграждений за успешные атаки варьируется от $10 тыс. до $250 тыс.

Источник изображения: pixabay.com

KVM обеспечивает виртуализацию в среде Linux. Компания Google является активным участником проекта KVM, применяя гипервизор в различных продуктах и системах, включая Android и облачную платформу Google Cloud.

Состязание по взлому KVM проводится по модели Capture the Flag («Захват флага»). Участники резервируют временные интервалы для входа в виртуальную машину, работающую на «голом железе», а затем пытаются провести атаку «гость — хост». Целью является использование уязвимости нулевого дня в KVM. В случае успеха нападающий получит «флаг», подтверждающий факт проникновения. Размер вознаграждения определяется серьёзностью найденной дыры:

• Полный побег из виртуальной машины (Full VM escape) — $250 тыс.;
• Произвольная запись в память (Arbitrary memory write) — $100 тыс.;
• Произвольное чтение памяти (Arbitrary memory read) — $50 тыс.;
• Относительная запись в память (Relative memory write) — $50 тыс.;
• Отказ в обслуживании (DoS) — $20 тыс.;
• Относительное чтение памяти (Relative memory read) — $10 тыс.

Подробности об уязвимости нулевого дня будут переданы Google после выпуска соответствующего патча, чтобы гарантировать, что компания получит информацию одновременно с остальным сообществом разработчиков open source.

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о приобретении компании по управлению данными Tabular. Точная сумма сделки не раскрывается, но глава Databricks Али Годси (Ali Ghodsi) сообщил в интервью CNBC, что стоимость покупки превышает $1 млрд. Соучредители Tabular присоединятся к Databricks, где будут работать над объединением клиентских баз и сообществ Tabular и Databricks.

Компания Tabular была основана ими в 2021 году. Она предлагает продукты для управления данными, созданные на основе Apache Iceberg — проекта, которым создатели Tabular занимались в Netflix и позже передали в дар фонду Apache Software Foundation. Iceberg — открытый формат для таблиц сверхбольших данных. Databricks предлагает объектно-ориентированное озеро данных Lakehouse на базе собственного открытого формата Delta Lake.

Источник изображения: Tabular

С момента создания Delta Lake в проекте приняли участие более 500 разработчиков. Более 10 тысю компаний по всему миру используют Delta Lake для обработки в среднем более 4 Эбайт данных каждый день. Это быстрорастущий бизнес, но Iceberg-решения не менее популярны и конкурируют с решениями Databricks, отметил ресурс Blocks & Files. При этом о полной совместимости между Iceberg и Delta Lake речи не было.

Но в 2023 году компания также представила UniForm-таблицы, позволяющие работать с Delta Lake, Iceberg и Hudi. А после поглощения Databricks будет тесно сотрудничать с сообществами Delta Lake и Iceberg для разработки совместимых форматов озёр данных. В краткосрочной перспективе это будет реализовано в рамках Delta Lake UniForm, а в долгосрочной перспективе будет создан единый, открытый и общий стандарт.

30 июня 2024 года завершится жизненный цикл CentOS 7 — популярной платформы, основанной на коммерческом дистрибутиве Red Hat Enterprise Linux (RHEL). Это означает, что поддержка «классической» CentOS будет полностью прекращена. Пользователям рекомендуется рассмотреть варианты миграции на альтернативные ОС. Основная поддержка CentOS, напомним, прекратилась в конце 2021 года, а не в 2029-м, как ожидалось. Место CentOS заняла CentOS Stream, вечная бета-версия RHEL.

В июне 2023 года Red Hat объявила о прекращении поддержки публикации исходного кода пакетов уже выпущенных релизов в репозитории CentOS. В ответ участники рынка заявили, что действия Red Hat создают нестабильность и не соответствуют принципам open source. Вместе с тем CIQ, Oracle и SUSE создали совместную торговую ассоциацию Open Enterprise Linux Association (OpenELA), чтобы противостоять политике Red Hat.

Источник изображения: CentOS

Несмотря на сложившуюся ситуацию, CentOS продолжает пользоваться популярностью в бизнес-среде. По статистике, полученной с более чем 200 тыс. устройств на базе различных версий Linux, CentOS используется на 26,05 % таких компьютеров. Эта платформа уступает только Ubuntu с показателем 32,24 %. А доля RHEL составляет приблизительно 20,11 %.

Отмечается, что использование устаревшей ОС сопряжено с рядом существенных рисков. Без постоянной поддержки CentOS больше не будет получать критические обновления безопасности, что сделает платформу более уязвимой для кибератак. На этом фоне компания CIQ, поддерживающая Rocky Linux, анонсировала инициативу CIQ Bridge для пользователей CentOS 7. Это расширенная поддержка сроком на три года с доступом по подписке с фиксированной ставкой. Клиентам будут предоставляться обновления, а также заплатки для уязвимостей, имеющих рейтинг CVSS 7 и выше. Патчи для дыр с рейтингом CVSS 5 и CVSS 6 могут распространяться на дополнительных условиях.

Red Hat представила Red Hat Enterprise Linux AI (RHEL AI), базовую платформу, которая позволит более эффективно разрабатывать, тестировать и запускать генеративные модели искусственного интеллекта (ИИ) для поддержки корпоративных приложений. Фактически это специализированный дистрибутив, включающий базовые модели, инструменты для работы с ними и необходимые драйверы.

Источник изображений: Red Hat

Доступная сейчас в качестве превью для разработчиков, платформа RHEL AI включает в себя семейство больших языковых моделей (LLM) IBM Granite, недавно ставших доступными под лицензией Apache 2.0, инструментом тюнинга и доработки моделей InstructLab посредством методики LAB (Large-Scale Alignment for Chatbots), а также различные библиотеки и фреймворки.

Решение представляется в виде готового для развёртывания образа и является частью MLOps-платформы OpenShift AI. По словам Red Hat, RHEL AI предоставляет поддерживаемую, готовую к корпоративному использованию среду для работы с ИИ-моделями на аппаратных платформах AMD, Intel и NVIDIA. По словам компании, open source подход позволит устранить препятствия на пути реализации стратегии в области ИИ, такие как недостаток навыков обработки данных и финансовых возможностей.

Основная цель RHEL AI и проекта InstructLab — предоставить экспертам в предметной области возможность напрямую вносить свой вклад в большие языковые модели, используя свои знания и навыки. Новая платформа позволит им более эффективно создавать приложения с использованием ИИ, например, чат-боты. Впоследствии при наличии подписки RHEL AI компания предложит поддержку корпоративного уровня на протяжении всего жизненного цикла продукта, начиная с модели Granite 7B и ПО и заканчивая возможным возмещение ущерба в отношении интеллектуальной собственности.

«Опираясь на инфраструктуру GPU, доступную в IBM Cloud, которая используется для обучения моделей Granite и поддержки InstructLab, IBM Cloud получит поддержку RHEL AI и OpenShift AI. Эта интеграция позволит предприятиям легче внедрять генеративный ИИ в свои критически важные приложения», — отметила компания.

При этом прямо сейчас для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти, а также хранилищем ёмкостью от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.