Материалы по тегу: cpu

08.07.2023 [23:57], Сергей Карасёв

Intel возобновила поставки процессоров Xeon Sapphire Rapids, устранив баг путём обновления прошивки

Компания Intel, по сообщению ресурса Tom's Hardware, возобновила отгрузки процессоров Xeon Sapphire Rapids после устранения выявленной ошибки. Клиенты, которые ранее закупили проблемные чипы, могут получить обновление микрокода, в котором баг отсутствует.

Об обнаруженной ошибке стало известно в конце июня нынешнего года. Говорилось, что баг может провоцировать внезапную остановку работы системы. На тот момент способов решения проблемы известно не было. Чипы Sapphire Rapids доступны в двух конструктивных вариантах: XCC и MCC. В первом случае применяется сборка из четырёх кристаллов: число вычислительных ядер варьируется от 36 до 60. Вторая модификация имеет монолитную конструкцию с числом ядер до 32. И именно в MCC-изделиях обнаружилась недоработка. Intel заявила о приостановке поставок этих процессоров из соображений предосторожности, но не назвала конкретную дату возобновления отгрузок.

 Изображение: Intel

Изображение: Intel

Проблему удалось решить путём выпуска новой версии прошивки, так что компании не пришлось инициировать дорогостоящую программу отзыва и замены чипов. «Недавно мы сообщили о проблеме с подмножеством процессоров Intel Xeon со средним числом ядер (SPR-MCC), которая может прерывать работу системы при определённых условиях. Из соображений предосторожности мы временно приостановили поставки этих изделий. Теперь мы уверены, что новая микропрограмма решает проблему. Мы возобновили поставки всех версий SPR-MCC и работаем с клиентами над внедрением исправленной прошивки», — сказали в Intel.

Постоянный URL: http://servernews.kz/1089641
30.06.2023 [21:39], Владимир Мироненко

Глава Oracle считает, что архитектура Intel x86 теряет актуальность для серверов

В 2023 году Oracle планирует потратить значительные средства на приобретение чипов AMD и Ampere Computing для новой инфраструктуры, отметив, что «старая архитектура Intel x86 достигает своего предела».

«В этом году Oracle купит GPU и CPU у трёх компаний,сообщил на прошедшем в среду мероприятии глава Oracle Ларри Эллисон (Larry Ellison). — Мы будем покупать GPU у NVIDIA, мы покупаем у неё на миллиарды долларов США. И потратим в три раза больше на центральные процессоры от Ampere и AMD. Мы по-прежнему тратим больше денег на традиционные чипы».

Oracle сообщила, что впервые за 14 лет существования специализированных ПАК Exadata для СУБД она полностью отказалась от процессоров Intel в пользу чипов AMD. В платформе 12-го поколения Exadata X10M в рамках двух предложений Oracle Exadata Machine и управляемого решения Oracle Exadata Cloud@Customer будут использоваться AMD EPYC Genoa. Одной из причин такого перехода, пусть и далеко не самой важной, считается отказ Intel от Optane.

 Источник изображения: Oracle

Источник изображения: Oracle

С момента запуска Exadata в 2008 году Oracle полагалась на процессоры Intel Xeon. Но ситуация начала меняться c выходом X9M в 2021 году. Для Oracle Exadata Machine и Oracle Exadata Cloud@Customer компания выбрала чипы Intel Xeon Ice Lake-SP, а в начале 2022 года для облачного решения Oracle Exadata Cloud Infrastructure решила использовать чипы AMD. При этом EPYC Milan использовались в серверах для обеспечения работы баз данных, а Ice Lake-SP — для СХД.

Кроме того, на днях Oracle сделала важный шаг — перенесла свою флагманскую СУБД Oracle Database на архитектуру Arm, т.е. на процессоры компании Ampere Computing, в которую в своё время инвестировала. Эллисон отметил, что чипы Ampere Altra намного энергоэффективнее решений AMD и NVIDIA, что поможет ЦОД Oracle соответствовать будущим регуляциям. «Мы перешли на новую архитектуру и к новому поставщику, — сообщил Эллисон. — Мы думаем, что это будущее. Старая архитектура Intel x86 после многих десятилетий на рынке подошла к своему пределу».

 Источник изображения: Oracle

Источник изображения: Oracle

Тем не менее, эксперты полагают, что ставка Oracle на архитектуру Arm не помешает её отношениям с AMD в ближайшее время, тем более что Intel и AMD планируют бороться с Arm-процессорами с помощью оптимизированных для облачных платформ чипов с высокой плотностью ядер и улучшенной энергоэффективностью: EPYC Bergamo и Xeon Sierra Forest. Кроме того, разработка, перенос и рефакторинг ПО для Arm требует времени и средств.

В свою очередь, представитель Intel сообщил ресурсу CRN в четверг, что компания поставляет Oracle процессоры Xeon Sapphire Rapids «в течение многих месяцев и планирует продолжать поставки Xeon текущего и следующего поколения в будущем». Компании связывают долгие годы совместной работы над аппаратными и программными решениями для клиентов, а сейчас Intel поставляет чипы для облачной инфраструктуры Oracle OCI.

Постоянный URL: http://servernews.kz/1089257
30.06.2023 [10:22], Сергей Карасёв

Самый мощный процессор AMD EPYC Bergamo со 128 ядрами появился в продаже в Европе

Европейские ретейлеры, по сообщению ресурса TechRadar, начали приём заказов на самый мощный в мире процессор с архитектурой x86 — чип AMD EPYC 9754 поколения Bergamo, который был официально представлен только около двух недель назад.

Изделие объединяет 128 вычислительных ядер с возможностью одновременной обработки 256 потоков инструкций. Базовая тактовая частота составляет 2,25 ГГц, максимальная частота в турбо-режиме — 3,1 ГГц. Возможно использование до 6 Тбайт оперативной памяти DDR5. Реализована поддержка PCIe 5.0. Показатель TDP равен 360 Вт.

 Источник изображения: AMD

Источник изображения: AMD

Сообщается, что заказы на процессор EPYC 9754 с кодовым обозначением 100-000001234 начали принимать ретейлеры в Нидерландах, Финляндии, Польше, Швеции, Дании, Бельгии и Франции. Речь идёт об OEM-варианте, рассчитанном на отгрузки в больших партиях. Цена варьируется от $9500 до $11 200 за штуку. Правда, у большинства онлайновых продавцов на момент написания заметки чип значился «отсутствующим на складе».

В интернете также появились результаты тестов, подтверждающие высочайшую производительность EPYC 9754. Так, например, бенчмарк V-Ray 5 говорит о том, что один такой процессор по быстродействию превосходит связку из двух чипов Intel Xeon Platinum 8490H (Sapphire Rapids) с 60 ядрами. А в тесте SPEC CPU 2017 система с двумя процессорами EPYC 9754 опередила четырёхпроцессорный сервер с Xeon Platinum 8490H при меньшем энергопотреблении.

Постоянный URL: http://servernews.kz/1089219
29.06.2023 [18:46], Алексей Степин

Опубликованы результаты тестов Intel Xeon Max: набортная HBM-память даёт заметное преимущество в ИИ- и HPC-нагрузках

Процессоры Intel серии Xeon Max отличаются от своих обычных, «не максимальных» собратьев наличием интегрированной памяти HBM2e объёмом 64 Гбайт. Что же это даёт им на практике? Этот вопрос исследовал ресурс Phoronix — им в руки новейшие двухсокетные системы Supermicro Hyper SuperServer SYS-221H-TNR с чипами Xeon Max 9468 и 9480.

Напомним, Intel Xeon Max отличается от своих обычных собратьев серии Sapphire Rapids наличием 64 Гбайт HBM2e на борту, причём объём одинаков для всех моделей, хотя количество ядер может варьироваться от 32 до 56. Процессоры Xeon Max были протестированы в трёх режимах: только с памятью HBM (без DDR5), с HBM в качестве кеша для 512 Гбайт DDR5, а также в «плоском» режиме, но без отдачи HBM какому-либо процессу, то есть фактически только с DDR5.

 Изображение: Intel

Изображение: Intel

Тесты показали, что два первых режима действительно могут обеспечить преимущество в некоторых сценариях нагрузки. Результаты получились вполне закономерными: там, где сравнительно небольшого объёма HBM2e достаточно, режим HBM Only оказывается самым быстрым из-за высокой пропускной способности и отсутствия необходимости как-то синхронизировать работу с DDR5.

 Источник: Phoronix

Источник: Phoronix

Однако режим кеширования тоже обеспечивает выигрыш, хотя в ряде нагрузок, таких как OpenFOAM, он не такой большой. В ИИ-сценариях, в частности, в тестах OpenVINO, разница меньше, а иногда отключение HBM2e и вовсе позволяет добиться чуть лучшей производительности, особенно на системе с Xeon Max 9480, где на каждое ядро приходится меньше памяти. Но в других тестах, таких как PETSc и Stress-NG, использование HBM2e может дать огромный прирост производительности, который глупо было бы игнорировать.

В целом, можно уверенно заявлять, что в среднем, прирост производительности при HBM-кешировании составляет 10–11 %, а при отказе от DDR5 к этому значению можно добавить ещё около 8 %. Также очевидно, что потребление системы в таком режиме заметно ниже, поскольку не требуется питание для модулей DDR5. В целом можно говорить о 18–20 % превосходства на широком спектре нагрузок, сообщает Phoronix.

Постоянный URL: http://servernews.kz/1089160
28.06.2023 [17:22], Алексей Степин

Появились первые фото Intel Xeon Granite Rapids для огромного сокета LGA 7529

В 2024 году на смену платформам Sapphire Rapids и Emerald Rapids корпорация Intel планирует выпустить чипы Granite Rapids на базе производительных Р-ядер. Эти процессоры будут производиться с использованием техпроцесса Intel 3 и будут поистине огромными в смысле физических размеров — на днях энтузиасту с ником YuuKi_AnS удалось получить первые фотографии Granite Rapids.

Тенденция к укрупнению процессорных разъёмов не нова: эта гонка стартовала аккурат в момент переезда контроллера памяти, а затем и шины PCI Express из чипсета в сам процессор, и постепенно наращивание возможностей обеих интерфейсов сделало своё дело.

Источник изображений здесь и далее: YuuKi_AnS

Но снимки, опубликованные YuuKi_AnS, впечатляют даже на фоне AMD SP5 для платформы Genoa. Неудивительно, новый разъём превосходит SP5 даже по количеству контактов — 7529 против 6096. Процессоры Granite Rapids получат 12 каналов DDR5-5600, 96 линий PCIe 5.0 и поддержку CXL 2.0.

По размерам новые процессоры приблизительно в 1,7 раза больше Sapphire Rapids, ожидается, что размеры LGA-7529 составят 105 × 70 мм, что действительно больше, чем у AMD SP5, где аналогичные размеры составляют 75 × 72 мм; для сравнения, LGA-4189 (Ice Lake-SP) имеет габариты 77,6 × 56,6 мм.

Технически процессоры будут состоять из двух кристаллов с архитектурой Redwood Cove, включающей в себя только Р-ядра. Компания Intel планирует минимум три варианты охлаждения, рассчитанных на 400–500 Вт. Более подробно о Granite Rapids «синие» расскажут на мероприятии Intel Innovation, запланированном на сентябрь этого года.

Постоянный URL: http://servernews.kz/1089103
24.06.2023 [00:07], Владимир Мироненко

YADRO отказалась от архитектуры IBM POWER в пользу открытой RISC-V

Газете «Коммерсантъ» стало известно о выходе российского производителя серверов YADRO из консорциума OpenPOWER Foundation (OPF), созданного IBM, Google, NVIDIA, Mellanox Technologies и Tyan, в котором он имел статус «платинового участника» с эксклюзивным доступом к разработкам процессорной архитектуры POWER компании IBM. Сейчас в консорциум входят несколько сотен членов.

В YADRO пояснили «Коммерсанту», что решение было принято«в связи с очевидными организационными сложностями в поддержании высокого темпа дальнейшей совместной работы и с учётом стратегического долгосрочного выбора в пользу архитектуры RISC-V». Сейчас открытая процессорная архитектура RISC-V обычно используется для создания решений с низкой производительностью, хотя, помимо целого ряда ИИ-ускорителей, есть прототипы достатчно современных серверных CPU, например, от Ventana или SOPHGO.

Будучи участником OPF, YADRO имела доступ к предоставляемой IBM совместной разработке архитектуры POWER, на базе которой выпускала серверы Vesnin и СХД Tatlin. Решения YADRO используются в том числе операторами для «закона Яровой», а также госструктурами. По итогам IV квартала 2021 года, согласно данным IDC, лидерами российского рынка СХД в денежном выражении стали Huawei, YADRO и Dell с долями 39,1 %, 20,9 % и 9,5 % соответственно, но по объёму поставленных ёмкостей лидировала YADRO, опередившая Huawei и Dell. В целом, компания в 2021 году показала хороший рост, да и прошлый год, судя по всему, был удачным.

 Фото: YADRO

Фото: YADRO

Эксперты отмечают, что после введения санкций дальнейшая разработка POWER-решений могла стать затруднительной. Вместе с тем в портфолио YADRO уже есть отечественный разработчик RISC-V решений — компания Syntacore, которая не так давно вошла в состав правления RISC-V International. Также YADRO в 2023 году открыла открыл центр разработки в Беларуси, который, как ожидается, также займётся развитием решений RISC-V. Ещё одним российским разработчиком того же профиля является Cloudbear, долю в котором два года назад получил владелец «Байкал электроникс».

Примечательно, что и создание OpenPOWER Foundation, и дальнейшее открытие POWER ISA связывают с желанием IBM обойти антикитайские санкции ради продолжения сотрудничества с Inspur, третьим по величине прозводителем серверов в мире, на которого в конечном итоге США неоднократно всё же накладывали ограничения. Впоследствии столь тесная дружба между IBM и Inspur даже привела к судебному разбирательству внутри Китая. Любопытно, что когда-то в состав OpenPOWER Foundation входила ещё одна российская компания, «Рикор».

Постоянный URL: http://servernews.kz/1088889
14.06.2023 [01:30], Игорь Осколков

AMD представила 128-ядерные EPYC Bergamo, а также EPYC Genoa-X с 1152 Мбайт L3-кеша

AMD официально представила два новых, пока что очень небольших семейства серверных процессоров EPYC на базе архитектуры Zen 4. Это давно обещанные CPU серии EPYC 97x4, известные под кодовым именем Bergamo и рассчитанные на гиперскейлеров и облачных провайдеров, а также EPYC 9x84X Genoa-X с 3D V-Cache, которые предлагают до 1152 Мбайт L3-кеша и которые ориентированы на HPC-нагрузки.

Ничего нового относительно архитектурных особенностей Bergamo компания не поведала. Более высокая плотность компоновки ядер Zen 4c достигнута, в частности, путём модификации кешей (они проще и меньше) и компромиссными решениями в отношении упаковки, частот и т.д. В итоге получается интересная картина — ядер в сравнении с EPYC Genoa (до 96 шт.) стало больше, а вот общее число транзисторов уменьшилось с 90 до 82 млрд. Показатель TDP сохранился на прежнем уровне.

 Изображения: AMD

Изображения: AMD

AMD говорит, что ядра Zen 4c примерно на треть меньше Zen 4: 2,48 мм2 против 3,84 мм2 (ядро + L2-кеш). Оба варианта производятся по 5-нм техпроцессу TSMC. В CCD теперь содержится 16 ядер вместо 8, а в самом процессоре теперь 8 CCD вместо 12. Центральный IO-мостик у Genoa и Bergamo предлагает одни и те же возможности: 128 линий PCIe 5.0 (CXL) и 12 каналов памяти DDR5-4800. При этом оба варианта совместимы не только на уровне сокета (SP5), но и ISA, и платформы целиком — достаточно обновления BIOS.

В случае Bergamo компания, как и прежде, напирает на относительно низкую совокупную стоимость владения и на ещё более высокую энергоэффективность в сравнении с Genoa. Поскольку SMT на месте, в 2U4N-шасси с двухсокетными узлами теперь можно получить 2048 vCPU. Отдельный вопрос, как это всё ещё сбалансировать с точки зрения IO. Но в любом случае такое решение должно привлечь гиперскейлеров, среди которых была упомянута Meta, уже использующая сотни тысяч процессоров EPYC.

Любопытно, что в пресс-релизе AMD сравнивает общую производительность Bergamo с Ampere Altra, утверждая, что в ключевых облачных нагрузках они в 3,7 раз быстрее. Кроме того, новинки в 2,7 раз энергоэффективнее конкурентов. При этом оба документа, описывающих условия тестирования, на момент написания публикации доступны не были. Возможно, как и в других тестах, речь идёт о 128-ядерных Altra Max, которые уже доступны у ключевых облачных провайдеров.

По-видимому, в этой области AMD воспринимает как важного (если не ключевого) конкурента именно Ampere, а не Intel, с продукцией которой были показаны сравнения во время презентации. Так, старший AMD EPYC 9754 до 2,6 раз быстрее старшего же Intel Xeon 8490H (Sapphire Rapids), который предлагает всего 60 ядер при сравнимом TDP. До выхода Sierra Forest с E-ядрами (до 144 шт.) в следующем году Intel отвечать AMD нечем. А вот Ampere уже представила 192-ядерные (но без SMT) AmpereOne, которые, по слухам, уже давно поставляются избранным клиентам.

Да и сама AMD заявляет, что Bergamo тоже уже отгружаются. Заодно AMD объявила о доступности EPYC Genoa-X (9x84X). Концептуально они повторяют Milan-X, то есть поверх каждого CCD в обычном Genoa располагается плитка V-Cache с 64 Мбайт L3-кеша (с небольшим штрафом при обращении). 12 CCD дают 768 Мбайт дополнительного кеша, а суммарно выходят умопомрачительные 1152 Мбайт L3-кеша на процессор.

Выгоду от столь большого объёма кешей могут получить не все приложения. Речь в основном идёт об HPC, CFD, EDA и СУБД. При этом, что удивительно, AMD сравнивает новинки с «обычными» Intel Xeon Sapphire Rapids, а не с Intel Xeon Max, оснащённых 64 Гбайт набортной HBM2e-памяти (1,2 Тбайт/с) и ориентированных, в целом, на те же задачи — в таком случае они оказываются до 2,9 раз быстрее.

Постоянный URL: http://servernews.kz/1088342
11.06.2023 [14:54], Сергей Карасёв

Intel представила чипы Atom C1100 Arizona Beach для телеком-оборудования

Корпорация Intel, как сообщает ServeTheHome, выпустила процессоры Atom поколения Arizona Beach, предназначенные для применения в сетевых устройствах, телекоммуникационном оборудовании, встраиваемых системах и решениях для Интернета вещей (IoT).

Изделия производятся по технологии Intel 7 (10 нм). Анонсированы модели Atom C1100, Atom C1110 и Atom C1130 с двумя, четырьмя и восемью E-ядрами соответственно (без поддержки многопоточности). Показатель TDP равен 10, 13 и 32 Вт. Тактовая частота и объём L2-кеша в первых двух случаях составляет 2,1 ГГц и 2 Мбайт соответственно, в третьем — 2,5 ГГц и 4 Мбайт. Объём L3-кеша во всех случаях составляет 6 Мбайт.

Новинки поддерживают работу с LPDDR5-5200 (ECC) объёмом до 32 Гбайт. Если взглянуть на сравнение спецификаций чипов, то можно заметить, что для C1100 почему-то заявлена поддержка восьми каналов памяти, что наверняка является опечаткой, поскольку для C1110 и C1130 указаны два канала. Линий PCIe 4.0 в CPU 20 шт., они могут быть задействованы по схеме x16 + x4 или два x8 + x4.

 Источник изображения: Silicom Ltd.

Источник изображения: Silicom Ltd.

Одним из первых продуктов на платформе Atom Arizona Beach стало устройство Valencia Network Appliance (на изображении), анонсированное компанией Silicom Ltd. Оно может применяться, например, для SD-WAN или IoT. Новинка может комплектоваться любым из перечисленных процессоров, а объём оперативной памяти LPDDR5 составляет 4, 8, 12 или 16 Гбайт (до 32 Гбайт в будущем).

В оснащение Valencia Network Appliance могут входить модули UFS SSD (от 32 Гбайт до 1 Тбайт), eMMC (4–256 Гбайт) и NVMe M.2 SSD. Есть адаптеры Wi-Fi 6Е и Bluetooth LE, а опционально доступны два модуля 4G/5G (плюс два слота для SIM-карт и поддержка eSIM). Присутствуют четыре сетевых порта 2.5GbE, консольный порт RJ-45, разъёмы Micro-USB и USB 3.2 Type-A. При необходимости заказчики могут выбрать вариант с двумя портами 10GbE SFP+, двумя портами 1GbE RJ45 с поддержкой PoE++ или двумя разъёмами 1GbE SFP.

Устройство может комплектоваться пассивной или активной системой охлаждения. В первом случае габариты составляют 220 × 180 × 60 мм, во втором — 220 × 180 × 44 мм. Питание подаётся через внешний блок.

Постоянный URL: http://servernews.kz/1088220
08.06.2023 [17:40], Алексей Степин

128-ядерные процессоры AMD EPYC Bergamo на базе Zen 4c получили «удвоенные» чиплеты и высокую плотность компоновки

Среди требований, накладываемых к процессору для облачных серверов, числится максимизация производительности в пересчёте на процессорный разъём. В связи с рядом ограничений, в том числе, физического характера, рост этого показателя замедлился. Поэтому крайне важны, чтобы новые чипы могли повысить энергоэффективность и снизить совокупную стоимость владения инфраструктурой.

AMD впервые в истории готовится представить x86-процессор, изначально созданный для гиперскейлеров — EPYC Bergamo. В основе новинок лежит оптимизированная архитектура Zen 4 — Zen 4c. Логически она не отличается от прародительницы, но доработки «кремния» позволили компании выпустить 128-ядерный процессор в том же форм-факторе, что и 96-ядерный EPYC Genoa. В качестве I/O-модуля используется тот же блок Floyd, располагающий 128 линиями PCI Express 5.0 и прочими характеристиками, свойственными процессорам AMD в конструктиве SP5. SemiAnalysis провёл исследование отличий Genoa и Bergamo.

 Источник: SemiAnalysis

Источник: SemiAnalysis

Bergamo включает всего 8 модулей CCD (Vindhya), в то время как Genoa требует 12 (Durango) даже с учетом существенно меньшего количества ядер — в один CCD теперь умещается 16 ядер против 8 (два CCX). Тем не менее, общий объём кеша L3 у новинки меньше, 256 Мбайт против 384 Мбайт. Также снижена с 3,7 до 3,1 ГГц максимальная тактовая частота. Логика на кристалле упакована более плотно, уменьшено количество физических разделов (partitions), применены менее производительные двухпортовые ячейки SRAM 6T (8T у Genoa). Также процессоры лишились TSV-контактов, так что поддержки 3D V-Cacne Bergamo лишены изначально.

Первыми в серии станут 128-ядерный EPYC 9745 и 112-ядерный EPYC 9734. Оба процессора используют 12 каналов DDR5-4800 с совокупной пропускной способностью 460 Гбайт/с. Теплопакет удалось удержать в прежних 360–400 Вт. Возможен выпуск кастомных версий, учитывающих потребности крупных облачных провайдеров, но сколько и каких модифицированных Bergamo будет произведено, пока неизвестно.

Постоянный URL: http://servernews.kz/1088121
05.06.2023 [12:28], Сергей Карасёв

Процессоры AMD EPYC Rome перестают функционировать через 1044 дня непрерывной работы

Серверные процессоры AMD EPYC 7002 (Rome), по сообщению ресурса Tom's Hardware, «зависают» спустя 1044 дня непрерывной работы — это приблизительно 2,86 года. После этого требуется перезагрузка сервера для восстановления его нормального функционирования.

Проблема связана с тем, что ядро названных чипов не может выйти из энергосберегающего режима CC6. Говорится, что конкретные сроки возникновения сбоя могут варьироваться: они зависят от функции Spread Spectrum и опорной частоты REFCLK (используется процессором для отслеживания времени).

 Источник изображения: AMD

Источник изображения: AMD

Однако пользователь Reddit с ником acid_migrain говорит, что на самом деле проблема проявляется через 1042 суток и примерно 12 часов, а не 1044 дня, как предупреждает сама AMD. Дело в том, что счётчик TSC (Time Stamp Counter), работающий на частоте 2800 МГц, зависает при значении 0x3800000000000000. Это 2800 × 106 × 1042,5, то есть, спустя 1042 дня и 12 часов после начала отсчёта. «Здесь слишком много нулей, чтобы это было совпадением», — отмечает acid_migrain.

AMD не планирует исправлять ошибку. Избежать сбоя, как уже отмечалось, можно путём периодической перезагрузки сервера. Второй вариант — отключить возможность перехода в состояние CC6. Наблюдатели говорят, что данная особенность EPYC Rome вряд ли будет критична для большинства пользователей: почти три года непрерывной работы — это большой срок, в течение которого, скорее всего, будут выполняться перезагрузки в связи с техническим обслуживанием или обновлениями.

Постоянный URL: http://servernews.kz/1087887

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus