Концепция периферийных вычислений сравнительно молода и до недавнего времени зачастую её реализации были вынуждены обходиться стандартными процессорами, разработанными для применения в серверах, или даже в обычных ПК и ноутбуках. Intel, достаточно давно имеющая в своём арсенале серию процессоров Xeon D, обновила модельный ряд этих CPU, которые теперь специально предназначены для использования на периферии.

Изображения: Intel

Анонс выглядит очень своевременно, поскольку по оценкам Intel, к 2025 году более 50% всех данных будет обрабатываться вне традиционных ЦОД. Новые серии процессоров Xeon D-1700 и D-2700 обладают рядом свойств, востребованных именно на периферии — особенно на периферии нового поколения.

Новинки имеют следующие особенности:

• Интегрированный 100GbE-контроллер (до 8 портов) с поддержкой RDMA iWARP и RoCE v2;
• Интегрированный коммутатор и обработчик пакетов у Xeon D-2700;
• До 32 линий PCI Express 4.0;
• Поддержка Intel QAT, SGX и TME;
• Поддержка AVX-512, в том числе VNNI/DL Boost;
• Поддержка технологий TSN/TCC, критичных для систем реального времени.

Последний пункт ранее был реализован в процессорах серий Atom x6000E, Xeon W-1100E и некоторых процессорах Core 11-го поколения. Вкратце это технология, позволяющая координировать вычисления с точностью менее 200 мкс в режиме TCC за счёт точной синхронизации таймингов внутри платформы. И здесь у Xeon D, как у высокоинтегрированной SoC, есть преимущество в реализации подобного класса точности. Помогает этому и наличие специального планировщика для общего кеша L3, позволяющего добиться более консистентного доступа к кешу и памяти.

Это незаменимая возможность для систем, обслуживающих сверхточные промышленные процессы, тем более что Intel предлагает хорошо документированный набор API и средств разработки для извлечения из режима TCC всех возможностей. Важной также выглядит наличие поддержки пакета технологий Intel QuickAssist (QAT) для ускорения задач (де-)шифрования и (де-)компрессии.

Третье поколение QAT, доступное, правда, только в Xeon D-2700, в отличие от второго (и это случай D-1700), связано в новых SoC непосредственно с контроллером Ethernet и встроенным программируемым коммутатором. В частности, поддерживается, и IPSec-шифрование на лету (inline) на полной скорости, и классификация (QoS) трафика. Также реализована поддержка новых алгоритмов, таких, как Chacha20-Poly1305 и SM3/4, имеется собственный движок для публичных ключей, улучшены алгоритмы компрессии.

Но QAT может работать и совместно с CPU (lookaside-разгрузка), а можно и вовсе обойтись без него, воспользовавшись AES-NI. Поддержке безопасности помогает и полноценная поддержка защищённых вычислительных анклавов SGX, существенно ограничивающая векторы атак как со стороны ОС и программного обеспечения, так и со стороны гипервизора виртуальных машин. Это важно, поскольку на периферии уровень угрозы обычно выше, чем в контролируемом окружении в ЦОД, но для использования SGX требуется модификация ПО.

В целом, «ядерная» часть новых Xeon-D — это всё та же архитектура Ice Lake-SP. Так что Intel в очередной раз напомнила про поддержку DL Boost/VNNI для работы с форматами пониженной точности и возможности эффективного выполнения инференс-нагрузок — новинки почти в 2,5 раза превосходят Xeon D-1600. Есть и прочие стандартные для платформы функции вроде PFR или SST. Из важных дополнений можно отметить поддержку Intel Slim BootLoader.

Масштабируемость у новой платформы простирается от 2 до 10 (D-1700) или 20 (D-2700) ядер, а TDP составляет 25–90 и 65–129 Вт соответственно. В зависимости от модели поддерживается работа в расширенном диапазоне температур (до -40 °C). У обоих вариантов упаковка BGA, но с чуть отличными размерами — 45 × 45 мм против 45 × 52,5 мм. На этом различия не заканчиваются. У младших Xeon D-1700 поддержка памяти ограничена тремя каналами DDR4-2933, а вот у D-2700 четыре полноценных канала DDR4-3200.

Однако возможности работы с Optane PMem обе модели лишены, несмотря на то, что контроллер памяти их поддерживать должен. Представитель Intel отметил, что если будет спрос со стороны заказчиков, то возможен выпуск вариантов CPU с поддержкой PMem. Дело в том, что прошлые поколения Xeon-D использовались и для создания СХД, а наличие 100GbE-контроллера с RDMA делает новинки не менее интересными для этого сегмента.

Кроме того, есть и поддержка NTB, да и VROC с VMD вряд ли исчезли. Для подключения периферии у D-2700 доступно 32 линии PCIe 4.0, а у D-1700 — 16. У обоих серий CPU также есть 24 линии HSIO, которые на усмотрение производителя можно использовать для PCIe 3.0, SATA или USB 3.0. Впрочем, пока Intel предлагает использовать всё это разнообразие интерфейсов для подключения ускорителей и различных адаптеров.

Поскольку в качестве одной из основных задач для новых процессоров компания видит их работу в качестве контроллеров программно-определяемых сетей, включая 5G, она разработала для этой цели референсную платформу. В ней предусматривается отдельный модуль COM-HPC с процессором и DIMM-модулями, что позволяет легко модернизировать систему. А базовая плата предусматривает наличие радиотрансиверов, что актуально для сценария vRAN.

Поскольку речь идёт не столько о процессорах, сколько о полноценной платформе, Intel серьезное внимание уделила программной поддержке, причём, в основе лежат решения с открытым программным кодом. Это позволит заказчикам систем на базе новых Xeon D разворачивать новые точки и комплексы периферийных вычислений быстрее и проще. Многие производители серверного аппаратного обеспечения уже готовы представить свои решения на базе Xeon D-1700 и 2700.

Microsoft неожиданно раскрыла подробности использования своей распределённой службы планирования «планетарного масштаба» Singularity, предназначенной для управления ИИ-нагрузками. В докладе компании целью Singularity названа помощь софтверному гиганту в контроле затрат путём обеспечения высокого коэффициента использования оборудования при выполнении задач, связанных с глубоким обучением.

Singularity удаётся добиться этого с помощью нового планировщика, способного обеспечить высокую загрузку ускорителей (в том числе FPGA и ASIC) без роста числа ошибок или снижения производительности. Singularity предлагает прозрачное выделение и эластичное масштабирование выделяемых каждой задаче вычислительных ресурсов. Фактически она играет роль своего рода «умной» прослойки между собственно аппаратным обеспечением и программной платформой для ИИ-нагрузок.

Изображение: Microsoft

Singularity позволяет разделять задачи, поручаемые ресурсам ускорителей. Если необходимо масштабирование, система не просто меняет число задействованных устройств, но и управляет распределением и выделением памяти, что крайне важно для ИИ-нагрузок. Правильное планирование позволяет не простаивать без нужды весьма дорогому «железу», благодаря чему и достигается положительный экономический эффект.

NVIDIA DGX-2

В докладе также прямо говорится, что у Microsoft есть сотни тысяч GPU и других ИИ-ускорителей. В частности, упоминается, что Singularity используется на платформах NVIDIA DGX-2: два Xeon Platinum 8168 (по 20 ядер каждый), восемь ускорителей V100 с NVSwitch, 692 Гбайт RAM и интерконнект InfiniBand. Таким образом, ИИ-парк компании должен включать десятки тысяч узлов, поэтому эффективное управление им очень важно.

Atos представила суперкомпьютерную платформу BullSequana XH3000, которая придёт на смену XH2000 и станет основой для машин экзафлопсного класса, ориентированных на такие требовательные к вычислениям области науки как климатология, фармакология и генетика.

Суперкомпьютер имеет гибридную архитектуру и на данный момент является самым мощным и энергоэффективным решением в арсенале Atos. Что немаловажно, новая система разработана в Европе и будет производиться на заводе Atos в городе Анже ( Франция). Начало коммерческих поставок запланировано на IV квартал 2022 года.

Наиболее интересной особенностью BullSequana XH3000, пожалуй, можно назвать действительно беспрецедентный уровень гибридизации архитектур «под одной крышей». В рамках одного кластера могут быть задействованы вычислительные архитектуры AMD, Intel, NVIDIA и даже чипы, разрабатываемые консорциумом EPI, в том числе SiPearl. А в будущем возможна интеграция квантовых систем. Такая гибкость позволяет компании-разработчику говорить о шестикратном превосходстве новинки над решениями предыдущего поколения.

Кроме того, Atos весьма серьёзное внимание уделяет проблеме энергоэффективности и экологичности. В BullSequana XH3000 используется последнее, четвёртое поколение систем жидкостного охлаждения с «прямым контактом», которое минимум на 50% эффективнее предыдущего поколения. К тому же, вся платформа спроектирована таким образом, чтобы весь её жизненный цикл, от добычи материалов и производства до демонтажа и утилизации, был как можно более «зелёным».

Новый суперкомпьютер изначально спроектирован как масштабируемое решение — будут доступны конфигурации производительностью от 1 Пфлопс до 1 Эфлопс, а к моменту появления ускорителей следующего поколения появятся и варианты с производительностью 10 Экзафлопс. Также разработчики обращают внимание на крайнюю гибкость BullSequana XH3000 по части интерконнекта — она будет совместима с фирменной фабрикой BXI, Ethernet, а также InfiniBand HDR/NDR.

В понедельник, 14 февраля в Лондоне началось публичное расследование по поводу неправомерных приговоров сотням британских почтовых служащих, которые были несправедливо осуждены за кражу, мошенничество или искажение отчётности, хотя истинной причиной оказалась ошибка в IT-системе Horizon, построенной Fujitsu. В период с 2000 по 2014 год пострадало более 700 сотрудников, причём некоторые даже получили тюремные сроки.

Система Horizon разворачивалась в местных отделениях почты с 1999 года. Почтовая служба Великобритании в течение многих лет утверждала, что данные Horizon были надёжными, обвиняя менеджеров филиалов в нечестности, когда система ошибочно отражала недостачу. В апреле прошлого года Апелляционный суд отменил неправомерные приговоры 39 сотрудникам. Однако, как оказалось, это лишь верхушка айсберга. Пострадавших из-за неисправности компьютерной системы гораздо больше.

Изображение: www.royalmail.com

Более того, в ходе расследования выяснилось, что государственная почтовая служба знала о ненадёжности Horizon, однако данные из системы всё равно использовались для обвинения почтмейстеров в составлении ложных отчётов и краже денежных средств. По предварительным оценкам, 706 судебных преследований могли быть основаны на данных неисправной компьютерной системы. К настоящему времени приговоры по уголовным делам 72 почтмейстеров были отменены, а другие апелляции находятся на рассмотрении суда.

В декабре Министерство по делам бизнеса, энергетики и промышленной стратегии Великобритании выделило почтовой службе £1,013 млрд на покрытие расходов, связанных со скандалом. Министерство выплатит компенсацию тем, чьи уголовные судимости были отменены, а также 2500 почтмейстерам, которые не были привлечены к уголовной ответственности, но которых обязали вернуть деньги почтовой службе в связи с тем, что на счетах возглавляемых ими отделений была выявлена недостача.

Исследование, проведённое аналитической компаний Omdia, показало, что в следующие четыре года операторы ЦОД начнут использовать на своих площадках источники бесперебойного питания (ИБП), способные не только поддерживать энергообеспечение дата-центров, но и в случае необходимости отдавать избытки электроэнергии в общую сеть.

Интеграция разнообразных источников возобновляемой энергии в «динамические» энергосети постепенно становится трендом, а в некоторых регионах в ближайшей перспективе и техническим требованием к сетям электроснабжения. ЦОД находятся в уникальном положении — будучи крупными потребителями энергии, они способны повысить надёжность электросетей, позволяя последним получить доступ к запасённой ИБП энергии.

«Умные» энергосети способны динамически отслеживать потребность в энергии и быстро подключать резервные хранилища, что помогает компенсировать непредсказуемость поставок энергии от возобновляемых источников, обеспечить баланс и сократить инвестиции в электрическую инфраструктуру. Eaton, Schneider Electric и Vertiv уже предлагают клиентам «умные» ИБП, способные интегрироваться в такие энергосети.

Источник изображения: Omdia

Omdia опросила почти 380 представителей операторов дата-центров, технических специалистов, консалтинговых компаний и поставщиков энергии в Северной Америке, Европе и Австралии. Результат опроса показал, что главным стимулом для внедрения совместимых с «умными» энергосетями ИБП стала возможность реализовать инициативы по энергосбережению. Другими стимулами стали стремление к инновациям, репутационные выгоды, а также получение конкурентных преимуществ.

Примечательно, что большинство опрошенных уверены, что использование интеграция ЦОД с «умными» энергосетями не поставит под угрозу выполнение критически важных рабочих нагрузок. Почти половина респондентов ответила, что главными, хотя и далеко не единственными, выгодоприобретателями подобных решений станут облачные. В числе регионов, где наиболее развито внедрение «умных» ИБП названы Скандинавия, Великобритания и Ирландия.

Около 80 % опрошенных считают, что от 10 до 50 % ёмкости аккумуляторов в современных ИБП дата-центров уже сегодня может использоваться для поддержки работы публичных энергосетей без угрозы собственным системам ЦОД. Такой подход поможет эффективно интегрировать в энергосети возобновляемые источники энергии вроде солнечных и ветряных электростанций с нерегулярной генерацией — в периоды избыточной поставки энергии её можно запасать в ИБП, а потом отдавать в час пик.

Полку подводных дата-центров прибыло — стартап Subsea Cloud, в отличие от проектов Highlander и Microsoft Natick, предлагает размещать центры обработки данных (ЦОД) не на мелководье в прибрежных водах, а на морском или океанском дне на глубине до 3000 м. Делается это не только для снижения вредных выбросов, поскольку на охлаждение энергию тратить не придётся, но и для безопасности.

Именно физическая безопасность является одним из ключевых достоинств проекта Subsea Cloud, так как на такой глубине дата-центрам не страшны не то что дайверы, но и подводные лодки — абсолютный рекорд до сих принадлежит лодке К-278 «Комсомолец», погрузившейся в 1985 году на глубину чуть больше километра. А специализированных аппаратов, способных работать в таких условиях, единицы и незаметно провести с их помощью атаку вряд ли получится. Поэтому компания ориентирована на предоставление услуг для заказчиков в сфере здравоохранения и финансов, а также для вооружённых сил.

Источник изображения: Subsea Cloud

Всех технических деталей Subsea Cloud пока не раскрывает. Например, не сообщается, как будут обслуживаться глубоководные ЦОД и будут ли вообще, хотя компания говорит, что уже испытала прототип новых ЦОД на надёжность и возможность работы на глубине 3 км, а часть оборудования внутри таких дата-центров будет иметь резервирование. Также упомянуто, что дата-центры будут вмещать до 800 серверов, а сами они сделаны из экологичных материалов, так что даже при разгерметизации они не навредят морской природе.

Основателем Subsea Cloud является Макси Рейнольдс (Maxie Reynolds), которая возглавляет техотдел компании Social Engineer LLC, работающей в сфере информационной безопасности. Ранее она занималась подводной робототехникой в Subsea 7 и даже успела побывать каскадёром. Как сообщает Data Centre Dynamics, в команду Subsea Cloud входят четыре специалиста по подводным технологиям, в том числе основатель Energy Subsea. Среди партнёров компании значатся Chevron, Laborde Marine и Oracle.

Городской муниципальный совет Сан-Антонио (Техас, США) выдал корпорации Microsoft разрешение на расчистку территории от деревьев для строительства нового центра обработки данных. Правда, в обмен редмондскому гиганту придётся внести денежный вклад в специальный фонд.

Как передаёт Datacenter Dynamics, речь идёт о вырубке 2642 деревьев на территории приблизительно 13,4 га, расположенной на западе Сан-Антонио. Эти насаждения защищены в соответствии с местным законодательством, поэтому их уничтожение требует особого разрешения. Как сообщается, в ходе принятия решения за выдачу разрешения Microsoft проголосовали восемь членов муниципального совета, против — трое. Таким образом, подтверждено декабрьское решение комиссии по планированию, когда голоса распределились в соотношении 6 к 1.

Источник изображения: pixabay.com / Lars_Nissen

В соответствии с решением, корпорация Microsoft должна внести $1,47 млн в фонд защиты деревьев. Кроме того, компания высадит 833 новых дерева вокруг будущего дата-центра. В соответствии с установленными нормами в ходе вырубки компании должны сохранять минимум 20 % деревьев с диаметром более 60 см и столько же деревьев с диаметром более 15 см. Microsoft же собирается сохранить соответственно 4,5 % и 3 % таких насаждений.

Впрочем, в корпорации заявляют, что те деревья, которые будут высажены, по состоянию здоровья значительно превзойдут существующие, а со временем они образуют и более качественный полог. Всего Microsoft, как сообщалось ранее, планирует потратить $1 млрд на постройку ЦОД в данной местности.

Стало известно, что компания Hewlett Packard (теперь уже HPE) выиграла многомиллиардный иск против британского предпринимателя Майка Линча (Mike Lynch). Девятимесячный судебный процесс, который обошёлся в £40 млн, был одним из самых продолжительных и дорогостоящих в современной британской истории.

HP приобрела в 2011 году крупнейшую британскую софтверную компанию Autonomy, основанную Линчем, за $11 млрд, т.е. переплатив почти ⅔ от стоимости акций компании на момент сделки. А год спустя HP была вынуждена списать в убытки активы Autonomy в размере $8,8 млрд, отправив до этого инициатора покупки гендиректора Лео Апотекера (Leo Apotheker) в отставку.

HP обвинила Майка Линча в мошенничестве, утверждая, что он и финансовый директор Сушован Хуссейн (Sushovan Hussain) искусственно завышали заявленные доходы Autonomy, показатели роста доходов и валовую прибыль. HP утверждала, что ответчики искажали отчётность с помощью непрофильных продаж, фиктивных транзакций и махинаций с бухгалтерской отчётностью. Иск против Линча и Хуссейна был подан в 2015 году. Хуссейн в 2019 году уже был приговорен в США к 5 годам заключения.

Источник: Bloomberg Quint

Судья Роберт Хилдъярд (Robert Hildyard) зачитал в пятницу решение суда, в котором отметил, что HP «склонили к покупке» Autonomy. Он сообщил, что продажа аппаратного обеспечения «позволила Autonomy покрыть недостающие доходы от продаж ПО», и это пришлось скрыть от рынка, чтобы получить одобрение сделки. «Намерения были нечестными — подсудимые прекрасно знали об этом», — подчеркнул судья. Судья также отметил, что сумма компенсации может быть существенно меньше $5 млрд, указанных в иске HP.

Адвокат Майка Линча, Келвин Николлс (Kelwin Nicholls) из Clifford Chance заявил, что его клиент намерен подать апелляцию, и назвал результаты слушаний «разочаровывающими». Сегодня же министром внутренних дел Великобритании была одобрена экстрадиции Линча в США, где он предстанет перед американским судом по ещё 17 обвинениям. Сейчас Линч совместно с супругой владеет 16 % компании DarkTrace, капитализация которой составляет около $3,6 млрд.

Meta✴ (ранее Facebook✴) анонсировала новый крупномасштабный исследовательский кластер — ИИ-суперкомпьютер Meta✴ AI Research SuperCluster (RSC), предназначенный для ускорения решения задач в таких областях, как обработка естественного языка (NLP) с обучением всё более крупных моделей и разработка систем компьютерного зрения.

На текущий момент Meta✴ RSC состоит из 760 систем NVIDIA DGX A100 — всего 6080 ускорителей. К июлю этого года, как ожидается, система будет включать уже 16 тыс. ускорителей. Meta✴ ожидает, что RSC станет самым мощным ИИ-суперкомпьютером в мире с производительностью порядка 5 Эфлопс в вычислениях смешанной точности. Близкой по производительность системой станет суперкомпьютер Leonardo, который получит 14 тыс. NVIDIA A100.

Изображения: Meta✴

Meta✴ RSC будет в 20 раз быстрее в задачах компьютерного зрения и в 3 раза быстрее в обучении больших NLP-моделей (счёт идёт уже на десятки миллиардов параметров), чем кластер Meta✴ предыдущего поколения, который включает 22 тыс. NVIDIA V100. Любопытно, что даже при грубой оценке производительности этого кластера он наверняка бы попал в тройку самых быстрых машин нынешнего списка TOP500.

Новый же кластер создаётся с прицелом на возможность обучения моделей с триллионом параметров на наборах данных объёмом порядка 1 Эбайт. Именно такого объёма хранилище планируется создать для Meta✴ RSC. Сейчас же система включает массив Pure Storage FlashArray объемом 175 Пбайт, 46 Пбайт кеш-памяти на базе систем Penguin Computing Altus и массив Pure Storage FlashBlade ёмкостью 10 Пбайт. Вероятно, именно этой СХД и хвасталась Pure Storage несколько месяцев назад, не уточнив, правда, что речь шла об HPC-сегменте.

Итоговая пропускная способность хранилища должна составить 16 Тбайт/с. Meta✴ RSC сможет обучать модели машинного обучения на реальных данных, полученных из социальных сетей компании. В качестве основного интерконнекта используются коммутаторы NVIDIA Quantum и адаптеры HDR InfiniBand (200 Гбит/с), причём, судя по видео, с жидкостным охлаждением. Каждому ускорителю полагается выделенное подключение. Фабрика представлена двухуровневой сетью Клоза.

Meta✴ также разработала службу хранения AI Research Store (AIRStore) для удовлетворения растущих требований RSC к пропускной способности и ёмкости. AIRStore выполняет предварительную обработку данных для обучения ИИ-моделей и предназначена для оптимизации скорости передачи. Компания отдельно подчёркивает, что все данные проходят проверку на корректность анонимизации. Более того, имеется сквозное шифрование — данные расшифровываются только в памяти узлов, а ключи регулярно меняются.

Однако ни о стоимости проекта, ни о потребляемой мощности, ни о физическом местоположении Meta✴ RSC, ни даже о том, почему были выбраны узлы DGX, а не HGX (или вообще другие ускорители), Meta✴ не рассказала. Для NVIDIA же эта машина определённо стала очень крупным и важным заказом.

В современном мире процессоров уже никого не удивляет нахождение очередной уязвимости, а иногда тропинкой для злоумышленника становятся технологии, изначально призванные повысить уровень безопасности. Ряд исследователей небезосновательно считает, что «заплатками» отделаться не получится и надо менять глубинные принципы, лежащие в основе процессорных архитектур.

Один из таких проектов, развиваемый с 2010 года усилиями SRI International и Кембриджского университета — это CHERI. В 2019 к нему присоединилась Arm, недавно представившая первый прототип платы с процессором Morello, который базируется на двух ключевых принципах, заложенных в CHERI — масштабируемая компартментализация и тонко настраиваемая защита содержимого памяти. Оба принципа реализованы аппаратно и сами по себе не новы.

Изображения: Arm

По сути речь идёт о расширении стандартного набора инструкций, с помощью которого даже написанное с использованием языков, позволяющих относительно легко сделать ошибки при работе с памятью (а это обычно C/C++), ПО можно заставить работать без образования серьёзных дыр в защите. Тщательная компартментализация (т.е. разделение) кода ОС и приложений хотя и не исключает наличие уязвимостей, но серьёзно ограничивает область возможного нанесения вреда.

В частности, любая инструкция типа load/store и любая операция выборки должны быть авторизованы на аппаратном уровне со стороны процессора. Разумеется, это не высокоуровневая защита, а скорее набор базовых блоков для построения таковой. Принцип компартментализации ещё проще: если в классической архитектуре взломщик может получить контроль над всей системой, то в изолированных друг от друга ОС и приложениях, он лишь проникнет в одну из множества небольших «ячекк», а его действия послужат сигналом для защитных механизмов.

Блок-схема Arm Morello

Arm Morello — первый чип на базе CHERI. Текущая аппаратная реализация использует модифицированные ядра Neoverse N1 (ARMv8.2) с частотой 2,5 ГГц. Первые платы с новым процессором предназначены таким IT-гигантам как Google и Microsoft, а также заинтересованным партнёрам образовательным учреждениям. На текущий момент разработчики предлагают модифицированное ядро FreeBSD, часть стандартных UNIX-программ, а также некоторые другие приложения. С появлением готовых плат и процессоров процесс адаптации ПО должен значительно ускориться.