Meta✴ анонсировала свой первый кастомизированный процессор, разработанный специально для ИИ-нагрузок. Изделие получило название MTIA v1, или Meta✴ Training and Inference Accelerator: оно оптимизировано для обработки рекомендательных моделей глубокого обучения.

Проект MTIA является частью инициативы Meta✴ по модернизации архитектуры дата-центров в свете стремительного развития ИИ-платформ. Утверждается, что чип MTIA v1 был создан ещё в 2020 году. Это интегральная схема специального назначения (ASIC), состоящая из набора блоков, функционирующих в параллельном режиме.

Источник изображений: Meta✴

Известно, что при производстве MTIA v1 используется 7-нм технология. Конструкция включает 128 Мбайт памяти SRAM. Чип может использовать до 64/128 Гбайт памяти LPDDR5. Задействован фреймворк машинного обучения Meta✴ PyTorch с открытым исходным кодом, который может применяться для решения различных задач в области компьютерного зрения, обработки естественного языка и пр.

Процессор MTIA v1 имеет размеры 19,34 × 19,1 мм. Он содержит 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра с архитектурой RISC-V. Тактовая частота достигает 800 МГц, заявленный показатель TDP — 25 Вт.

Meta✴ признаёт, что у MTIA v1 присутствуют «узкие места» при работе с ИИ-моделями большой сложности: требуется оптимизация подсистем памяти и сетевых соединений. Однако в случае приложений низкой и средней сложности платформа, как утверждается, обеспечивает более высокую эффективность по сравнению с GPU.

В дальнейшем в семействе MTIA появятся более производительные изделия, но подробности о них не раскрываются. Ранее говорилось, что Meta✴ создаёт некий секретный чип, который подойдёт и для обучения ИИ-моделей, и для инференса: это решение может увидеть свет в 2025 году.

Компания Edge Cable Holdings, принадлежащая Meta✴, по сообщению Datacenter Dynamics, направила в Федеральную комиссию по связи США (FCC) заявку на прокладку нового подводного интернет-кабеля. Проект, получивший названием Anjana, предусматривает развёртывание высокоскоростной линии, соединяющей север Испании с восточным побережьем США.

Протяжённость кабеля составит 7121 км. Он должен пройти от кабельной станции DC Blox (CLS) в Мертл-Бич (Южная Каролина, США) до новой станции в Сантандере (автономное сообщество Кантабрия, Испания), принадлежащей Telxius. Сообщается, что кабель спроектирован специалистами NEC. Он рассчитан на пропускную способность до 480 Тбит/с по 24 парам волокон. Укладка должна начаться в августе 2023 года, а ввод в эксплуатацию намечен на IV квартал 2024-го.

Это будет самая скоростная в мире океанская подводная интернет-линия. На сегодняшний день рекордсменом является подводный кабель Google Grace Hopper, проложенный между США и Европой: он обеспечивает пропускную способность на уровне 350 Тбит/с. Впрочем, на коротких расстояниях можно достичь на порядок больших скоростей — 110-км кабель Olisipo получит ёмкость 4,3 Пбит/с.

Источник изображения: Vodacom

Ни один из участников проекта Anjana не сделал официальные заявления о планах по прокладке кабеля. Ранее NEC говорила, что намерена разработать для Meta✴ 500-Тбит/с кабель с 24 парами для связи между Европой и США, однако тогда ни название системы, ни конкретный маршрут не сообщались. Отмечается также, что в настоящее время в Сантандере нет кабельных станций. Telxius управляет таким пунктом в Сопелане (к востоку от Сантандеры), который является точкой подключения кабеля Meta/Microsft MAREA и системы Google Grace Hopper.

Компания Meta✴ опубликовала отчёт о финансовых результатах I квартала 2023 года, согласно которому её выручка выросла в годовом выражении на 3 % до $28,65 млрд, а чистая прибыль сократилась на 24 % до $5,71 млрд. Капзатраты Meta✴ составили $7,1 млрд, в основном средства были направлены на ЦОД, серверы и сетевое оборудование. Из-за отказа от запланированного внедрения ИИ-чипов собственной разработки в пользу ускорителей NVIDIA компания отменила ряд проектов, чтобы переделать проекты ЦОД.

«Мы продолжаем строительство, но новые ЦОД, которые мы строим, действительно рассчитаны на будущую мощность», — сообщила финансовый директор Сьюзан Ли в квартальном отчёте. По её словам, из-за перехода к генеративному ИИ вырастут затраты на ЦОД. «У нас есть текущие общие потребности в вычислительных ресурсах и хранилищах для поддержки существующего бизнеса, но это область, в которой мы стали намного более эффективными с точки зрения капиталоёмкости, и мы намерены продолжать развиваться в этом направлении», — заявила она.

Источник изображения: Pixabay

Сьюзан Ли отметила, что у Meta✴ есть приоритетные направления инвестирования в ИИ, такие как «механизм обнаружения, ранжирование несвязанного органического контента, ранжирование рекламы», но генеративный ИИ «является новой возможностью», которая может представлять для компании значительные инвестиционные перспективы. Хотя ещё слишком рано говорить, «как это повлияет на общую капиталоёмкость в ближайшем будущем». Она добавила: «Мы ожидаем, что капитальные затраты составят от $30 до $33 млрд (за год), что не изменилось по сравнению с нашей предыдущей оценкой».

Meta✴ также указала в отчёте, что «продолжает оценивать инициативы по консолидации объектов и реструктуризации ЦОД», и что потратила около $168 млн на реструктуризацию ЦОД за первые три месяца 2023 года.

Компания Meta✴ прибегла к необычному экспериментальному способу утилизации строительного мусора. Совместно с биоинженерами Mycocycle она занялась превращением остатков гипсокартона, сохранившихся после строительства ЦОД Meta✴ в Галлатине (США), в ценное сырьё. Как сообщает DataCenter Dynamics, мусор буквально пожирают грибы. Ранее Meta✴ c партнёрами уже разработали с помощью ИИ «зелёный» экобетон для своих новых дата-центров.

Только в США ежегодно «генерируется» 660 млн тонн строительных отходов, как от самой стройки, так и в результате предварительного сноса зданий и очистки строительных площадок. Одним из наиболее распространённых и при этом проблемных материалов является гипсокартон, простые методы переработки которого пока отсутствуют — гипсокартон может вступать в реакции с другими материалами, в результате чего выделяются опасные вещества, в том числе сероводород и аммиак. Meta✴ же является одним из крупных «поставщиков» таких отходов на мусорные полигоны.

Источник изображения: Meta✴

В результате сотрудничества Meta✴ с Mycocycle с 2022 года разрабатывается метод, позволяющий буквально «скармливать» гипсокартон грибам, в результате чего создаётся перспективный побочный продукт, который тоже можно использовать в качестве строительного материала. Он, например, может применяться в составе термо- или шумоизоляционных панеле. В Meta✴ уже сообщили о сотрудничестве с крупными строительными компаниями для расширения экспериментов по созданию многократно перерабатываемого сырья.

Вырастая на гипсокартоне, грибы распространяют грибницу, которая буквально «взламывает» сам материал, питаясь мелкими остатками. Новый композит на основе остатков гипсокартона и грибницы может служить для формирования огнеупорного, крепкого и водонепроницаемого сырья, в перспективе способного заменить пластик. Известно, что Mycocycle уже участвовала в исследовании на эту же тему, профинансированным Microsoft.

Источник изображения: Meta✴

По мнению представителей строительной компании DPR, тоже участвующей в проекте Meta✴, инициатива имеет критически важное значение, поскольку отходы гипсокартона являются огромной проблемой для строительной отрасли. Как сообщает DataCenter Dynamics, Mycocycle уже «тренировала» грибы для переработки других типов материалов — например, битумной черепицы. Пока не уточняется, какие меры безопасности принимаются и как грибы смогут отличить «полезный» гипсокартон от строительного мусора.

Компания Meta✴, по сообщению Reuters, была вынуждена пересмотреть конфигурацию своих дата-центров из-за отставания от конкурентов в плане развития ИИ-платформ. Компания, в частности, решила отказаться от дальнейшего внедрения инференс-чипов собственной разработки.

Отмечается, что до прошлого года Meta✴ применяла архитектуру, в которой традиционные CPU соседствуют с кастомизированными решениями. Однако выяснилось, что такой подход менее эффективен по сравнению с применением ускорителей (GPU). При этом ранее компания отказалась от ИИ-ускорителей Qualcomm, указав на недоработки ПО, которые, судя по всему, были устранены только недавно. А с Esperanto, вероятно, отношения у Meta✴ пока не сложились. Впрочем, теперь компании интересен генеративный ИИ, а не только рекомендательные системы, что накладывает иные требования к оборудованию.

Источник изображения: Meta✴

В течение почти всего 2022 года Meta✴ активно инвестировала в развите инфраструктуры, однако в конце года стало известно, что она приостановила строительство целого ряда ЦОД, а затем пересмотрела расходы на дата-центры. Компания решила кардинально переосмыслить архитектуру своих ЦОД, сделав ставку на СЖО. Как теперь выясняется, связано это с тем, что Meta✴ отказалась от собственных ИИ-чипов в пользу ускорителей NVIDIA: объём заказов последних исчисляется «миллиардами долларов». Соответствующую платформу Grand Teton компания показала в конце прошлого года.

Источник изображения: Meta✴

Но ускорители потребляют больше энергии и выделяют больше тепла, нежели CPU или узкоспециализированные ASIC. Кроме того, ускорители должны физически находиться довольно близко друг к другу, хотя с интерконнектом компания тоже уже экспериментирует. Всё это влияет на архитектуру ЦОД. Тем не менее, Meta✴ всё же разрабатывает некий секретный чип, который сгодится и для обучения ИИ-моделей, и для инференса. Ожидается, что это решение увидит свет в 2025 году. Пока что для обучения ИИ компания намерена использовать собственный ИИ-суперкомпьютер RSC и облачные кластеры Microsoft Azure.

Похожий путь избрала Microsoft, решившая создать свой ИИ-чип, не отказываясь пока от ускорителей NVIDIA. The Information добавляет, что вице-президент Microsoft по разработке «кремния» Жан Буфархат (Jean Boufarhat) присоединится к Meta✴. Он возглавит команду Facebook✴ Agile Silicon Team (FAST), чтобы помочь компании в реализации проектов по созданию чипов. Ранее Meta✴ переманила из Intel руководителя разработки сетевых решений для дата-центров. У Google и Amazon уже есть свои ИИ-чипы для обучения и инференса.

Технологии искусственного интеллекта (ИИ) сегодня бурно развиваются и требуют всё более серьёзных вычислительных мощностей. Но наряду с наращиванием этих мощностей растут требования и к сетевой подсистеме, поэтому крупные компании и исследовательские организации ищут всё новые способы оптимизации инфраструктуры.

Компания Meta✴ в сотрудничестве с Массачусетским технологическим институтом (MIT) и рядом прочих исследовательских организаций опубликовала данные любопытного эксперимента, в котором ИИ-кластер мог менять топологию своего интерконнекта с помощью механической «роборуки».

Система получила название TopoOpt, поскольку вычислительные узлы в ней использовали полностью оптическую сеть с оптической же патч-панелью. Эта сеть объединяла 12 вычислительных узлов ASUS ESC4000A-E10, каждый из которых был оснащён ускорителем NVIDIA A100, сетевыми адаптерами HPE и Mellanox ConnectX-5 (100 Гбит/с) с оптическими трансиверами.

Источник здесь и далее: USENIX

Наиболее интересное устройство в эксперименте — оптическая патч-панель Telescent, оснащённая механическим манипулятором, способным производить перекоммутацию на лету. Эта «роборука» работала под управлением специализированного ПО, целью которого ставилось нахождение оптимальной сетевой топологии и сегментации сети применительно к различным задачам машинного обучения.

Система с перекоммутируемой оптической сетью не требует энергоёмких высокоскоростных коммутаторов и обеспечивает ряд других преимуществ

Такая роботизированная патч-панель не столь расторопна, как оптические коммутаторы Google с микрозеркальной механикой, но стоит впятеро дешевле и имеет больше портов. Опубликованные экспериментальные данные уверенно свидетельствуют о том, что топология «толстого дерева» (fat tree), использующая несколько слоёв коммутаторов, не оптимальна и даже избыточна для ряда нейросетевых задач.

К тому же перекоммутируемая оптическая сеть без традиционных высокоскоростных коммутаторов требует меньше оборудования, а значит, может быть не только быстрее сети fat tree в ряде ИИ-задач, но и существенно дешевле в развёртывании и поддержании в рабочем состоянии — как минимум за счёт отсутствия затрат на питание множества коммутаторов.

Компания SMART Modular анонсировала SSD повышенной надёжности семейства T6CN. Решения ориентированы на телекоммуникационный, оборонный, промышленный и аэрокосмический секторы. Кроме того, устройства могут применяться в составе коммерческих платформ видеонаблюдения.

В серию вошли модификации в форматах M.2 2280, E1.S и U.2. Все они выполнены с применением чипов флеш-памяти 3D TLC NAND, а для обмена данными служит интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4). Поддерживается шифрование данных по алгоритму AES-256. Диапазон рабочих температур простирается от -40 до +85 °C.

Изделия T6CN M.2 2280 имеют вместимость 960 Гбайт, а также 1,92 и 3,84 Тбайт. Скорость последовательного чтения информации достигает 7680 Мбайт/с, скорость последовательной записи — 2600 Мбайт/с. Значение IOPS при произвольном чтении и записи данных по 4 Кбайт — до 600 000 и 450 000 соответственно. Габариты — 80 × 24 мм.

Накопители T6CN EDSFF E1.S, в свою очередь, представлены в вариантах ёмкостью 960 Гбайт, 1,92, 3,84 и 7,68 Тбайт. У них максимальная заявленная скорость последовательного чтения и записи данных одинакова — 3200 Мбайт/с. Величина IOPS при произвольном чтении составляет до 320 000, при произвольной записи — до 300 000. Размеры равны 111,49 × 3,15 × 5,9 мм.

Устройства T6CN U.2 обладают вместимостью 960 Гбайт, а также 1,92, 3,84, 7,68 и 15,36 Тбайт. Скорость последовательного чтения — до 3840 Мбайт/с, последовательной записи — до 2600 Мбайт/с. Показатель IOPS при произвольном чтении и записи — до 600 000 и 450 000 соответственно. Габариты составляют 100 × 69,85 × 7 мм. Величина MTBF у всех новинок превышает 2 млн часов.

Supermicro сообщила о пополнении семейства высокопроизводительных и высокоплотных All-Flash СХД петабайтного класса. Новые системы Supermicro поддерживают NVMe SSD в форм-факторе EDSFF E3.S/E1.S и предлагают 16 или 32 отсека для накопителей PCIe 5.0.

Первые системы получат поддержку до 0,5 Пбайт дискового пространства в 1U-шасси с 16 отсеками. Чуть позже появятся 1-Пбайт 2U-системы с 32 отсеками на базе современных платформ Intel и AMD с поддержкой PCIe 5.0. Отмечается, что новинки позволят заказчикам сократить количество стоечных систем, необходимых для удовлетворения требований к хранению данных на «горячем» и «тёплом» уровнях, и снизить совокупную стоимость владения.

«Новые хранилища компактны и энергоэффективны и обеспечат нашим пользователям самую низкую задержку и самую высокую пропускную способность в отрасли. Производительность и ёмкость этих новых систем позволяют клиентам задействовать передовые ИИ-технолгии. Используя нашу модульную архитектуру, мы можем быстрее выводить новейшие технологии на рынок, предоставляя пользователям передовые системы», — отметил президент и гендиректор Supermicro Чарльз Лян (Charles Liang).

Источник изображения: Supermicro

Новые системы на базе Intel оснащены двумя процессорами Intel Xeon Sapphire Rapids с TDP до 270 Вт и содержат до 32 модулей DDR5-4800 (суммарно до 8 Тбайт). В свою очередь, платформы на базе AMD EPYC включают CPU с TDP до 350 Вт и 24 модуля DDR5-4800. Данные системы предназначены для приложений с интенсивными вычислениями, высокими требованиями к IO-подсистеме и объёму оперативной памяти. Кроме того, новые платформы предложат два слота PCIe 5.0 x16 для FHHL-карт расширения и два AIOM-слота (OCP 3.0), тоже PCIe 5.0 x16. Это позволит оснастить СХД ИИ-ускорителями, а также DPU/SmartNIC для NVMe-oF.

Supermicro отмечает, что новая симметричная NUMA-архитектура сокращает задержку обращения к накопителями, обеспечивает баланс пропускной способности и увеличивает гибкость сетевого подключения. А симметричный дизайн шасси улучшает поток воздуха, позволяя использовать более мощные процессоры. В серию войдут платформы SSG-121E-NE316R (1U16, E3.S), SSG-221E-NE324R (2U32, E3.S) и SSG-121E-NES24R (1U24, E1.S) на базе Intel, а также две AMD-платформы: ASG-1115S-NE316R (1U16, E3.S) и ASG-2115S-NE332R (2U32, E3.S).

Производитель сетевого оборудования Arista Networks объявил финансовые показатели IV квартала, завершившегося 31 декабря 2022 года и всего прошлого года. Выручка компании за квартал составила $1,27 млрд, что выше показателя предыдущего квартала на 8,4 % и на 54,7 % больше результата IV квартала 2021 года.

В отчётном квартале доходы от услуг продолжала расти, увеличившись в годовом исчислении на 14,2 % до $178,7 млн за этот период. Из них 15,8 % доходов ($201,5 млн) пришлись на подписки на ПО и услуги. Это означает, что доходы Arista Networks от подписки на ПО составили $22,9 млн, что на 25 % больше прошлогоднего результата благодаря переходу от бессрочных лицензий (связано с обновлением сетевой ОС EOS и ПО для телеметрии и анализа). Чистая прибыль росла быстрее, чем выручка, на 78,5 % до $427,1 млн.

Изображения: Meta/OCP

За 2022 год выручка Arista Networks составила $4,38 млрд, что на 48,6 % больше предыдущего года, при этом продажи продуктов выросли на 56,3 % до $3,72 млрд, а доходы от услуг увеличились на 16,6 % до $665,2 млн. Чистая прибыль выросла на 60,8 % до $1,35 млрд. По оценкам ресурса The Next Platform, клиентская база компании выросла на 12,3 % до 9100 заказчиков.

На сервис-провайдеров, включая небольшие облачные и веб-компании, а также телекоммуникационные компании и хостеров, пришлось 22 % от общего объёма выручки Arista Networks ($1,4 млрд), что на 18,9 % больше, чем в 2021 году. В 2022 году на долю крупных предприятий и фирм, предоставляющих финансовые услуги, приходилось 32 % доходов Arista Networks, что на 18,9 % больше, чем в прошлом году.

Одними из крупнейших клиентов Arista Networks в прошлом году были Meta✴ и Microsoft. В частности, Meta✴ затратила на закупку оборудования Arista Networks для своих ЦОД в пределах $1,12 млрд, а Microsoft израсходовала на эти цели $701 млн. Доходы Arista Networks от продаж крупным гиперскейлерам выросли в годовом исчислении в 2,3 раза, составив почти половину (46 %) всех её доходов за прошлый год. Зависимость от всего двух ключевых заказчиков может сказаться на будущих доходах компании.

В 2023 году Arista Networks ожидает, что выручка вырастет примерно на 25 % до около $5,47 млрд, что представляет собой снижение темпов роста по сравнению с 2022 годом. В частности, это связано с тем, что Microsoft и Meta✴ понадобится время на развёртывание приобретённого оборудования в своих ЦОД. Исследовательская компания Seeking Alpha отметила, что прогнозируемое Meta✴ сокращение затрат в 2023 году с $94–100 млрд до $89–95 млрд, включая снижение расходов на ЦОД, может отразиться на Arista Networks, NVIDIA и Pure Storage, которые были привлечены к созданию суперкомпьютера RSC.

Meta✴ кардинально сменила стратегию относительно расширения сети дата-центров, объяснив своё решение тем, что строительство объектов для ИИ будет дешевле и быстрее. В рамках новой политики было прекращено расширение ЦОД в Дании и приостановлены проекты в США, сообщил ресурс DatacenterDynamics (DCD). Глава компании Марк Цукерберг (Mark Zuckerberg) обещает, что 2023 год будет «годом эффективности», и собирается отказаться от неэффективных проектов, а также устранить часть менеджеров, ставших тормозом на пути к росту показателей.

До недавних пор компания утверждала, что расходы на ЦОД в любом случае не уменьшатся, несмотря на сокращение затрат по другим направлениям из-за убытков, связанных с разработкой метавселенной, проблемами в основном бизнесе, а также воздействием глобального экономического спада. Однако в ходе отчёта о результатах за IV квартал компания сообщила, что планирует более низкие капиталовложения в ИТ-инфраструктуру, включая строительство ЦОД.

Изображение: Meta✴

Если за минувший квартал компания потратила $9,2 млрд, «обусловленные инвестициями в серверы, центры обработки данных и сетевую инфраструктуру», то теперь вместо ранее запланированных $34–37 млрд компания собирается израсходовать по этой статье $30–33 млрд. «Снижение прогноза отражает наши обновлённые планы по сокращению затрат на строительство ЦОД в 2023 году, поскольку мы переходим к новой архитектуре ЦОД, которая является более экономичной и может поддерживать как ИИ, так и другие рабочие нагрузки», — заявила Meta✴.

ИИ-платформа Grand Teton (Источник: Meta✴)

Компания обещает, что «новая архитектура ЦОД будет дешевле и быстрее в строительстве, чем предыдущая». Meta✴ будет использовать «новый поэтапный подход», в рамках которого изначально будут строиться объекты с меньшей мощностью и меньшими первоначальными капитальными затратами, которые по необходимости можно развивать, быстро наращивая их мощность. Проще говоря, Meta✴ намерена использовать модульный способ строительства. Аналитики TrendForce отмечают, что вместе с Meta✴ затраты на оборудование снизят Amazon, Google и Microsoft.