К концу 2024 года компания Meta✴ планирует иметь в распоряжении 350 тыс. ускорителей NVIDIA H100. А общая произвдительность всех ИИ-чипов компании будет эквивалента 600 тыс. H100. Об этом сообщил основатель Meta✴ Марк Цукерберг в своём Instagram✴. Meta✴ заинтересовалась ускорителями AMD Instinct MI300, а также разработала собственный ИИ-чип MTIA.

В интервью ресурсу The Verge глава Meta✴ уточнил , что для создания продуктов, которые компания хотела бы иметь в своём портфолио, необходимо разработать сильный искусственный интеллект (AGI). В настоящее время компания занимается проектом по развёртыванию метавселенной, который приносит ей пока только миллиардные убытки. но Meta✴ верит, что за сочетанием ИИ и метавсленными будущее.

Источник изображения: NVIDIA

В рамках реализации планов по совершенствованию технологий ИИ компания пересмотрела находящиеся на стадии разработки проекты, отменив часть из них, что привело к падению капитальных затрат по сравнению с предыдущим годом. В IV квартале компания потратила $6,8 млрд, что на $3 млрд меньше год к году. При этом компания увеличивает вложения в ИИ и разработала новую архитектуру ЦОД, которая позволит повысить эффективность использования ИИ-кластеров.

Всего в 2023 году капвложения Meta✴, по оценкам, составят $27–29 млрд. В 2024 году компания планирует потратить на эти цели $30–35 млрд, причём рост будет обусловлен инвестициями в серверы (включая оборудование, не связанное с ИИ), а также в дата-центры на базе обновлённой архитектуры.

Компания Gigabyte анонсировала сервер хранения S183-SH0, предназначенный, как она сама говорит, для работы с большими языковыми моделями (LLM). Новинка, выполненная в форм-факторе 1U, допускает установку двух процессоров Intel Xeon Sapphire Rapids или Emerald Rapids.

Источник изображений: Gigabyte

Во фронтальной части сервера расположены 32 посадочных места для накопителей E1.S NVMe SSD с возможностью горячей замены. Это позволяет сформировать сверхбыстрое хранилище для обработки данных LLM. Кроме того, предусмотрены два коннектора для накопителей M.2 с интерфейсом PCIe 3.0 x4 или SATA 3.0.

Доступны 32 слота для модулей оперативной памяти DDR5-4800/5600. Могут быть установлены три карты FHHL с интерфейсом PCIe 5.0 x16 или x8. В оснащение входит контроллер Aspeed AST2600. Есть два сетевых порта 1GbE (Intel I350-AM2) с поддержкой NCSI и выделенный сетевой порт управления. Питание обеспечивают два блока мощностью 1600 Вт с сертификатом 80 PLUS Titanium.

Габариты сервера составляют 438 × 43,5 × 730 мм. Имеются три порта USB 3.2 Gen1 (один выведен на лицевую панель), интерфейс Mini-DP и гнёзда RJ-45 для сетевых кабелей. Реализована система воздушного охлаждения с семью вентиляторами диаметром 40 мм. Диапазон рабочих температур — от +10 до +35 °C.

Dell и Meta✴ предложили совместную разработку для повышения эффективности работы компаний в области генеративного ИИ, основанную на использовании большой языковой модели Meta✴ Llama 2 и инфраструктуры Dell.

Запуск таких приложений генеративного ИИ, как чат-боты, виртуальные помощники, в том числе для написания кода, предполагает обучение моделей на собственных данных компаний. Однако решения в публичных облаках хотя и удобны, часто имеют определённые ограничения, включая риски безопасности, связанные с суверенитетом данных, а также непредсказуемые затраты и проблемы с соблюдением регуляторных требований.

Источник изображения: Dell

Локальное развёртывания открытых больших языковых моделей (LLM) вроде Llama 2 обеспечивает клиентам предсказуемые затраты и полный контроль над своими данными, снижая риск для безопасности и утечки интеллектуальной собственности, а также обеспечивая соответствие нормативным требованиям, говорит Dell. Решения Dell Generative AI Solutions вместе с Dell Validated Design for Generative AI предлагают клиентам готовый, предварительно протестированный программно-аппаратный, специально созданный для работы с генеративным ИИ.

Источник изображения: Dell

Теперь же Dell в сотрудничестве с Meta✴ расширила свой портфель предложений для работы с генеративным ИИ — клиентам доступно упрощённое развёртывание и тюнинг ИИ-моделей Meta✴ Llama 2 от Meta✴ в локальной среде. Решение Dell Validated Design for Generative AI вместе с Llama 2 предоставляет компаниям готовую инфраструктуру, ПО и сервисы Dell для оптимизации развёртывания и управления локальными ИИ-проектами. Llama 2 протестирована и проверена Dell, в том числе при работе с (SFT), LoRA и p-tuning на моделях с 7, 13 и 70 млрд параметров

Благодаря руководству по развёртыванию и настройке компании смогут быстро запустить свою ИИ-инфраструктуру и использовать Llama 2 с большей предсказуемостью. В частности, доступны анализ использования памяти, задержек и эффективности LLM. «Наша цель — стать предпочтительным поставщиком локальной инфраструктуры для клиентов, развёртывающих Llama 2, и предоставить нашим клиентам лучшие в своём классе генеративные решения ИИ», — сообщила компания. Аппаратная основа включает серверы PowerEdge XE9680, а также PowerEdge R760xa (с NVIDIA L40S).

Компания Meta✴ опубликовала отчёт о работе в III четверти 2023 финансового года, которая была завершена 30 сентября. Говорится, что капиталовложения в серверы, дата-центры и сетевую инфраструктуру в годовом исчислении сократились приблизительно на треть, что объясняется прежде всего пересмотром и приостановкой ряда крупных ЦОД-проектов.

За трёхмесячный период Meta✴ получила выручку в размере $34,15 млрд, что на 23 % больше прошлогоднего результата. Чистая прибыль при этом взлетела на 164 % — с $4,40 млрд до $11,58 млрд. Прибыль в пересчёте на одну ценную бумагу составила $4,39 против $1,64 в III квартале 2022-го.

Источник изображения: Meta✴

В свете сложившейся макроэкономической ситуации и стремительного развития рынка ИИ Meta✴ инициировала масштабную трансформацию. В конце 2022 года компания объявила о пересмотре архитектуры своих дата-центров с прицелом на ИИ и СЖО. С тех пор были приостановлены около десятка проектов по всему миру. Meta✴ также сообщила о сокращении расходов на ЦОД на $4 млрд и об отказе от дальнейшего внедрения инференс-чипов собственной разработки в пользу ускорителей NVIDIA.

По итогам закрытого квартала капвложения Meta✴ в ЦОД и серверы оказались на отметке $6,8 млрд, тогда как годом ранее этот показатель равнялся $9,52 млрд. Компания ожидает, что её капитальные затраты в 2023 году в целом составят $27–$29 млрд, а не $27–$30 млрд, как предполагалось ранее. В 2024 году это значение окажется в диапазоне от $30 до $35 млрд: планируемый рост будет обусловлен инвестициями в серверы, включая оборудование, не связанное с ИИ, и в дата-центры.

По состоянию на 30 сентября 2023 года численность штата Meta✴ в глобальном масштабе составляла 66 185 сотрудников. Это на 24 % меньше, нежели годом ранее.

Возглавляемый Meta✴ проект Amitié с участием ряда других телеком-компаний подошёл к завершению первой стадии и готов к реализации следующего этапа. Как сообщает Datacenter Dynamics, 400-Тбит/c трансатлантический кабель протяжённостью 6800 км, соединяющий Францию и США, готов к коммерческому применению. Изначально строительство Amitié анонсировали в 2020 году, кабель должны были ввести в строй ещё в прошлом году.

Фактически работы по прокладке завершились ещё в июле, но официальный ввод в эксплуатацию состоялся только сейчас. Amitié объединяет 16 оптоволоконных пар. Посадочные станции расположены в Линне близ Бостона (принадлежит дочерней структуре Meta✴ — Edge USA), в Буде (Англия), в также дата-центре Equinix в Бордо (Франция). Meta✴ имеет наибольшую долю в проекте (80 %), а в число партнёров входят Aqua Comms, Microsoft и Vodafone.

Оператором станции в Бордо является телеком-провайдер Orange, владеющий частями кабеля протяжённостью до 22,2 км, тянущимися от побережья Франции. Известно, что компании принадлежит право на использование двух оптоволоконных пар кабеля. По словам представителей Orange, комбинация кабелей Amitié и Dunant обеспечила Франции размещение в сердце межконтинентальных обменов информацией — между Европой и Соединёнными Штатами, а также Азией и Африкой.

Источник изображения: IntelligentVisualDesing/pixabay.com

Задержка при прохождении сигнаоа от Бордо до Нью-Йорка составляет 34 мс. Для сравнения, принадлежащий Google трансатлантический кабель Dunant может предложить 38 мс. В 860 километрах от побережья Франции и 650 километрах от берегов Великобритании имеется дополнительный блок управления, позволяющий эффективно менять настройки передачи сигнала между отдельными посадочными станциями, переключаясь между длинами волн или волокнами.

Компания Kioxia на мероприятии Open Compute Project (OCP) Global Summit анонсировала SSD семейства LD2-L, предназначенные для дата-центров. На базе новинок могут формироваться массивы большой ёмкости.

Изделия выполнены в форм-факторе EDSFF E1.L с толщиной 9,5 мм. Для обмена данными служит интерфейс PCIe 3.0 (спецификация NVMe 1.4b). В серию LD2-L вошли две модификации — вместимостью 15,36 и 30,72 Тбайт.

Заявленная скорость последовательного чтения информации у обоих устройств достигает 3500 Мбайт/с, скорость последовательной записи — 2700 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) приводится только для режима произвольного чтения данных блоками по 4 Кбайт — на уровне 210 тыс.

Источник изображения: Kioxia / OCP Summit

Отмечается, что в стоечное шасси типоразмера 1U могут быть установлены до 32 накопителей LD2-L. В результате, суммарная вместимость составит 983,04 Тбайт. Такая СХД, по заявлениям Kioxia, сможет обеспечить пропускную способность до 100 Гбайт/с при чтении информации.

Изделия LD2-L не могут похвастаться рекордной производительностью — у самой Kioxia есть более быстрые серверные SSD с интерфейсами PCIe 4.0 и PCIe 5.0. Вместо этого новинки призваны обеспечить максимальную плотность хранения данных в системах формата 1U.

Компания Swissbit анонсировала SSD серии N5200, предназначенные для использования в дата-центрах и корпоративных серверах. Изделия выполнены с применением чипов флеш-памяти 3D NAND eTLC, а для подключения применяется интерфейс PCIe 4.0 х4 (спецификация NVMe 1.4).

Устройства предлагаются в двух вариантах исполнения: в SFF-формате с коннектором SFF-8639 U.2 и в версии EDSFF E1.S с коннектором SFF-TA-1006 E1.S. Причём во втором случае доступны модификации толщиной 5,5; 9,5 и 15 мм.

Вместимость, вне зависимости от типоразмера, составляет 1,92; 3,84 и 7,68 Тбайт. Скорость последовательного чтения информации достигает 7000 Мбайт/с (6900 Мбайт/с у изделий E1.S), скорость последовательной записи — 4200 Мбайт/с. Показатель IOPS на операциях произвольного чтения — до 1 350 000, на операциях произвольной записи — до 450 000 (190 000 у решений E1.S).

Источник изображений: Swissbit

Конструкция включает буфер DDR4 DRAM. Устройства могут выдерживать более одной полной перезаписи в сутки (показатель DWPD) на протяжении пяти лет. Диапазон рабочих температур простирается от 0 до +70 °C. Величина MTBF превышает 2,5 млн часов. Среднее заявленное энергопотребление — 14,5 Вт.

Среди прочего упомянута поддержка TCG OPAL 2.01 / AES-256, функций Secure Boot и Crypto Erase, средств защиты от сбоев электропитания. Поставки SSD серии N5200 уже начались.

Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Робот Meta✴ Bombyx — это специальное устройство, способное прокладывать оптоволоконные кабели, передвигаясь по линиям электропередач. Bombyx переводится с латыни как «мотылёк шелкопряда». Разработка робота была начата Facebook✴ и ULC Robotics ещё в 2018 году. Теперь Meta✴ сделала ставку на сторонний бизнес, который готов взять реализацию проекта на себя — робота лицензируют для дальнейшей разработки японской IT-компанией.

Лицензию получит японская Hibot, обладающая десятилетиями опыта в разработке роботов различного назначения. В компании уже заявили, что считают большой честью получение лицензии и намерены работать над проектом уже существующими партнёрами и теми, кто пожелает присоединиться к разработке. Робот Bombyx поддержит прокладку оптических линий в труднодоступных местностях, где проникновение интернета оставляет желать лучшего.

Источник изображения: Meta✴

В дополнение к возможности прокладки кабеля, Hibot будет использовать инновационные технологии Meta✴ для создания машины, пригодной для проверки уже существующей инфраструктуры и, возможно, для модернизации электросетей. Хотя оптоволоконные кабели являются недорогими и эффективным решением для создания информационных сетей, сама прокладка обычно обходится значительно дороже самого кабеля и представляет собой относительно сложный процесс.

Источник изображения: Meta✴

В случае Bombyx кабель обвивается вокруг проводов на линиях электропередач. При этом снятие напряжения не требуется, а протяжённость кабеля может быть весьма велика. Правда, речь идёт о специальном кабеле в кевларовой рубашке, который значительно легче традиционных вариантов (менее 13 кг/км). Bombyx может преодолевать препятствия, используя механизмы машинного зрения и сенсоры для ориентации в пространстве.

Meta✴ анонсировала свой первый кастомизированный процессор, разработанный специально для ИИ-нагрузок. Изделие получило название MTIA v1, или Meta✴ Training and Inference Accelerator: оно оптимизировано для обработки рекомендательных моделей глубокого обучения.

Проект MTIA является частью инициативы Meta✴ по модернизации архитектуры дата-центров в свете стремительного развития ИИ-платформ. Утверждается, что чип MTIA v1 был создан ещё в 2020 году. Это интегральная схема специального назначения (ASIC), состоящая из набора блоков, функционирующих в параллельном режиме.

Источник изображений: Meta✴

Известно, что при производстве MTIA v1 используется 7-нм технология. Конструкция включает 128 Мбайт памяти SRAM. Чип может использовать до 64/128 Гбайт памяти LPDDR5. Задействован фреймворк машинного обучения Meta✴ PyTorch с открытым исходным кодом, который может применяться для решения различных задач в области компьютерного зрения, обработки естественного языка и пр.

Процессор MTIA v1 имеет размеры 19,34 × 19,1 мм. Он содержит 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра с архитектурой RISC-V. Тактовая частота достигает 800 МГц, заявленный показатель TDP — 25 Вт.

Meta✴ признаёт, что у MTIA v1 присутствуют «узкие места» при работе с ИИ-моделями большой сложности: требуется оптимизация подсистем памяти и сетевых соединений. Однако в случае приложений низкой и средней сложности платформа, как утверждается, обеспечивает более высокую эффективность по сравнению с GPU.

В дальнейшем в семействе MTIA появятся более производительные изделия, но подробности о них не раскрываются. Ранее говорилось, что Meta✴ создаёт некий секретный чип, который подойдёт и для обучения ИИ-моделей, и для инференса: это решение может увидеть свет в 2025 году.