На прошлой неделе Wiwynn, поставляющая серверы и комплектующие для гиперскейлеров, подала в Калифорнии иск к X (бывшую Twitter), обвинив последнюю в нарушении соглашения о поставках оборудования, подписанного ещё в 2014 году и до недавних пор соблюдаемого соцсетью. По данным DigiTimes, в материалах иска были раскрыты подробности взаимоотношений компаний. X, судя по всему, более не является клиентом Wiwynn, свои последние ИИ-серверы соцсеть покупала у Dell и Supermicro.

Заявляется, что с ноября 2022 года X прекратила платить Wiwynn и отказалась выполнять ранее взятые обязательства. Из-за этого Wiwynn пошла на обострение отношений с бывшим партнёром 16 августа 2024, потребовав компенсаций. Судя по материалам жалобы, политика X грозила Wiwynn потенциальными потерями в размере $101 млн — это соответствует 1,32 % всей выручки последней в 2023 году. Для смягчения потерь компании пришлось срочно продавать некоторые комплектующие, снизив прямые потери до $61 млн или 0,79 % выручки. По данным источников DigiTimes, Wiwynn уже некоторое время занимается решением данной проблемы, так что значительной части потерь, похоже, удалось избежать.

Источник изображения: David Clode/unsplash.com

24 сентября 2014 года Wiwynn и X подписали соглашение Master Purchase Agreement (MPA), которое, в частности, покрывало поставки серверного оборудования. MPA предусматривало предварительный прогноз будущих заказов Twitter. На основе прогноза Wiwynn готовила список компонентов, закупки которых осуществлялись только после письменного одобрения со стороны Twitter. По условия соглашения, X несла ответственность за неиспользованное «железо».

В последующие восемь лет компании соблюдали условия соглашения, а X (Twitter) добросовестно платила за продукты, поставлявшиеся партнёром. Последний одобренный и подписанный Twitter заказ предполагал закупку компонентов на $120 млн. В ноябре 2022 года, после перехода соцсети к Илону Маску (Elon Musk), который объявил о намерении урезать затраты на IT-инфраструктуру на $1 млрд/год, X прекратила оплачивать счета, в том числе за уже поставленное оборудование. Wiwynn безуспешно пыталась наладить контакт с X, стараясь получить платежи и решить вопросы с поставкой компонентов в целом, но ответа не последовало.

Wiwynn попыталась минимизировать возможные убытки, отменив заказы на поставки компонентов приблизительно на $40 млн и вернув около $19 млн путём продажи неиспользованных компонентов или установки их в оборудование других заказчиков. Тем не менее, многие компоненты были высокоспециализированными и найти им другое применение оказалось нелегко или вовсе невозможно, что и стало причиной судебного иска. Забавно, что на фоне всевозможных тяжб за каждый доллар, в X нашёлся полностью готовый к работе, но простаивающий кластер некогда дефицитных ускорителей NVIDIA V100.

Поставщик серверного оборудования для гиперскейлеров Wiwynn (подразделение Wistron) подал в суд на компанию X (ранее Twitter). По данным Datacenter Dynamics, тайваньский вендор обвиняет контрагента в отказе заплатить $120 млн в рамках договора на поставку серверов и требует компенсацию в объёме $61 млн. Утверждается, что после покупки Twitter Илоном Маском (Elon Musk) социальная сеть «внезапно прекратила» платить и начала игнорировать запросы на оплату уже готовых продуктов.

В рамках соглашения с X компания закупила комплектующие для серверов на сумму $120 млн, которые так и не были доставлены заказчику. Тогда же соцсеть по указанию Маска начала сокращать облачные расходы и закрывать дата-центры для того, чтобы выплатить долги, связанные с её покупкой. Wiwynn смогла отменить заказы или вернуть компоненты на сумму приблизительно $59 млн, но теперь ищет компенсацию в размере $61 млн.

В IV квартале 2022 года от действий Twitter также пострадала и MiTAC, списавшая $43,71 млн, передаёт UDN. Впрочем, прямых обвинений в сторону соцсети от компании не было, а ко II кварталу 2023 года она смогла исправить финансовую ситуацию, перепродав или вернув серверные компоненты, предназначавшиеся Twitter.

Источник изображения: Vitaly Gariev / Unsplash

Twitter оставила ЦОД в Сакраменто, который в итоге достался Tesla, и сократил ёмкости в Атланте (Джорджия). Причём в Джорджии Маск добился получения налоговых льгот на расширение инфраструктуры. Параллельно компания отказалась платить по счетам Google Cloud и Oracle Cloud, а также прекратила платежи AWS — до тех пор, пока Amazon не отказалась оплачивать рекламу в социальной сети. Исход из Сакраменто, по данным компании, позволил Twitter экономить $100 млн в год.

Бизнес Маска отчаянно отбивается от многочисленных судебных исков, включая поданные бывшим генеральным директором Парагом Агарвалом (Parag Agarwal) на сумму $128 млн и бывшим председателем Омидом Кордестани (Omid Kordestani) на $20 млн, лишившимися своих мест. Впрочем, в прошлом месяце Маск уже выиграл дело против бывших сотрудников Twitter, требовавших $500 млн в качестве компенсации за массовые сокращения.

Работавший в Twitter во времена продажи социальной сети Илону Маску (Elon Musk) разработчик Тим Заман (Tim Zaman), ныне перешедший в Google DeepMind, рассказал о необычной находке, передаёт Tom’s Hardware. По его словам, через несколько недель после сделки специалисты обнаружили кластер из 700 простаивающих ускорителей NVIDIA V100. Сам Заман охарактеризовал находку как «честную попытку построить кластер в рамках Twitter 1.0». Об этом событии Заману напомнили новости про ИИ-суперкомпьютер xAI из 100 тыс. ускорителей NVIDIA H100.

Находка наводит на печальные размышления о том, что Twitter годами имел в распоряжении 700 высокопроизводительных ускорителей на архитектуре NVIDIA Volta, которые были включены, но простаивали без дела. Они были в дефиците на момент выпуска в 2017 году, а Заман обнаружил бездействующий кластер только в 2022 году. Нет ничего удивительного, что приблизительно тогда же было решено закрыть часть дата-центров социальной сети. Примечательно, что в кластере использовались PCIe-карты, а не SXM2-версии V100 с NVLink, которые намного эффективнее в ИИ-задачах.

Источник изображения: Alexander Shatov/unsplash.com

Заман поделился и соображениями об «ИИ-гигафабрике». Он предположил, что использование 100 тыс. ускорителей в рамках одной сетевой фабрики должно стать эпическим вызовом, поскольку на таких масштабах неизбежны сбои, которыми необходимо грамотно управлять для сохранения работоспособности всей системы. По его мнению, следует разделить систему на независимые домены (крупные кластеры так и устроены). Заман также задался вопросом, какое максимальное количество ускорителей может существовать в рамках одного кластера. По мере того, как компании создают всё более масштабные системы обучения ИИ, будут выявляться как предсказуемые, так и неожиданные пределы того, сколько ускорителей можно объединить.

Глава Tesla и других компаний Илон Маск (Elon Musk) подтвердил передачу ускорителей NVIDIA H100, ранее заказанных Tesla, социальной сети X и ИИ-стартапу xAI. Слухи об этом, напоминает The Register, появились в СМИ — в распоряжение журналистов попала внутренняя документация и электронная переписка с NVIDIA.

В частности, в одной из записок за декабрь прошлого года прямо указывалось, что Илон отдаёт приоритет внедрению 12 тыс. ускорителей в X вместо Tesla. Общая стоимость такого количества H100 превышает $500 млн. Вместо этого заказанные для X экземпляры H100 позже будут переданы Tesla (поставки ожидались в январе и июне 2024 года). Кроме того, есть проблемы и с созданием ИИ-суперкомпьютера Dojo на базе собственных чипов, который должен улучшить положение Tesla.

Приоритетным для Маска, вероятно, является кластер H100, создаваемый X и тесно связанным с сетью стартапом xAI. Компании совместно работают над большими языковыми моделями, стоящими за чат-ботом Grok, уже доступным премиум-подписчикам X. По данным утечки из NVIDIA, 100 тыс. H100 приказано передать к концу года в xAI для создания «крупнейшего в мире» кластера ускорителей, который разместится в Северной Дакоте.

Источник изображения: Alexander Shatov/unsplash.com

Хотя на уровне компаний комментариев не поступало, сам Маск подтвердил, что у Tesla просто не было места для чипов NVIDIA, поэтому они хранились на складе. При этом ещё не так давно Маск уверял инвесторов Tesla, как важны HPC-системы и ИИ для компании. Более того, ещё в апреле появилась новость о том, что автопроизводитель только в течение одного квартала вложил в ИИ $1 млрд.

Также миллиардер сообщал, что один из заводов Tesla в Техасе вместит 50 тыс. H100 для обучения систем автономного вождения, в общей сложности число ускорителей достигло бы 85 тыс. Пока нет точных данных об обстоятельствах передачи ускорителей между Tesla и X или xAI. Нет даже информации о том, заплатила ли уже Tesla за «железо» и получила ли за него какую-то компенсацию.

Условия передачи H100 могут иметь большое значение с учётом того, что Маск не является единоличным владельцем Tesla. Если выяснится, что Маск злоупотребил властью, к нему могут возникнуть вопросы как у инвесторов, так и у регуляторов. Впрочем, Tesla не впервые приходится делиться активами с X. Вскоре после покупки Twitter более 50 сотрудников автопроизводителя якобы отправили на «усиление» социальной соцсети. Есть данные, что сотрудников Tesla привлекают к работам и в других компаниях Маска, причём без дополнительной платы.

Время для новостей не особенно удачное — на следующей неделе акционеры Tesla будут голосовать по ряду предложений, главным из которых является официальный перенос штаб-квартиры в Техас. Также речь пойдёт о переизбрании брата Кимбала, брата Илона Маска (Kimbal Musk), в совет директоров и других ключевых для бизнесмена вопросах.

Тем временем в Tesla падают продажи со II половины 2022 года, увольняют сотрудников и, главное, стоимость акций компании падает критическими темпами. Приказ передать H100 станет дополнительным козырем в руках критиков миллиардера, которые утверждают, что его активное участие в других проектах мешает ему сконцентрироваться на автобизнесе и эффективно выполнять обязанности главы Tesla.

Медиакомпания X/Twitter получила налоговую льготу на сумму $10,1 млн за то, что согласилась разместить оборудование ЦОД в Атланте (Джорджия). Datacenter Dynamics сообщает, что бизнес Илона Маска (Elon Musk) пригрозил в противном случае отправить оборудование для ИИ-вычислений в Портленд (Орегон).

На прошлой неделе Управление по развитию округа Фултон (Development Authority of Fulton County) провело голосование, в результате которого подавляющим большинством голосов (шесть против двух) решено предоставить налоговые льготы сроком на 10 лет для проекта стоимостью $700 млн в Атланте. Предполагается дооснащение уже существующего объекта.

Фото: Kelly Sikkema / Unsplash

Инфраструктуру будут использовать для создания ИИ-продуктов X Platform. Например, больших языковых моделей (LLM) и инструментов семантического поиска. X заказала 10 тыс. ускорителей для этого проекта в апреле 2023 года, но в декабре местные власти отказали ей в налоговых льготах. X заявила о необходимости подобной «скидки», чтобы якобы не пришлось делать трудный выбор и размещать оборудование в Портленде (Орегон).

Несмотря на явный шантаж, в декабре X признала, что начнёт обновлять инфраструктуру независимо от того, предоставят ли местные власти льготу или нет. В январе представитель X признался, что большая часть ИИ-оборудования уже доставлена в ЦОД в Атланте, не считая одной партии стоимостью $200 млн. Тем не менее, он предупредил, что оставшееся «железо» могут направить в Портленд, если власти не пойдут навстречу.

X ссылается на то, что без льгот обслуживание инфраструктуры в Атланте будет на 21 % дороже, чем в Орегоне, а при их наличии стоимость в обоих штатах будет одинаковой. При этом проект не предусматривает создания новых рабочих мест, хотя и позволит сохранить 24 из уже существующих. Налоговые поступления в следующие 10 лет должны составить более $16 млн.

Фото: Taylor Vick / Unsplash

Пикантность ситуации в том, что у X практически не осталось собственных площадок. ЦОД в Атланте порядка десяти лет является одним из основных для компании. После прихода Маска компания покинула сначала один дата-центр в Сакраменто (Калифорния), а затем и второй, причём один из них в итоге достался Tesla. Суммарно компания высвободила 48 МВт, перенеся часть нагрузок в оставшиеся ЦОД. Ожидалось, что она сократит присутствие и в Атланте.

Компанию также обвиняли в иной форме «оптимизации» — неуплате счетов облачным провайдерам, включая Google, Oracle и Amazon. Маск требовал пересмотреть условия контрактов, но в результате X/Twitter столкнулась с техническими проблемами, вызвавшими сбои в работе сервисов. При этом компания по-прежнему во многом полагается на облака.

Ситуация с неплатежами Twitter за облачные сервисы постепенно превращается в комедию. Как сообщает DataCenter Dynamics, вслед за AWS и Google Cloud, социальная сеть перестала платить и облаку Oracle. Это может осложнить дружеские отношения владельца Twitter Илона Маска (Elon Musk) с основателем Oracle Ларри Эллисоном (Larry Ellison), который инвестировал в Twitter $1 млрд.

В своём стремлении оптимизировать расходы Twitter, Илон Маск идёт на отчаянные меры, не встречающие понимания его контрагентов. Как известно, ещё в марте возник скандал между Twitter и Amazon Web Services (AWS), с 2020 года предоставляющей услуги социальной сети. Соцсеть отказывалась рассчитываться с облачным провайдером за оказанные услуги, но после того, как AWS пригрозила прекратить платить за рекламу в Twitter, ситуация с платежами начала налаживаться.

Источник изображения: Oracle

Не лучше сложилась обстановка и с Google Cloud Platfotm, поскольку продолжавшиеся неплатежи вынудили Google искать контакты с Маском через руководство SpaceX, с которой облачный сервис тоже сотрудничает. К счастью для Маска, ситуация разрешилась с приходом на пост генерального директора Twitter Линды Яккарино (Linda Yaccarino), напрямую договорившейся с главой Google Cloud Томасом Курианом (Thomas Kurian) о расчётах и новых направлениях сотрудничества. Маск якобы пытался шантажировать Google Cloud, желая перезаключить договор об обслуживании на более выгодных условиях.

Миллиардер оптимизирует не только облачные, но и локальные расходы. Известно, что он закрыл один из трёх ЦОД Twitter, который в итоге перешёл Tesla, а также уволил массу IT-специалистов. Это поставило под вопрос работу одной из крупнейших в мире социальных сетей. Сейчас, по слухам, представители Oracle ищут прямые контакты с действующими и бывшими сотрудниками Twitter, желая собрать счета-фактуры с просроченной оплатой.

Новый руководитель социальной сети Twitter Линда Яккарино (Linda Yaccarino) взяла курс на нормализацию отношений с партнёрами компании — при ней возобновилась оплата услуг Google Cloud, приостановленная Илоном Маском. Как сообщает DataCenter Dynanics, попытка сэкономить привела к угрозе отключения некоторых важнейших сервисов Twitter.

Купив социальную сеть, Илон Маск активно занялся оптимизацией её расходов, в числе прочего приостановив расчёты с Google Cloud, предоставлявшей ряд важных облачных сервисов, и фактически занявшись психологическим давлением. Известно, что между Twitter и Google заключено многолетнее соглашение общей стоимостью порядка $1 млрд, в рамках которого только в 2023 году социальная сеть должна заплатить порядка $300 млн. Переговоры о возобновлении сделки должны были вестись уже в июне, поэтому Маск решил надавить на руководство Google Cloud, приостановив платежи до заключения новой договорённости.

Источник изображения: ilgmyzin/unsplash.com

Руководство Google Cloud, не имея прямой связи с Маском, пыталось выйти на него через руководство SpaceX, также пользующейся облачными сервисами компании. Всё это тянулось до самого вступления Яккарино в должность. Маск рассчитывал сократить не только оплату облачной инфраструктуры, выведя ряд сервисов из Google Cloud, но, как выяснилось, не успевал до окончания действия контракта 30 июня, поэтому под угрозой оказалась работа фильтров, отсеивающих ботов, материалы с преступлениями в отношении детей, экстремистский контент и др.

Приём с давлением Маск пытался воспроизвести и с облачными сервисами Amazon Web Services (AWS), также приостановив платежи. После этого в AWS отказались платить за рекламу в Twitter и отношения были довольно быстро частично восстановлены. Придя к власти в Twitter, Линда Яккарино наладила прямой контакт с главой Google Cloud Томасом Курианом (Thomas Kurian) и начала оплату задолженности — по некоторым данным, с одобрения Маска. Также главы компаний обсуждают расширение сотрудничества, включая рекламные проекты и использование API Twitter компанией Google.

Компания Tesla арендовала мощности ЦОД оператора NTT Global Data Centers в Сакраменто (США), ранее использовавшиеся компанией Twitter, сообщает DataCenter Dynamics. В конце 2022 года социальная сеть отказалась от данного ЦОД, так что у неё теперь осталось только два основных дата-центра. Занявшая её место Tesla не просто займёт освободившиеся мощности, но и арендует дополнительные.

К счастью, «родственная» компания стала новым клиентом очень вовремя. Поскольку Twitter отказалась от ЦОД до конца срока аренды, компании необходимо было найти «преемника», чтобы максимально безболезненно разорвать соглашение. Впрочем, роль Маска в выборе ЦОД неизвестна — в декабре прошлого года миллиардер назвал Сакраменто «возможно, худшим местом для ЦОД». Именно этот дата-центр Twitter вышел из строя в прошлом сентябре из-за жары.

Источник изображения: Austin Ramsey/unsplash.com

Позицию самого владельца Twitter вряд ли можно назвать особенно взвешенной, поскольку помимо отказа от ЦОД в Сакраменто для оптимизации расходов социальной сети он пошёл на ряд крайне непопулярных шагов, от массовых увольнений сотрудников до неплатежей компаниям-партнёрам. Сообщалось, что Twitter отказывается платить за сервисы Google Cloud. А ранее компания отказалась платить AWS, но пошла на попятную, когда Amazon пригрозила отказаться от рекламы в социальной сети.

Судя по намерениям Tesla, планирующей нарастить мощности ЦОД, дела у компании обстоят значительно лучше, чем у Twitter, стоимость которой, если верить Fidelity, упала с $44 млрд до $15 млрд. Считается, что Tesla будет использовать новый ЦОД для машинного обучения, включая симуляции с участием систем автономного вождения. У Tesla и без того большие планы. Компания уже анонсировала собственный процессор D1, который станет основой ИИ-суперкомпьютера Dojo.

По данным портала Platformer, принадлежащая Илону Маску (Elon Musk) социальная сеть Twitter отказалась платить за облачные сервисы Google Cloud. В результате компания может лишиться доступа к инструментам модерации контента. Как сообщает портал Silicon Angle, она не впервые отказывается платить по счетам — в марте Amazon грозилась приостановить покупку рекламы в ответ на отказ платить за сервисы AWS.

Известно, что контракт на обслуживание Google Cloud должны обновить 30 июня. Он был заключён задолго ещё в 2018 году. Тогда Twitter подписала многолетнее соглашение на сумму порядка $1 млрд. До прихода Маска компания планомерно переносила всё больше сервисов в облако Google. Теперь она, похоже, намерена вернуться к хранению и обработке данных на собственных мощностях, причём делать это придётся быстро, до истечения срока контракта остались считаные недели.

Источник изображения: ilgmyzin/unsplash.com

Одна из главных проблем, выделенных Platformer, как раз в том, что социальная сеть не успевает выполнить все необходимые работы, поэтому она может в скором будущем временно остаться без инструментов модерации вроде Smyte, помогающего бороться со спамом и публикацией материалов со сценами насилия над детьми. Впрочем, после того, как Маск начал в компании масштабные сокращения, у Smyte уже начались технические проблемы — причём возникать они стали буквально ежедневно.

Политика Маска, направленная на экономию средств, активно внедряемая после покупки Twitter миллиардером, привела к многочисленным сбоям. Решение Twitter отказаться от оплаты отчасти связывают с неудовлетворительным с точки зрения компании качеством инфраструктуры Google, поэтому средства пока придерживаются, чтобы последняя устранила проблемы. По мнению экспертов, в результате Twitter, наоборот, может потерять доступ к некоторым сервисам, в том числе имеющим большое значение для рекламодателей, являющихся основным источником дохода социальной сети.

Некоторые эксперты считают, что надавить на Google у Маска не получится и платить рано или поздно всё-таки придётся. Ранее компания попыталась ради сокращения расходов пересмотреть соглашения с облаками Amazon и Oracle, услугами которых она тоже пользуется. Вряд ли неуплата ключевым игрокам положительно скажется на репутации бизнеса среди других облачных провайдеров, имеющих в современном мире большое значение.

С тех пор как Илон Маск (Elon Musk) приобрёл Twitter, у социальной сети начались серьёзные неприятности. В частности, как сообщает DataCenter Dynamics, компания начала демонстрировать неуместные попытки сэкономить, задерживая оплату счетов землевладельцам, клининговым сервисам и другим компаниям, уже предоставившим те или иные услуги.

Так, распоряжением Маска закрыт один из трёх ЦОД Twitter в США, в результате чего серверные мощности социальной сети значительно снизились. Дополнительно Маск сократил немало работников, включая разработчиков и технический персонал, отвечавших за обеспечение работоспособности сервиса. Результаты не заставили себя долго ждать — с тех пор, как Маск начал реформы, сбои в работе социальной сети случались не один раз. Впрочем, это лишь часть проблем.

Источник изображения: Sunny Haccan/unsplash.com

По данным The Information, Twitter уже в течение четырёх месяцев не платила по счетам сервиса Amazon Web Services (AWS), несмотря на то, что социальная сеть активно пользуется облачными услугами и долг достиг десятков миллионов долларов. В Amazon пригрозили возмездием, заявив, что больше не будут платить за рекламу. Известно, что на расходы на рекламу торговой площадки только в I квартале, вероятно, придётся около $1 млн, и намного больше, если принять во внимание сегмент Amazon Studios.

Судя по всему, Twitter уже потеряла важного клиента, хотя и попыталась сгладить ситуацию, выплатив $10 млн несколько недель назад. Тем не менее, СМИ сообщают, что AWS не намерена продлевать контракт, заключённый в 2020 году сроком на 5,5 лет. Возможно потому, что социальная сеть даже теперь должна ещё как минимум $70 млн. Ранее предполагалось, что Twitter заплатит за весь срок обслуживания $510 млн и перенесёт в AWS свои основные сервисы, но этого так и не произошло, хотя некоторыми услугами облака Amazon социальная сеть всё же пользуется.

При этом известно, что Twitter гораздо активнее пользуется облачными сервисами Google Cloud и платит за них точно в срок, хотя и пытается договориться о снижении стоимости. Причина столь разного подхода неизвестна. Высказываются предположения, что Google является более крупным рекламодателем и к тому же платит Twitter за поставку данных, поэтому компании имеют перекрёстную зависимость друг от друга. Впрочем, известно, что в Google отказываются от пересмотра контракта и снижения стоимости своих услуг в рамках подписанного пятилетнего контракта на сумму $1 млрд.