Что именно открыли
Лаборатория xAI (владелец платформы X) выложила в открытый доступ ключевые компоненты системы рекомендаций For You. Это не просто документация, а реальный код, позволяющий воспроизвести proof-of-concept обучение модели Phoenix. Обновление от 13 августа 2026 года включает:
- Phoenix: код обучения и ранжирования трансформерной модели, а также генерацию синтетических данных.
- SimClusters: система кластеризации для поиска контента от незнакомых авторов (out-of-network).
- Visibility Filtering: логика принятия решений о показе, скрытии или добавлении интерстициального контента.
Архитектура: как работает лента
Система асинхронна и состоит из двух основных конвейеров. Post Pipeline отвечает за поиск, ранжирование и фильтрацию постов. Blending Pipeline оборачивает его, добавляя рекламу, рекомендации «Кого читать» и промпты.
Кандидаты на показ берутся из двух источников, которые ранжируются одной моделью:
- In-Network (Thunder): недавние посты из списков подписок пользователя, хранящиеся в памяти.
- Out-of-Network (Phoenix & SimClusters): контент от авторов, на которых пользователь не подписан, найденный через ML-ретривал и кластерную схожесть.
Механика ранжирования и фильтрации
Ранжирование происходит в несколько этапов. Сначала модель Phoenix предсказывает вероятность каждого действия пользователя (лайк, репост, ответ) на основе истории взаимодействий. Эти вероятности объединяются в итоговый скор с использованием весовых коэффициентов. Затем применяется RankingScorer, который учитывает декремент частоты авторов, дисконт для внешнего контента и буст для новых авторов.
Отдельно работает слой Visibility Filtering. Он использует данные от систем меток (botmaker, scarecrow, agatha) и моделей анализа медиа (clip, media-model-proxy), чтобы решить, будет ли пост показан, скрыт или помечен как потенциально вредоносный.
Сравнение компонентов системы
| Компонент | Роль в системе | Ключевые особенности |
|---|---|---|
| Thunder | In-Network Retrieval | Хранит недавние посты из подписок в памяти для быстрого доступа |
| Phoenix | Out-of-Network Retrieval & Scoring | Трансформерная модель, предсказывающая вероятность действий пользователя |
| SimClusters | Out-of-Network Retrieval | Ищет посты на основе кластерной схожести интересов |
| Visibility Filtering | Content Moderation | Принимает решение: показать, скрыть или добавить интерстициальный барьер |
| Agatha / Scarecrow | Labeling Systems | Модели оценки аккаунтов и обнаружения ботов/спам-активности |
Почему это важно
Публикация кода позволяет исследователям и разработчикам понять, как именно X балансирует между контентом от подписок и рекомендательной лентой. Наличие кода для генерации синтетических данных и обучения Phoenix открывает путь к независимому тестированию гипотез о влиянии весовых коэффициентов на виральность контента. Параллельно X запустил инструмент прозрачности Under the Hood, позволяющий пользователям видеть агрегированную статистику меток, влияющих на видимость их постов.
Источник: Github ↗