От реконструкции генов к латентным представлениям
Традиционные модели пространственной транскриптомики часто страдают от переобучения на технические артефакты измерений, пытаясь восстановить маскированные значения экспрессии генов. Авторы работы, опубликованной в arXiv (2026), предлагают новый подход: CellWorld. Вместо прямой реконструкции сырых данных, модель обучается предсказывать латентные представления (latent representations) маскированных клеток, используя видимый пространственный контекст и частичныеhints экспрессии. Это позволяет отделить биологический сигнал от шума прибора.
Масштаб обучения и архитектура
Команда разработала четыре варианта модели CellWorld с разным количеством обучаемых параметров. Обучение проводилось на беспрецедентном корпусе из 46 миллионов человеческих клеток. Контролируемые эксперименты по масштабированию показали, что производительность растет вместе с емкостью модели, особенно в задачах, связанных с пространственным контекстом.
| Модель | Количество параметров | Ключевая особенность |
|---|---|---|
| CellWorld-Small | 5.74 млн | Лучший результат среди всех базовых моделей на 11 линейных тестах |
| CellWorld-Large | 94.56 млн | Превосходит дообученные аналоги даже при заморозке весов |
Результаты: эффективность «замороженных» моделей
Самое впечатляющее достижение — способность модели к zero-shot или few-shot переносу. CellWorld-Large, предварительно обученная всего на 5% корпуса (но с широким биологическим разнообразием источников), превзошла все базовые модели, которые были полностью дообучены (fully fine-tuned) на целевых данных. Это доказывает, что для пространственных задач важнее не просто объем данных, а их разнообразие и качество оптимизации.
Значение для биологии и AI
CellWorld открывает путь к созданию масштабируемых фундаментальных моделей для биомедицинских исследований. Способность точно предсказывать состояние клеток в пространстве без необходимости дообучения на каждом новом датасете может ускорить анализ тканей, поиск биомаркеров и понимание механизмов заболеваний. Код модели доступен для сообщества.
Источник: arXiv cs.AI ↗