Суть прорыва: ДНК как язык
Hugging Face совместно с Академией Чжунгуаньцунь и TIGEM выпустила Carbon-X — модель с 14,8 млрд параметров (архитектура decoder-only, плотная, без MoE). В отличие от предыдущих решений, Carbon-X не использует отдельный энкодер для ДНК. Вместо этого применяется гибридный токенизатор: базовый BPE-словарь Qwen3-14B дополнен 5 515 токенами ДНК (включая 4 096 неповторяющихся 6-меров). Один токен ДНК покрывает 6 пар оснований, что позволяет модели «читать» сырую ДНК и отвечать на вопросы на английском языке в едином потоке.
Производительность: лидер в кодировании, аутсайдер в сплайсинге
Модель показала средний результат 66,7% на пяти бенчмарках, уступив лишь GPT-6.1 Sol (67,5%) и опередив Opus 5.5 (60,9%). Carbon-X стал лучшим среди открытых моделей в задаче BioReason Coding (74,9%) и предсказания следующих оснований NextBase (39,4%). Однако точность определения сайтов сплайсинга (GenomeQA) составила всего 29,8%, что указывает на текущие ограничения модели в сложных генетических задачах.
| Бенчмарк | Carbon-X | GPT-6.1 Sol | Opus 5.5 | Kimi K3 |
|---|---|---|---|---|
| BioReason Coding | 74.9% | 71.0% | 70.3% | 53.9% |
| BioReason Non-SNV | 85.1% | 91.7% | 94.8% | 65.3% |
| GenomeQA | 63.6% | 67.2% | 62.2% | 52.0% |
| NextBase | 39.4% | 32.9% | 1.1% | 30.6% |
| FrontierVEP | 70.4% | 74.9% | 76.2% | 50.1% |
| Среднее | 66.7% | 67.5% | 60.9% | 50.4% |
Экономика: $300 против $4 млн
Главное преимущество Carbon-X — доступность. Запуск на одном GPU NVIDIA H200 стоит около $5 в час. Стоимость вывода весов (Apache 2.0) позволяет локально обрабатывать чувствительные данные. Для сравнения: анализ 2,4 млн вариантов ClinVar неопределенного значения обойдется в ~$300 с Carbon-X, тогда как использование проприетарных моделей (GPT-6.1 Sol, Opus 5.5) может стоить от $32 000 до $4 млн. Модель также доступна в формате GGUF: Q8_0 (15.8 GB) и Q4_K_M (9.6 GB) для запуска на CPU/младших GPU.
Технические детали и деплой
Обучение прошло в 4 этапа: от заморозки трансформера для эмбеддинга ДНК до асинхронного RL (GRPO). Контекстное окно составляет 40 960 токенов. Модель легко интегрируется через vLLM, Transformers (v5+) или llama.cpp (версия b11742+). Важно: при использовании необходимо отключить режим «мышления» (enable_thinking=False), так как модель дообучалась и оценивалась без него. Carbon-X также работает как суб-агент: подключение к Kimi K3 повысило точность анализа ДНК с 49,4% до 60,5%.
Бенчмарки
| Бенчмарк | Carbon-X | GPT-6.1 Sol | Kimi K3 | Opus 5.5 |
|---|---|---|---|---|
| BioReason Coding | 74.9% | 71% | 53.9% | 70.3% |
| BioReason Non-SNV | 85.1% | 91.7% | 65.3% | 94.8% |
| GenomeQA | 63.6% | 67.2% | 52% | 62.2% |
| NextBase | 39.4% | 32.9% | 30.6% | 1.1% |
| FrontierVEP | 70.4% | 74.9% | 50.1% | 76.2% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗