В современном научном мире языковые модели уже давно перестали быть просто инструментами для поиска информации. Они стали полноценными ассистентами, которые помогают исследователям синтезировать доказательства, анализировать сложные вопросы и структурировать знания. Однако научная работа накладывает на ИИ особые требования: ответы должны быть строго привязаны к доказательствам, модель не должна «размывать» выводы исследований и, что самое важное, ученый должен иметь возможность верифицировать каждый шаг генерации. Именно эти вызовы легли в основу разработки AstaBrief 8B — новой открытой модели от Allen Institute for AI (Ai2), которая демонстрирует, как можно сделать научный синтез быстрее, доступнее и прозрачнее.
В отличие от простых поисковых систем, где пользователь вводит ключевые слова, ученые часто предоставляют ИИ обширный контекст и множество ограничений. Например, задача может заключаться в сравнении подходов в рамках определенной методологии или популяции. Более того, сгенерированные отчеты часто используются не как разовые ответы, а как рабочие артефакты, к которым возвращаются для доработки. Чтобы удовлетворить эти потребности, команда Ai2 создала AstaBrief 8B — модель, способную превращать исследовательский вопрос и извлеченные фрагменты литературы в полноценный цитируемый отчет. Главное преимущество этой модели заключается не только в качестве, но и в скорости: она позволяет запускать генерацию отчетов локально, что критически важно для работы с конфиденциальными или unpublished данными.
01Почему скорость и открытость важны для науки
Разработка AstaBrief 8B стала ответом на практическую потребность исследователей в более быстрых и доступных инструментах. В платформе Asta эта модель доступна в режиме «Fast mode» (Быстрый режим) наряду с более тяжеловесным «Thinking mode» (Режим размышлений), который работает на базе проприетарных моделей, таких как Claude. Сравнение показывает впечатляющие цифры: в среднем генерация отчета в быстром режиме занимает 51.1 секунды, тогда как в режиме размышлений этот процесс длится 178.5 секунд. Это ускорение составляет примерно 3.5 раза.
Но дело не только в скорости. Открытые веса модели (open-weights) позволяют институтам и отдельным исследователям запускать AstaBrief на собственной инфраструктуре. Это необходимо в ситуациях, когда исследовательские вопросы касаются чувствительных данных, предварительных результатов или unpublished работ, которые нельзя передавать в облачные проприетарные сервисы. Кроме того, локальный запуск снижает затраты на обслуживание и дает ученым полный контроль над контекстом, используемым для генерации. Вместе с моделью Ai2 публикует пример рабочего процесса, который позволяет исследователям адаптировать систему для создания отчетов из собственных PDF-файлов, открывая путь к локальному научному синтезу.
02Архитектура обучения: от Qwen3-8B к научному эксперту
Задача создания AstaBrief заключалась в том, чтобы построить модель с открытыми весами, обладающую всеми качествами, необходимыми для длинных научных синтезов: качеством ответа, релевантностью, структурой и, что самое важное, привязкой к цитатам. Базовой архитектурой стала модель Qwen3-8B. Однако основная работа была сосредоточена не на изменении архитектуры, а на пост-обучении (post-training), качестве данных и сопутствующей инфраструктуре генерации отчетов.
Важно отметить, что команда Ai2 активно исследует адаптацию общих моделей для науки в рамках инициативы NSF OMAI (Open Models for AI for Science). Эта национальная инициатива США направлена на создание полностью открытой ИИ-инфраструктуры для научных открытий. Исследователи работают напрямую с научными сообществами, чтобы понять, чего не хватает современным общим моделям. В случае с AstaBrief они столкнулись с тем, что методы обучения с подкреплением (Reinforcement Learning, RL), такие как те, что используются в проекте DR Tulu, могут быть нестабильными и дорогими. Поэтому был выбран более простой и управляемый рецепт: Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO).
Этот выбор позволил сосредоточиться на качестве обучающих данных, а не на сложных оптимизационных методах. Целью было заставить модель генерировать финальный отчет за один проход (one-pass), минуя дорогие этапы суммаризации и кластеризации фрагментов, которые используются в режиме Thinking. Удивительно, но это удалось сделать без потери качества, что стало ключевым прорывом в дизайне системы.
03Сбор данных SFT: учимся на реальных запросах ученых
Качество модели напрямую зависит от качества данных. Вместо того чтобы полагаться на синтетические промпты или стандартные бенчмарки, команда Ai2 использовала реальные запросы пользователей платформы Asta. Анализ сотен тысяч запросов показал, что ученые задают вопросы иначе, чем обычные пользователи чат-ботов. Они предоставляют обширный контекст, несколько ограничений и устанавливают связи между концепциями, а не используют короткие ключевые слова.
Процесс сбора данных для SFT включал строгую фильтрацию:
- Удаление трафика от бета-тестеров и ботов.
- Исключение слишком коротких запросов, которые не несут смысловой нагрузки.
- Использование LLM-фильтра для отсечения запросов на других языках, не научных запросов и промптов с личной информацией.
В результате был сформирован пул из 90 000 научно-ориентированных запросов. Для каждого из них были сгенерированы целевые выходы (target outputs) с использованием многоэтапного конвейера ScholarQA, который опирается на такие модели, как Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini и GPT-4.1. После фильтрации качества осталось 47 000 пригодных примеров для обучения.
04Создание пар DPO: как выбрать лучший ответ
Для этапа DPO (Direct Preference Optimization) потребовался другой тип данных. Вместо одного целевого отчета на запрос нужны были пары отчетов, где один явно лучше другого. Эти пары создавались из отдельного подмножества запросов, не использованных при генерации данных для SFT.
Механизм выбора был следующим:
- Один отчет генерировался существующим конвейером ScholarQA (обычно на базе Claude 3.5/3.7).
- Конкурирующий отчет генерировался другой моделью (o3, o4-mini, DeepSeek-V3 или DeepSeek-R1) на основе тех же извлеченных фрагментов литературы.
- Две модели-судьи (GPT-4.1 и DeepSeek-R1) сравнивали пары и выбирали победителя.
Критически важным шагом стала проверка согласованности моделей-судей с человеческими предпочтениями (достигнуто 95% согласия). В финальный набор предпочтений попали только те пары, где обе модели-судьи сошлись во мнении. Это позволило значительно снизить шум, характерный для данных, сгенерированных в масштабе. Итоговый набор DPO состоял примерно из 6 000 примеров. Использование нескольких генераторов и требование согласия двух судей позволило избежать зависимости от вывода какой-либо одной модели как абсолютной истины.
05Фильтрация цитирования: ключ к научной достоверности
Главной целью оценки была модель SQABench-CS2 — набор из 200 исследовательских вопросов по компьютерным наукам, написанных пользователями. Команда отслеживала четыре ключевые метрики:
- Rubric score: насколько полно отчет покрывает необходимый контент.
- Answer precision: насколько каждый абзац релевантен вопросу.
- Citation precision: подтверждает ли каждая цитата утверждение, к которому она прикреплена.
- Citation recall: полностью ли утверждения в отчете поддерживаются предоставленными цитатами.
Одной из главных проблем научного синтеза является «раздувание» выводов. Модель может процитировать правильное исследование, но сделать более сильный вывод, чем позволяет исходный текст. Например, превратить результат, полученный на конкретной выборке, в универсальное утверждение о всей популяции, или изменить формулировку с прошедшего времени (констатация факта) на настоящее (универсальная истина). Такие обобщения особенно опасны, так как они расширяют область видимости доказательств без явного введения ложных утверждений.
Для решения этой проблемы команда протестировала четыре статистических фильтра для выявления слабых синтетических примеров:
- Соотношение токенов вывода к вводу: Высокое соотношение часто указывало на шум, когда модель генерировала много текста из малого количества доказательств.
- Релевантность цитирования: Средний балл релевантности извлеченных статей. Низкий балл означал, что отчет опирается на слабые доказательства.
- Плотность цитирования: Доля утверждений, имеющих хотя бы одну цитату. Низкая плотность означала наличие больших фрагментов неподтвержденного текста.
- Разнообразие цитирования: Доля уникальных статей, процитированных в ответе. Низкий балл указывал на чрезмерную зависимость от нескольких источников.
Наибольший прирост качества дал фильтр, исключающий отчеты с низкой плотностью цитирования. Это стало одним из самых важных открытий проекта: более сложные комбинации фильтров не давали значимых улучшений. Простой сигнал — наличие цитат у утверждений — оказался эффективнее сложных математических моделей. Это подтверждает гипотезу о том, что специализация в науке достигается не добавлением большего количества текста при предобучении, а качеством пост-обучения и способностью модели демонстрировать поведение привязки к источникам.
06Валидация и сравнение с проприетарными моделями
Поскольку AstaBrief предназначена для работы в рамках агентной платформы Asta, главным вопросом было не только соответствие бенчмаркам, но и сохранение качества при упрощении системы. Оценка проводилась на SQABench-CS2 и DeepScholarBench (бенчмарк для длинных синтезов на основе недавних статей ArXiv). Также проводились парные сравнения с отчетами, сгенерированными конвейером на базе Claude, как через LLM-судей, так и в ходе небольшого человеческого исследования.
Результаты показали, что AstaBrief конкурентоспособна с конвейером на базе Claude и DR Tulu по многим показателям качества ответа и цитирования. В отдельном исследовании с участием трех научных исследователей, которые оценивали отчеты по предпочтению, полноте, релевантности, организации и точности цитирования, AstaBrief продемонстрировала высокие результаты, сопоставимые с более дорогими проприетарными решениями. Это доказывает, что правильно подготовленные данные и оптимизированный пайплайн могут компенсировать меньший размер модели по сравнению с флагманскими проприетарными аналогами.
07Что это значит на практике
Публикация AstaBrief 8B и связанных с ней данных открывает новые возможности для научного сообщества. Во-первых, это шаг к демократизации доступа к мощным инструментам синтеза знаний. Исследователи из стран или институтов, где доступ к зарубежным облачным сервисам ограничен или где существуют строгие правила конфиденциальности данных, теперь могут запускать мощную модель локально. Во-вторых, это демонстрация того, что специализированные модели, обученные на качественных, тщательно отфильтрованных данных, могут конкурировать с общими большими языковыми моделями в узких, но критически важных задачах. В-третьих, открытый код и данные позволяют другим исследователям воспроизводить результаты, изучать ошибки моделей и строить на их основе новые инструменты для науки. Это не просто еще одна модель в списке Hugging Face, это важный шаг к созданию открытой ИИ-инфраструктуры, которая служит науке, а не коммерческим интересам.
Источник: Hugging Face ↗