Проблема: DOI не гарантирует понимание
Современные AI-агенты для исследований всё чаще переходят от простого поиска литературы к участию в научных и профессиональных рабочих процессах. Однако наличие реального DOI (Digital Object Identifier) не означает, что агент прочитал статью, понял её ограничения или использовал её для обоснования правильного вывода. Наблюдается феномен, когда отчет выглядит безупречно, но при проверке источника выясняется, что корреляция была подана как причинно-следственная связь, или абстракт был интерпретирован как полный эксперимент.
Проблема усугубляется тем, что многие команды воспринимают качество цитирования как единую задачу. На деле это как минимум четыре различных типа ошибок, требующих разных механизмов контроля.
Четыре уровня риска цитирования
Авторы материала выделяют четыре критических аспекта, которые должны проверяться независимо. Источник может пройти проверку «Идентичности», но провалить остальные:
| Уровень проверки | Вопрос, на который отвечает чек | Пример сбоя |
|---|---|---|
| Identity (Идентичность) | Существует ли работа и совпадают ли метаданные (DOI, авторы, дата)? | DOI резолвится корректно, но статья не имеет отношения к теме. |
| Support (Поддержка) | Подтверждает ли источник именно это утверждение, а не смежное? | Агент цитирует реальную статью, но приписывает ей вывод, которого там нет. |
| Currency (Актуальность) | Не была ли статья отозвана, исправлена или заменена? | Используется устаревшая версия данных, замененная в новой публикации. |
| Scope (Область) | Сохранены ли популяция, методология и ограничения исследования? | Результаты узкого лабораторного теста обобщаются как универсальная истина. |
Решение: AI Citation Verification Receipt
Предлагается внедрить «чек верификации цитирования» — машиночитаемый артефакт, который хранится рядом с итоговым отчетом. В отличие от библиографии, отвечающей на вопрос «где найти статью», чек отвечает: «что именно было заявлено, какие доказательства были проверены и какой риск оставлен».
Структура такого чека должна включать:
- Замороженную версию отчета и ID утверждений: Текст разбивается на атомарные, проверяемые утверждения. Каждому присваивается стабильный ID. Если текст меняется после проверки, утверждение должно быть проверено заново.
- Канонические записи источников: Хранение не только URL, но и хэша контента, типа источника, времени извлечения и лицензий. Рекомендуется перекрестная проверка через несколько реестров (Crossref, OpenAlex, PubMed, arXix).
- Спады доказательств (Evidence Spans): Каждое высокоуровневое утверждение должно ссылаться на конкретный фрагмент источника (раздел, таблицу, параграф результатов), а не просто на ссылку на документ.
Почему это важно для индустрии
Как отмечают авторы, простой запрос к другой модели «выглядит ли это поддерживаемым» недостаточен, так как она может стать единственным источником вердикта. Система должна хранить проверенный материал и воспроизводимый способ принятия решений. Это критично в контексте растущей роли AI в биологических открытиях и научных исследованиях, где скорость не должна компенсировать потерю достоверности.
Источник: Towards AI pub ↗