Проблема «красивой ерунды» в AI-ко-ученых
Современные большие языковые модели (LLM) способны генерировать связные гипотезы в материаловедении, но беглость текста не гарантирует научной достоверности. Исследование, опубликованное в arXiv (4 августа 2026 года), ставит под сомнение способность ИИ сохранять причинно-следственные связи. Авторы предлагают метод визуализации механизма «Graph-to-Answer» для модели Graph-PRefLexOR-8B — адаптации Qwen3-8B, специально настроенной на этапы мозгового штурма, построения графа, извлечения паттернов и синтеза.
Методология: Коррупция графа и обратный поиск
Команда из 7 авторов (включая Маркуса Бюхлера и Санжая Даса) провела эксперимент на 100 открытых вопросах по материаловедению. Ключевой инструмент диагностики — semantic backtracking (семантический обратный поиск) и graph corruption (намеренное искажение графа знаний). Исследователи отслеживали активность нейронов через 37 контрольных точек остаточного потока (residual stream), включая эмбеддинги и 36 трансформерных блоков.
Ключевые метрики и находки
Анализ показал, что финальные ответы модели наиболее близки к её собственным структурированным этапам, особенно к фазе синтеза. Однако при намеренном разрушении графа знаний механизм восстановления работает неравномерно. Восстановление научной логики концентрируется в поздних слоях (30 и 36), тогда как ранние переходные области (слои 7–10) демонстрируют слабую способность к восстановлению механизма.
| Параметр исследования | Значение / Наблюдение | Значимость |
|---|---|---|
| Базовая модель | Qwen3-8B (адаптация Graph-PRefLexOR-8B) | Открытая архитектура с дообучением под научные задачи |
| Объем выборки | 100 открытых вопросов | Оценка обобщающей способности на разнообразных гипотезах |
| Точки контроля | 37 контрольных точек (эмбеддинги + 36 блоков) | Глубокий анализ внутренних состояний сети |
| Зона восстановления | Слои 30 и 36 (поздний синтез) | ИИ «додумывает» логику в конце, а не в начале |
| Слабая зона | Слои 7–10 (ранний переход) | Первичная генерация идей наименее устойчива к искажениям |
Почему это важно для науки
Предложенный визуальный диагностический рабочий процесс позволяет ученым и разработчикам ИИ видеть, на каком именно этапе генерации гипотеза теряет научную поддержку. Это критически важно перед передачей результатов в downstream-планирование экспериментов. Если модель «теряет нить» в слоях 7–10, но восстанавливает её к слою 36, это указывает на то, что финальный ответ может быть правдоподобным, но процесс его вывода был нестабильным. Такой подход снижает риски внедрения «галлюцинирующих» гипотез в реальные лабораторные исследования.
Источник: arXiv cs.CL ↗