Проблема «структурной слепоты» SLM
Малые языковые модели (SLM) демонстрируют потенциал в задаче предсказания свойств молекул по строкам SMILES в режиме zero-shot. Однако они часто страдают от так называемой «структурной слепоты» (structural blindness): текстовые представления не способны в полной мере передать ключевые топологические признаки графа, что снижает точность прогнозов.
Решение: Context-Augmented Prompting
Авторы (Константин Бутиотис, Димитриос Келесис, Георгиос Палиурас) предложили модульную рамку Context-Augmented Prompting. Она позволяет моделям использовать агентные инструменты во время вывода (inference time). Система работает по следующему алгоритму:
- Предсказание: Обученная модель Graph Neural Network (GNN) предоставляет экспертное предсказание с оценкой уверенности.
- Объяснение: GNN извлекает специфический для экземпляра объясняющий подграф (в виде SMILES и текстового описания), который добавляется в промпт.
Результаты на датасетах MUTAG и Tox21
Исследование оценило три популярные SLM на двух наборах данных (MUTAG и Tox21) при пяти различных конфигурациях промптов — от использования только SMILES до применения всех доступных инструментов. Обогащение промптов контекстом, полученным из графов, дало существенный прирост точности.
| Метрика / Датасет | Результат | Примечание |
|---|---|---|
| Относительное улучшение точности | > 25% | Средний показатель по обоим датасетам |
| Максимальное улучшение (Tox21) | до 74% | При использовании полного набора инструментов |
| Валидация мотивов | Edge-drop intervention | Подтверждена функциональная значимость извлеченных подграфов |
Выводы и ограничения
Несмотря на впечатляющие результаты, авторы отмечают сохраняющийся разрыв между гибридной системой и специализированными GNN-моделями. Это подчеркивает как ценность текстового рассуждения, обусловленного структурой, так и его текущие пределы в задачах химической информатики.
Источник: arXiv cs.AI ↗