Недавний эксперимент, опубликованный в Towards Data Science, демонстрирует фундаментальное ограничение современных языковых моделей: способность к запоминанию не равна способности к логическому выводу. Исследователь обучил маленькую GPT-модель на наборе фактов, после чего модель успешно их воспроизвела, но полностью провалила тесты, требующие синтеза информации из двух разных источников внутри одного контекста.
Суть проблемы: разрыв между памятью и рассуждением
Ключевая проблема заключается в том, что модель может идеально выучить отдельные единицы информации (например, «Алиса живет в Париже» и «Париж находится во Франции»), но при запросе, требующем объединения этих данных («Где живет Алиса?»), выдает ошибку или отказывается отвечать. Это указывает на то, что архитектура модели не всегда эффективно формирует связи между разрозненными токенами в процессе инференса, несмотря на наличие всех необходимых данных в контекстном окне.
Тестирование «однострочного» исправления
Автор исследования решил проверить гипотезу из недавней научной работы, предлагающей простое программное решение (так называемое «one-line fix») для улучшения связности выводов. Ожидания заключались в том, что минимальное изменение в коде или промпте позволит модели корректно агрегировать знания.
Результаты оказались неоднозначными. Исправление действительно помогло в некоторых сценариях, но в целом сработало лишь наполовину. Это подчеркивает, что проблема недостатка логического связывания в малых моделях (Tiny GPT) является глубокой архитектурной или обучающей проблемой, а не просто багом в реализации.
Почему это важно для разработчиков AI
Этот кейс важен для всех, кто разрабатывает RAG-системы (Retrieval-Augmented Generation) или использует малые модели для специфических задач. Он доказывает, что простое добавление контекста не гарантирует качества ответа. Разработчикам необходимо:
- Тестировать модели на задачах многошагового вывода, а не только на распознавании фактов.
- Внимательно относиться к выбору методов постобработки или fine-tuning, так как «быстрые фиксы» могут давать лишь иллюзию улучшения.
- Понимать, что масштаб модели напрямую влияет на способность к абстрактному связыванию информации.
Эксперимент служит предостережением: наличие данных в контексте — это необходимое, но недостаточное условие для получения правильного ответа от ИИ.
Источник: Towards Data Science ↗