Современные LLM-агенты для программирования часто работают как «черные ящики»: разработчик видит только финальный код, но не понимает, почему были приняты те или иные решения, и не может отследить эволюцию решения через итерации исправления ошибок. Команда исследователей во главе с Рвайдой Альсаади (Rwaida Alssadi) представила TraceCoder — концепцию генерации кода, которая решает эту проблему через три ключевых механизма: реляционную схему истории сниппетов, визуализацию в браузере и систему индексации на основе позиционных ключей.
Как работает TraceCoder
Система фиксирует каждый этап исправления кода (repair event), сохраняя ссылку на бенчмарк, номер итерации, текст ошибки и объяснение от LLM. Это позволяет проводить полные запросы по происхождению (provenance) каждой строки кода. Для удобства используется браузерный инструмент, который отображает историю в виде тепловых карт (heat-mapped) с аннотациями при наведении. Ключевая инновация — конкурентная схема индексации дробных позиционных ключей (fractional position-key indexing) с разделителями узлов дерева. Она присваивает стабильные лексикографически упорядоченные идентификаторы каждому фрагменту кода, обеспечивая точное отслеживание изменений без сдвига строк вокруг.
Результаты тестирования
Эксперименты проводились на 30 алгоритмических задачах, охватывающих обработку строк, математические вычисления и манипуляции со структурами данных. Особое внимание уделялось задачам с тонкими граничными случаями (edge-case behaviour), где 10 задач исчерпали бюджет в 6 итераций. Система показала значительное улучшение в отслеживаемости изменений по сравнению с базовым использованием Gemini 2.0 Flash.
| Метрика | TraceCoder (полный набор) | Базовый Gemini 2.0 Flash (подмножество) |
|---|---|---|
| Количество задач | 30 | 20 |
| Среднее изменение кода (Mean Chg%) | 30% | Информация недостаточна |
| Доля сниппетов с отслеживаемой историей | 30% (3 из 10) | 21% |
| Бюджет итераций | 6 (для сложных задач) | Не указано |
Почему это важно
TraceCoder делает внутреннее «повествование» автоматической генерации кода аудируемым и воспроизводимым. Это критически важно для доверия и подотчетности при развертывании LLM-агентов в продакшене. Три детальных кейс-стади демонстрируют, как система объясняет, какие именно сбои в бенчмарках сформировали каждую строку финальной программы, позволяя разработчикам не просто принимать код, но и понимать его логику.
Источник: arXiv cs.AI ↗