DoctorAgents: LLM-агенты для AutoML в клинических данных

Проблема клинического AutoML

Разработка надежных моделей машинного обучения для медицины сталкивается с тремя ключевыми барьерами: дефицит данных, их гетерогенность и сложность временных рядов. Существующие системы AutoML часто полагаются на «грубую силу» (exhaustive search) в заранее заданных пространствах гиперпараметров, что приводит к длительным вычислениям и ошибкам. Они лишены явного механизма рассуждения и памяти, необходимого для адаптации к специфике медицинских задач.

Решение: DoctorAgents

Команда авторов во главе с Руилином Вангом (Ruilin Wang) предлагает парадигмальный сдвиг: от поиска к reasoning-driven refinement (улучшению на основе рассуждений). Фреймворк DoctorAgents использует специализированных агентов на базе больших языковых моделей (LLM) для автономного конструирования и оптимизации end-to-end пайплайнов. Архитектура включает три типа агентов:

• Generation Agents: создают начальные версии ML-пайплайнов.
• Validation Agents: оценивают производительность и интерпретируемость.
• Refinement Agents: анализируют ошибки и предлагают улучшения.

Механизм «Текстового градиентного спуска»

Ключевая инновация — использование естественного языка для обратной связи. Система performs textual gradient descent: она backpropagates (распространяет назад) текстовые комментарии об ошибках через модель, выполняя целевые обновления пайплайна. Это позволяет избегать исчерпывающего перебора, фокусируясь на логически обоснованных изменениях архитектуры и признаков.

Результаты и значимость

Эксперименты на разнообразных клинических задачах показали, что DoctorAgents стабильно превосходит существующие базовые AutoML-системы. Кроме того, подход генерирует более интерпретируемые, специфичные для задачи представления данных, что критически важно для внедрения ИИ в высокоуровневое медицинское принятие решений.

Источник: arXiv cs.AI ↗