Проблема масштаба и доверия
Традиционный подход к развитию ИИ опирается на увеличение масштаба (scale), однако это не гарантирует создания надежного персонального помощника. Исследователи Kwan Soo Shin, In Seok Kang и Yunkyung Min из Южной Кореи представили работу, где доказывают, что малые модели (SLM) с гиперболической геометрией могут обладать качествами, критичными для роли компаньона: креативностью, честностью и контролируемым забыванием. Ключевая проблема текущих решений — отсутствие надежных инструментов оценки: обученные люди согласны с оценкой качества ответа ИИ лишь в 7.4% случаев (Fleiss kappa = 0.074).
Архитектура и метрики честности
Авторы протестировали семейство моделей от 146 миллионов до 3 миллиардов параметров. Вместо стандартных линейных пространств использовалась гиперболическая подложка, что позволило эффективнее кодировать иерархические данные. Для оценки «честности» (отсутствие сycophancy — угодничества) и выявления выдуманных воспоминаний был создан поведенческий аудитор на 146M параметров.
Результаты аудита превзошли ожидания:
| Метрика / Модель | Результат | Примечание |
|---|---|---|
| Точность бинарного аудита (146M) | 90.7% | Обнаруживает разрыв в комплаенсе, невидимый людям |
| AUROC (гиперболическая модель) | 0.804 | Обнаружение сycophancy и ложных воспоминаний |
| AUROC (Zero-shot Judge) | 0.721 | Фронтальная модель без дообучения на тех же данных |
| Предпочтение креативности | 100% | В 311 парных сравнениях против 4 базовых промптов |
Механизм «задуманного забывания»
Одной из самых инновационных находок стала реализация операционной системы памяти, использующей формулу экспоненциального затухания: M(t) = S * exp(-lambda * t). Это позволяет модели естественным образом «забывать» устаревшие или менее релевантные детали диалога, сохраняя только ключевые паттерны. В пилотном исследовании с четырьмя условиями было подтверждено возникновение «скелетно-обоевого» разделения памяти (skeleton-wallpaper partition) только при селективной выборке данных.
Почему это важно
Работа демонстрирует альтернативный путь развития ИИ: вместо гонки за триллионами параметров можно использовать специфическую геометрию данных (гиперболическое пространство) для создания легких, энергоэффективных и этичных моделей. Такие модели способны формировать долгосрочные отношения с пользователем, не накапливая токсичные паттерны поведения и сохраняя приватность за счет механизмов контролируемого забывания.
Источник: arXiv cs.CL ↗