Исследователи из Китая представили LoRSA — инновационный метод обработки внимания в трансформерах

<p><strong>Фуданьский университет</strong> представил новую разработку в области искусственного интеллекта — <strong>LoRSA (Low-Rank Sparse Attention)</strong>. Эта технология позволяет эффективно восстанавливать <em>атомарные блоки внимания</em>, скрытые в суперпозиции внимания трансформеров.</p> <p>Современные трансформеры используют сложные механизмы внимания, часто объединяя множество слабых, но значимых единиц внимания в общую структуру. Исследователи из Китая предложили метод, который не только выявляет эти скрытые единицы, но и делает это с высокой точностью и низкими вычислительными затратами.</p> <p>В основе LoRSA лежит идея, что матрицы внимания имеют <strong>низкоранговую разреженность</strong>, и их можно декомпозировать на простые, независимые компоненты — атомарные единицы внимания (AAUs). Это открытие позволяет:</p> <ul> <li>Упростить анализ поведения моделей трансформеров</li> <li>Повысить интерпретируемость ИИ-систем</li> <li>Снизить ресурсоёмкость без ущерба для точности</li> </ul> <p>Эксперименты показали, что LoRSA превосходит традиционные методы, такие как <em>Sparse PCA</em> и <em>NMF</em>, по точности восстановления скрытых структур внимания. Кроме того, метод эффективно масштабируется и применим к различным архитектурам, включая LLaMA и GPT.</p> <p>Данный подход открывает перспективы для создания более компактных, интерпретируемых и производительных ИИ-моделей.</p>