Суть исследования
Модель ESM-2 (150M параметров) обучалась на задаче восстановления пропущенных аминокислот в белковых последовательностях. Однако исследователи из LessWrong (LGOICOUR) задались вопросом: как именно модель использует более сложные, эмерджентные концепции, такие как вторичная структура (спирали, бета-листы, петли)? Результаты показывают, что информация о структуре не только декодируется, но и критически важна для точности модели, хотя и не является единственным источником знаний.
Линейная представимость и абляция
Исследование подтвердило, что вторичная структура представлена в скрытых слоях ESM-2 линейно. При использовании линейного зонда на 29-м слое из 30, макросредний F1 (macro-F1) для классификации структуры составил 0.81. Однако простая абляция (удаление) линейной плоскости, найденной зондом, снизила декодируемость только до 0.71. Это доказывает, что хотя часть информации линейна, она не исчерпывает всего представления модели.
Более радикальный метод — удаление плоскости средних значений классов (class-mean plane) — полностью устранил линейную различимость структур (F1 упал до 0.22). Это привело к значимому падению вероятности правильного предсказания аминокислоты на 6% в среднем по всем типам структур.
Количественные результаты абляции
Ниже приведены данные о влиянии различных методов удаления информации на точность модели (вероятностное падение рассчитано как $1 - \exp(\Delta)$, где $
Важно отметить: удаление линейной плоскости зонда снизило точность всего на 0.7%, тогда как удаление плоскости средних значений классов — на 6.0%. Это указывает на то, что модель использует именно различия между средними значениями классов для интерполяции.
Нелинейные представления и форма облака данных
Даже после полного удаления линейной информации (через class-mean plane), нелинейные зонды (MLP, SVM с RBF-ядром) всё ещё способны декодировать структуру с высокой точностью (F1 ~0.78-0.79). Особый интерес представляет анализ формы «облака» точек в пространстве представлений:
- QDA (квадратичный дискриминантный анализ): Сохранил точность 0.81 даже после линейной абляции, что говорит о сохранении сложной геометрической формы (наклонного эллипсоида).
- Squares-only (допускает только невыпуклые эллипсоиды): Точность упала с 0.81 до 0.56, подчеркивая важность ориентации и наклона эллипсоида.
Удаление именно формы облака данных (после стирания линейных средних) снизило точность предсказания аминокислот на 2%. Примечательно, что этот эффект наблюдается только для спиралей (helix) и бета-листов (strand), но не для петель (coil), вероятно, из-за гетерогенности последних.
Эксперимент с «вредоносным» сигналом
Чтобы проверить причинно-следственную связь, исследователи намеренно добавили вектор направления спирали к остаткам, помеченным как петли (coil). Результат: вероятность предсказания аминокислот, формирующих спирали, на таких позициях выросла на 13%. Это прямое доказательство того, что ESM-2 активно использует линейно представимые признаки вторичной структуры для принятия решений.
Вывод
ESM-2 использует вторичную структуру не как пассивный факт, а как активный инструмент. Модель опирается как на линейные различия между классами структур, так и на нелинейную геометрию (форму) их распределения в пространстве представлений. Понимание этих механизмов важно для интерпретируемости биологических LLM и контроля за тем, как модели используют эмерджентные концепции.
Источник: LessWrong ↗