Зачем это нужно: проблема «черного ящика» пост-обучения
Понимание психологии больших языковых моделей (LLM) требует четкого разделения влияния предобучения (pre-training) и пост-обучения (post-training). Чтобы доказать, что такие свойства, как самоидентификация или сикофантство, были привиты именно в процессе дообучения, необходимо иметь доступ к «голой» базовой модели до этих изменений. Однако получение доступа к большим базовым моделям (frontier scale) затруднено: большинство провайдеров предлагают только чат-модели, а самостоятельный хостинг моделей уровня 400B+ требует десятков тысяч долларов и сложной настройки инфраструктуры.
Технические возможности платформы
ACS Infra решает эту проблему, предоставляя исследователям инструменты для глубокого анализа внутренних состояний моделей. Платформа поддерживает не только стандартные запросы, но и специфические для науки функции:
- Logprobs: доступ к логарифмическим вероятностям токенов для точного анализа уверенности модели.
- Activation Harvesting: возможность извлечения промежуточных активаций, что критично для методов вроде Latent Introspection.
- Steering: инструменты для управления поведением модели на уровне активаций.
- Browser Workbench & Loom: интерактивная среда для прямого взаимодействия с моделями и построения интуиции.
Доступные модели и сравнение с альтернативами
На данный момент платформа предлагает доступ к ключевым базовым моделям, которые ранее были труднодоступны для независимых исследователей. Ниже приведено сравнение текущих предложений на рынке:
| Платформа/Провайдер | Доступные модели | Ключевые особенности для исследований | Ограничения |
|---|---|---|---|
| ACS Infra (ACS Research) | Llama 3.1 405B, Llama 3.1 8B, Trinity-Large-TrueBase (398B MoE) | Logprobs, Activation Harvesting, Steering, бесплатный доступ | Вместимость ~70-100 активных исследователей, нет гарантии 100% аптайма |
| NDIF | Llama 3.1 8B, 70B, 405B | Бесплатный доступ | Требуется резидентство в США или американский коллаборатор |
| Коммерческие провайдеры | Разрозненно (часто только чат-версии) | Стабильность API | Отсутствие доступа к базовым весам, активациям и logprobs; высокая стоимость |
Цели и перспективы проекта
Платформа позиционируется как исследовательская инфраструктура, а не коммерческий продукт. ACS Research планирует поддерживать сервис как минимум один год, финансируясь через грант от Coefficient Giving. Основные направления исследований, которые платформа призвана поддержать, включают:
- Сравнение базовых и чат-моделей для выявления влияния пост-обучения на личность и калибровку.
- Изучение склонности моделей к принятию различных идентичностей (self-models) до и после дообучения.
- Исследование способности базовых моделей к интроспекции и самоотчету без вмешательства ассистента.
- Воспроизведение результатов, полученных на малых моделях, на масштабе 400B+ параметров.
Как получить доступ
ACS Infra открыта для всех исследователей, работающих в области LLM-психологии, интерпретируемости и киборгизма. Регистрация доступна по адресу infra.acsresearch.org/signup. Отдельные публикации или аффилиация с университетами не требуются — достаточно описать в заявке, как вы планируете использовать платформу. Заявки рассматриваются командой ACS в течение нескольких дней. Для образовательных программ и групп предусмотрен отдельный канал связи: infra@acsresearch.org.
Источник: LessWrong ↗