Thinking Machines Lab: Почему будущее за кастомизируемыми весами, а не промптами

Конец эры «замороженных» моделей

Thinking Machines Lab, основанная бывшим CTO OpenAI Мирой Мурати, опубликовала отчет, в котором подвергла критике доминирующую парадигму разработки ИИ. Авторы утверждают, что современные модели, обученные в нескольких крупных лабораториях и затем «замороженные» (frozen), исключают пользователей из процесса формирования интеллекта. Вместо этого лаборатория предлагает архитектуру, где ИИ адаптируется там, где выполняется работа, а ценности кодируются непосредственно в весах модели.

Четыре технических направления

Лаборатория выделяет четыре ключевых направления для создания «человеко-центричного» ИИ:

• Мультимодальность и кастомизация: Обучение сильных базовых моделей с упором на взаимодействие.
• Инструменты для пользователей: Создание инструментов, позволяющих самим людям дообучать веса моделей (fine-tuning).
• Расширение канала связи: Разработка интерфейсов, которые увеличивают пропускную способность коммуникации между человеком и машиной.
• Открытая наука: Публикация исследований, чтобы больше инженеров понимали внутреннюю механику моделей.

Философия распределенных знаний

В основе предложения лежит тезис о природе знаний. Ссылаясь на Майкла Полани и Фридриха Хайека, авторы отмечают, что большая часть ноу-хау является неявной (tacit), локальной и постоянно обновляется через обратную связь. Шеф-повар не может записать весь свой навык в базу данных. Поэтому ИИ должен быть распределенным, чтобы поддерживать, а не заменять эти знания. Исключениями названы шахматы и математика, где цели статичны и полностью выражены, что позволяет использовать автономное решение.

Технические ограничения как инженерные задачи

Thinking Machines Lab переосмысливает два главных ограничения:

1. Канал коммуникации: Текущий интерфейс «текстовое поле + ожидание» считается узким горлышком. Решение — модели взаимодействия (Interaction Models), принимающие аудио, видео и текст непрерывно с микросменами ролей (micro-turns) за ~200 мс.
2. Оценка: Стандартные бенчмарки (например, от METR), измеряющие время автономной работы модели, игнорируют совместную работу человека и машины. Нужны метрики коллаборации.

Tinker API: Ценности в весах, а не в промптах

Ключевым продуктом, реализующим эти идеи, становится Tinker API. Он позволяет инженерам дообучать модели с открытыми весами (Llama, Qwen) с помощью LoRA-адаптеров. Это решает проблему «захвата» (capture) ценностей: вместо того чтобы полагаться на центральный спецификацию или хрупкие промпты, организации хранят свои ценности в портативных весах адаптеров, которые они контролируют.

Пример кода для инициализации клиента дообучения:

import tinker
from tinker import types

service_client = tinker.ServiceClient()
training_client = service_client.create_lora_training_client(
    base_model="Qwen/Qwen3-8B",
    rank=32
)

for batch in dataset:
    fwd_bwd = training_client.forward_backward(batch, "cross_entropy")
    optim = training_client.optim_step(fwd_bwd, types.AdamParams(learning_rate=1e-4))

sampling_client = training_client.save_weights_and_get_sampling_client(name="my-adapter")

Централизованный ИИ vs Распределенный подход

Сравнение подходов показывает фундаментальный сдвиг в архитектуре:

На практике это означает, что больница может дообучить модель на своих протоколах, храня данные и веса локально, а юридическая фирма — адаптировать модель под свой стиль, переобучая её при изменении внутренних руководств. ИИ становится инструментом культивирования знаний, а не их извлечения.

Источник: MarkTechPost ↗