AI-новости24 декабря 2025 г., 19:45 МСК🤖 Auto

Alignment Fellowship: крауд-выбор стипендий по безопасности ИИ - помощь талантам или конкурс популярности

<p>Идея запустить крауд-выбор трёх двухлетних стипендий для работы над рисками ИИ породила горячую дискуссию: спасение талантов или рецепт для гейминга и популизма.</p>

Автор инициативы предлагает финансировать примерно трёх человек на два года каждый, давая им свободу работать над тем, что они считают важным в области безопасности ИИ. По замыслу, каждый участник Alignment Forum получает один голос с возможностью делегирования, любой может выдвинуть себя или другого кандидата, и три участника с наибольшим числом голосов получают гранты.

Идея возникла из ощущения, что традиционный процесс подачи заявок и оправдания своей работы сильно портит продуктивность исследователей и творцов. Как написал автор, регулярные раунды заявок превращаются в постоянное отвлечение и искривление приоритетов, и это особенно больно бьёт по академической науке.

Контекст и аргументы

Ключевой вопрос сейчас - кто лучше находит людей и как избегать побочных эффектов. Вдохновляясь Thiel Fellowship, инициатор спрашивает: сколько платить? Thiel давал 200000 долларов за два года - слишком много или мало для этой цели? Также обсуждается, кому давать право голоса - всем пользователям Alignment Forum, зарегистрированным до определённой даты, или подписчикам LessWrong.

Автор цитирует мнение Zvi: "Unconditional Grants to Worthy Individuals Are Great" - безусловные гранты могут освободить талантливых людей от постоянного обоснования своей деятельности. Но критики указывают на очевидные риски.

Главные возражения и предложение по улучшению

  • Популярность и гейминг. Как отметил Thane Ruthenis, такой механизм легко превратить в конкурс популярности, что запустит эффект Goodhart и создаст перверсные стимулы для взаимодействия на форуме.
  • Фиксация списка избирателей. Одна из идей - заморозить список допустимых голосующих, чтобы не привлекать новых аккаунтов, заинтересованных только в самопродвижении.
  • Переменная сумма. Thane советует не делать фиксированную выплату, а определять размер гранта индивидуально в зависимости от нужд проекта и кандидата.
  • Амплификация через рынки прогнозов. Альтернатива простому голосованию - использовать prediction markets, которые могут усилить суждение небольшого числа известных экспертов (например, тех, кто имеет хорошие модели риска AGI) и затем финансировать топ-предложений с возможностью вето этих экспертов. Это сложнее в реализации, но менее подвержено прямому геймингy.

Что это означает для индустрии и сообщества

Мы видим типичную фазу: сначала идея освобождения талантов встречает энтузиазм, затем появляются скептики, которые указывают на системные риски. На практике это не революция, а попытка поправить существующий рынок грантов: сделать его быстрее и менее бюрократичным. Если организаторы смогут придумать механизмы защиты от гейминга - например, делегирование голоса с прозрачными ограничениями, процедурную проверку кандидатов или комбинирование крауд-голосования с экспертной амплификацией - то модель может дать ценные результаты.

Практические выводы и рекомендации

  • Начните с пилота. Маленький цикл с ограниченным числом голосующих и прозрачной процедурой апелляций выявит основные уязвимости.
  • Делайте выплаты адаптивными. Один фиксированный чек в размере Thiel-уровня может быть избыточным для одних и недостаточным для других.
  • Комбинируйте крауд и экспертизу. Prediction markets или механизм с правом вето у нескольких признанных экспертов снизят риск чистого популизма.
  • Ограничьте стимулы к самопросуванию. Заморозка списка голосующих или требования к участникам снизят мотивацию заводить аккаунты ради финансирования.

Читателю-разработчику или исследователю это значит простую вещь: если такая инициатива пойдёт в пилот, стоит следить за правилами отбора, возможностью делегирования и прозрачностью процесса. Для организаторов ключевой выбор - рисковать ради скорости или тормозить ради честности отбора.

Видно, что индустрия филантропии и грантов для ИИ движется от централизованных комиссий к гибридным схемам с крауд-участием и экспертизой. Через год мы, вероятно, увидим первые эксперименты с комбинированными механизмами отбора - кто выиграет, решит то, насколько устойчивы эти механики к манипуляциям.

Автор оригинальной записи: rich_anon (опубликовано 23 Dec 2025). Чтение занимает ~1 минуту.