От науки к самоисполняющемуся пророчеству
Леннарт Финке анализирует влияние METR (Model Evaluation and Risk Tracking) на индустрию. Главная метрика организации — график временных горизонтов, показывающий рост способности ИИ выполнять задачи за время, эквивалентное человеческому труду. Вместо нейтрального научного инструмента, подобного закону Ньютона, этот график ведет себя как «Закон Мура» для ИИ: он не просто описывает реальность, а диктует её.
Как отмечал Карвер Мид, создатель термина «Закон Мура», это не физический закон, а «предписание» для индустрии. Компании инвестируют, чтобы не отстать от кривой. В случае с ИИ это означает, что публичные замеры способностей моделей напрямую стимулируют лаборатории ускорять разработку, повышая экзистенциальные риски.
Кто реально использует данные METR?
Анализ показывает, что информация о прогрессе ИИ используется не для безопасности, а для оправдания ускорения. Влиятельные игроки используют эти данные для обоснования инвестиций и ускорения вывода продуктов на рынок.
| Источник | Кто | Как использовал данные METR |
|---|---|---|
| The New York Times | Кевин Роуз | Освещение графика как доказательства близости AGI, что оправдывает ускорение разработки |
| Atlantic | Роджи Карма | Использование данных для опровержения теории «AI-пузыря» |
| Sequoia Capital | Пат Грейди, Соня Хуанг | Прогноз: долгосрочные агенты удваивают эффективность каждые ~7 месяцев. К 2028 году — работа за день, к 2034 — за год |
| Twitter/X | @roon (OpenAI) | Назвал график METR «нагрузочным институтом», от которого зависят глобальные фондовые рынки |
Трагедия общин и перекос власти
Проблема описывается как классическая «трагедия общин». Автоматизация труда приносит финансовую выгоду компаниям и инвесторам, но налагает негативные внешние эффекты (экзистенциальные риски, потерю рабочих мест) на общество. Данные METR полезны в первую очередь тем, кто зарабатывает на ИИ, а не широкой публике.
Хотя правительства могут использовать эти данные для регулирования, Финке отмечает, что в текущей конфигурации график смещает баланс сил в пользу корпораций и инвесторов, часто в ущерб интересам общества. Обычные пользователи уже имеют интуитивное понимание возможностей ИИ, опираясь на свой опыт, и не нуждаются в сложных метриках для принятия решений.
Вывод: измерений недостаточно
Автор приходит к выводу, что стратегия снижения рисков через публичные замеры способностей (evals) является контрпродуктивной. Она создает информационный шум, который используется индустрией для обоснования дальнейшего ускорения. Вместо этого предлагается пересмотреть приоритеты внутри организаций по безопасности ИИ, сместив фокус с создания «опорных институтов» для рынка на прямую защиту общества.
Источник: LessWrong ↗