Проблема: дублирование усилий и неэффективное использование ресурсов
Авторы инициативы, базирующиеся в нескольких центрах AI Safety (включая программы, поддерживаемые Coefficient Giving, такие как MATS, Astra, LASR Labs, MARS и ERA), отмечают системную проблему: команды тратят недели на настройку окружения, загрузку весов моделей и поиск подходящего оборудования. Исследователи часто арендуют GPU у провайдеров вроде RunPod или Vast.ai без системного сравнения цен и оптимизации. В результате:
- Инженерные команды тратят время на рутину вместо исследований.
- Возникают ошибки, такие как оставленные включенными инстансы или выбор слишком дорогого оборудования.
- Каждый новый поток (fellowship) начинает работу «с нуля», повторяя одни и те же инфраструктурные ошибки.
По оценкам авторов, только за последний поток одного из fellowship можно было сэкономить десятки тысяч долларов, перераспределив бюджет более эффективно.
Решение: Децентрализованный пул GPU с общим управлением
Предлагается создать инфраструктуру, где участники сохраняют право собственности на свои GPU, но предоставляют доступ к ним через общий оркестратор. Ключевые элементы предложения:
- Общие исследовательские окружения: Поддержка Docker-образов с предустановленными библиотеками (Inspect, TransformerLens, Tensorboard) и кэшированием весов моделей. Это позволяет исследователям начинать эксперименты сразу.
- Система кредитов: Участники, предоставляющие GPU, получают кредиты, которые могут тратить на вычисления других участников. Те, у кого нет оборудования, получают кредиты за счет грантов или организаций.
- Малая управляющая команда: Небольшая группа экспертов по ML Ops будет управлять доступом, поддерживать репозиторий с конфигурациями и помогать в выборе оборудования.
Технические ограничения MVP (Minimum Viable Product)
Первая версия платформы не заменяет высоконадежные дата-центры. Она ориентирована на ресурсы, находящиеся в домах или офисах исследователей (за NAT), что делает их уязвимыми к сбоям сети и электричества. Поддерживаемые типы задач:
| Характеристика | Поддерживается в MVP | Не поддерживается в MVP |
|---|---|---|
| Тип оборудования | Отдельные GPU в домашних/офисных условиях | Выделенные серверы в дата-центрах |
| Тип задач | Контейнеризованные пакетные задания (batch jobs) | Распределенное обучение/инференс на нескольких машинах |
| Примеры работ | Оценки (evaluations), параметрические поиски, инференс небольших моделей | Пред- или пост-обучение больших моделей, работа с конфиденциальными данными |
| Доступ | Только для проверенных команд AI Safety | Открытый доступ для всех |
Почему это важно для сообщества
Инициатива направлена не только на экономию денег, но и на сохранение времени — критического ресурса для коротких исследовательских потоков. Создание общего репозитория инструментов и скриптов позволит накапливать знания между потоками, избегая изобретения велосипедов. Это первый шаг к созданию устойчивой, управляемой сообществом инфраструктуры для AI Safety, которая может стать основой для будущих, более масштабных решений.
Источник: LessWrong ↗