MakazhanAlpamys/Soup

Что это за инструмент

Soup — это CLI-инструмент для тонкой настройки (fine-tune) больших языковых моделей (LLM) через один YAML-файл, позволяющий запускать обучение даже на слабых устройствах с 4 ГБ видеопамяти.

Зачем нужен

Инструмент решает проблему сложной инфраструктуры и настройки окружения при обучении LLM, устраняя необходимость в SSH и ручном конфигурировании. Он полезен тем, кто хочет быстро протестировать или дообучить модели (например, Llama-3.1-8B) локально на ноутбуке, используя технологию layer streaming для экономии VRAM.

Что можно реализовать

• Локальное fine-tune 8B-моделей на ноутбуках с GPU объемом 4 ГБ (например, RTX 3050 Laptop).
• Быстрый запуск обучения без настройки облачной инфраструктуры или сложных скриптов.
• Обучение моделей на Apple Silicon с явным контролем квантования (QLoRA).
• Тестирование гипотез и пайплайнов обучения с использованием единого YAML-конфигурации.

Ключевые возможности

• Layer streaming: выводит замороженную базовую модель из VRAM, загружая её слои по мере необходимости, что позволяет обучать 8B-модели на 4 ГБ видеопамяти.
• Управление через один YAML-файл: автоматическое определение GPU, размера батча и квантования.
• Отсутствие необходимости в SSH: локальное выполнение команд без удаленного доступа к серверам.
• Поддержка Apple Silicon и явная обработка квантования (NF4/4bit) для Mac.
• Bit-exact результаты: подтверждена идентичность выходных данных по сравнению со стандартным обучением.

👤 Кому подойдёт: ML-инженеры, разработчики, исследователи и энтузиасты, работающие с LLM локально или на ограниченном оборудовании.