keyvank/femtoGPT

Что это за инструмент

femtoGPT — это минималистичная реализация архитектуры GPT на чистом Rust, написанная с нуля без внешних ML-библиотек.

Зачем нужен

Инструмент предназначен для глубокого изучения внутренней механики работы LLM, так как включает собственную реализацию тензорных операций, обучения и инференса. Он полезен для разработчиков, желающих понять, как устроены трансформеры на уровне кода, а не только использовать их как черные ящики.

Что можно реализовать

• Образовательное изучение архитектуры трансформеров и механизмов backpropagation
• Тренировка небольших языковых моделей на CPU или GPU (через OpenCL)
• Исследование корректности градиентов с помощью gradient-check
• Эксперименты с токенизацией и генерацией текста на малых датасетах

Ключевые возможности

• Чистый Rust без зависимостей от тяжелых ML-фреймворков (только rand, serde, rayon)
• Поддержка обучения и инференса как на CPU, так и на GPU (OpenCL, совместимо с NVIDIA и AMD)
• Архитектура, близкая к реализации из лекций Andrej Karpathy (nanoGPT)
• Встроенная проверка корректности градиентов
• Возможность сохранения и загрузки обученных моделей через bincode

👤 Кому подойдёт: разработчики, изучающие машинное обучение; исследователи; студенты, интересующиеся внутренней архитектурой LLM