Hugging Face представила SmolLM-3B

<div> <p><strong>Hugging Face</strong> представила новую языковую модель <strong>SmolLM-3B</strong>, сочетающую компактность, поддержку длинного контекста и многоязычные возможности.</p> <p>Модель SmolLM-3B обладает 3 миллиардами параметров и способна обрабатывать до 64 000 токенов контекста. Она была разработана на базе архитектуры Transformer с улучшениями, обеспечивающими высокую скорость и эффективность, в том числе благодаря использованию метода Flash Attention v2.</p> <p>Основной акцент в SmolLM сделан на универсальность: модель может работать с 20 языками, включая английский, испанский, китайский, немецкий и французский. Обучение проходило на открытом датасете RefinedWeb, а также на многоязычных корпусах и синтетических инструкциях.</p> <p>В Hugging Face подчёркивают, что SmolLM показывает уверенные результаты в задачах рассуждения и понимания инструкций, несмотря на относительно малый объём параметров. В тестах MMLU и ARC модель продемонстрировала сопоставимые показатели с более крупными LLM.</p> <p>Разработчики также подчеркивают прозрачность процесса: весь код, веса модели и логи обучения выложены в открытом доступе, что способствует развитию исследовательского сообщества и возможности дообучения под специфические задачи.</p> <p>По мнению аналитиков, SmolLM-3B может занять нишу в системах, где требуется сбалансированное соотношение между производительностью, стоимостью и поддержкой длинного контекста. Модель особенно интересна для многоязычных чат-ботов, корпоративных агентов и задач, требующих локального развертывания.</p> </div>