yandex/YaLM-100B

Что это за инструмент

YaLM 100B — это большая языковая модель (LLM) с 100 миллиардами параметров, обученная на русском и английском языках.

Зачем нужен

Инструмент предназначен для генерации и обработки текста, поддерживая как безусловную, так и условную генерацию. Он полезен разработчикам и исследователям, которым нужна мощная open-source модель с сильной поддержкой русского языка для интеграции в свои приложения.

Что можно реализовать

• Интерактивная генерация текста через командную строку для быстрого тестирования
• Решение задач few-shot с использованием жадной генерации (greedy)
• Условная генерация с настройкой параметров Top-p и temperature
• Бесконтекстная генерация текстов без входных данных
• Исследование возможностей LLM на русском языке в академической среде

Ключевые возможности

• Открытая лицензия Apache 2.0, разрешающая коммерческое использование
• Высокое качество русского языка благодаря обучению на 75% русскоязычных данных (веб, новости, книги, диалоги)
• Поддержка работы на кластерах GPU (A100, V100) с использованием tensor parallelism
• Готовые Docker-образы для упрощения развертывания
• Обучен на 300B токенов с использованием DeepSpeed и Megatron-LM

👤 Кому подойдёт: разработчики, исследователи, data scientists