Llmspeed
Симулятор скорости локальных LLM: выбирайте железо и модель, чтобы увидеть реальные показатели до покупки.
Что это
Llmspeed — это инструмент для оценки производительности локальных языковых моделей. Сервис позволяет пользователям выбрать конкретное аппаратное обеспечение и модель, чтобы увидеть ожидаемую скорость генерации токенов и время до первого токена.
База данных включает широкий спектр устройств: видеокарты NVIDIA и AMD, процессоры Apple Silicon, а также облачные решения. Для каждого конфигурации предоставляются оценки, основанные на данных сообщества и технических спецификациях.
Инструмент полезен для энтузиастов и разработчиков, планирующих развертывание LLM на своем оборудовании. Он помогает избежать ошибок при выборе комплектующих, предоставляя объективные данные о скорости работы моделей в реальных условиях.
Проект является открытым, код и данные доступны на GitHub. Для работы симулятора требуется включенный JavaScript, так как расчеты производятся непосредственно в браузере пользователя.