Суть эксперимента: малые модели для 3D
Лаборатория CCORE представила независимый форк на базе Qwen3.5-4B, оптимизированный для генерации HTML-файлов с использованием библиотеки Three.js. Цель проекта — доказать, что компактные языковые модели (4B параметров) способны создавать сложные, интерактивные 3D-сцены без необходимости использования гигантских LLM. На данный момент это ранняя стадия обучения, но первые результаты показывают высокую эффективность в задачах генерации сцены «с нуля» (one-shot generation).
Технические детали и обновления
26 октября 2026 года были обновлены квантованные версии модели (Q4_K_M и Q8_0). Исправлена ошибка, связанная с слоями, что, по словам разработчика, значительно повысило успешность генерации сцен в один проход. Обучение завершится 28 октября 2026 года в 07:30 UTC, после чего будут опубликованы полные веса FP16, датасет и отчеты об оценке.
Параметры и совместимость
Модель требует специфических настроек для корректной работы, особенно в таких интерфейсах, как LM Studio, где необходимо отключить Multi-Token Prediction (MTP). Ниже приведены рекомендуемые параметры генерации и характеристики весов:
| Параметр / Версия | Значение / Размер | Примечание |
|---|---|---|
| Temperature | 0.6 – 0.8 | Для баланса креативности и точности кода |
| Top P | 0.90 – 0.95 | Фильтрация хвостов распределения |
| Top K | 20 – 40 | Ограничение выборки токенов |
| Repeat penalty | 1.0 | Без штрафа за повторения |
| Q4_K_M (GGUF) | 2.71 GB | Оптимально для слабых GPU |
| Q8_0 (GGUF) | 4.48 GB | Высокая точность, требует больше VRAM |
Примеры сгенерированных сцен
Модель демонстрирует способность создавать сложные воксельные и структурные объекты, включая архитектурные элементы, игровые локации и технические детали. Среди успешных примеров — «Sakura Temple Garden», «Dragonrider Aerie» (гнездо драконоборца на морской скале), «LGA 3647 Socket» и анимированная вышка диспетчера аэропорта. Все сцены генерируются в виде самодостаточных HTML-файлов, использующих CDN-версию Three.js (v0.160.0).
Известные проблемы и перспективы
Основной баг, выявленный на текущем этапе, — дублирование имен переменных в сгенерированном коде, что не является критической архитектурной ошибкой, но требует ручной правки. Несмотря на это, модель уже сейчас позволяет создавать читаемые 3D-силуэты с правильной пространственной логикой. После завершения обучения 28 октября разработчики планируют открыть доступ к обучающему датасету, что позволит сообществу дообучать модель под свои нужды.
Источник: Huggingface ↗