Проблема: «15 ГБ занято» — но чем именно?
Стандартный диспетчер задач Windows часто выдает лишь общую цифру загруженной видеопамяти. GPU Taskman решает эту проблему, предоставляя интерфейс в стиле htop, который связывает активность процессов с конкретными загрузочными модулями, файлами моделей и разбивкой буферов LLM. Инструмент отвечает на ключевые вопросы: сколько памяти занимают веса модели, KV-кэш, браузер или композитор рабочего стола, и почему значительная часть памяти находится в системной RAM.
Технические возможности и поддержка платформ
Инструмент работает локально (не для облачных сервисов) и поддерживает Windows, Linux, WSL и macOS на Apple Silicon. Он измеряет счетчики устройств и процессов, а также классифицирует нагрузку на основе данных WDDM (Windows), NVML (NVIDIA) и ADL (AMD). Важно отметить, что инструмент не «выгружает» VRAM и не перечисляет текстуры игр, а фокусируется на аналитике рабочих нагрузок ИИ, графики и видео.
Сравнение доступных метрик по платформам
| Метрика | Windows (WDDM/NVML/ADL) | Linux (Native NVML) | WSL (Linux в Windows) |
|---|---|---|---|
| Общая загрузка, температура, мощность | Да (NVML/ADL) | Да (NVML) | Да (NVML) |
| Видеопамять на процесс (VRAM) | Да (измеряется) | Да (измеряется) | Да (синхронизация с хостом) |
| Загрузка GPU на процесс (SM, энкодер) | Да | Да | Нет (для процессов Linux) |
| Spill / Paged (переполнение памяти) | Да (строки Windows) | Недоступно (пусто) | Недоступно |
| Разбивка LLM и файлов моделей | Да (через /proc и cmdline) | Да | Да |
Установка и системные требования
GPU Taskman не требует установки CUDA Toolkit, Visual Studio или прав администратора. Поддерживаются Python 3.11+ и современные драйверы WDDM. Установка возможна через PyPI:
uv tool install gputaskmanpipx install gputaskman
Для пользователей Windows без Python доступны портативные ZIP-архивы для x64 и ARM64. Инструмент протестирован на RTX 4080 SUPER, Radeon 860M и Intel Arc B580 (через эмуляцию счетчиков). Для Linux требуются драйверы NVIDIA, AMD (amdgpu) или Intel (i915), а также glibc 2.35+.
Почему это важно для разработчиков ИИ
С ростом популярности локальных LLM и fine-tuning (включая Unsloth), оптимизация использования памяти становится критической. GPU Taskman позволяет разработчикам видеть, как именно PyTorch/CUDA DLL или GGUF-модели взаимодействуют с железом, выявляя утечки памяти или неэффективное распределение ресурсов между вычислительными ядрами и памятью. Это первый шаг к прозрачному мониторингу сложных графических и вычислительных пайплайнов на уровне операционной системы.
Источник: Github ↗
