Приватность и локальная обработка
SCM (Screen Memories) — это приложение с открытым исходным кодом, работающее по принципу "local-first". Все вычисления, включая инференс моделей компьютерного зрения и распознавание речи, происходят непосредственно на Mac пользователя. Данные не загружаются в облако, не требуют регистрации аккаунтов и полностью остаются на устройстве. Для работы требуется macOS (с поддержкой функций меню-бара только на Apple Silicon) и менеджер пакетов Bun.
Пять режимов поиска
Приложение предлагает уникальный набор инструментов для навигации по медиатеке, объединяя семантический поиск, OCR и транскрипцию:
- Files (Файлы): Поиск по смыслу изображений с использованием vision-моделей. Результаты ранжируются по косинусному сходству с учетом весов имени файла и фразы. Поддерживается поиск на китайском/японском через биграммы.
- Scenes (Сцены): Поиск по конкретным моментам в видео. Приложение сегментирует видео на кадры, и пользователь переходит к нужному таймкоду, а не просто открывает файл.
- OCR: Буквальный поиск текста, видимого на изображениях и в кадрах видео, с использованием Tesseract. Работает даже без AI-движка.
- Dialogue (Диалоги): Поиск по точным фразам, произнесенным в видео. Используется Whisper для транскрипции с тремя уровнями точности: полная строка, набор слов или просто упоминание слов в видео.
- LLMs (Ask): Опциональный локальный чат-бот (на базе llama.cpp), который отвечает на вопросы, цитируя найденные тексты, диалоги и имена файлов. Модель загружается только при включении этой функции.
Технические характеристики и модели
SCM поддерживает четыре модели компьютерного зрения через ONNX Runtime. Выбор модели влияет на скорость индексации и качество поиска мелких деталей. Ниже приведено сравнение доступных vision-моделей:
| Модель | Роль | Скорость (CPU) | Размер весов |
|---|---|---|---|
| CLIP ViT-L/14@336 | Лучший поиск сцен в видео (по умолчанию) | ~480–570 мс/изображение | ~435 МБ |
| SigLIP-2-B/16 | Самая быстрая массовая индексация | ~50–100 мс/изображение | ~412 МБ |
| SigLIP-2-L/16@256 | Высокая детализация (мелкие объекты, текст) | ~200 мс/изображение | ~850 МБ |
| SigLIP-B/16@384 | Максимальная детализация | ~480 мс/изображение | ~214 МБ |
Для транскрипции диалогов по умолчанию используется модель Whisper tiny.en (~150 МБ), доступна также base.en (~300 МБ). Переключение между моделями вызывает фоновую переиндексацию библиотеки, не блокируя основной поиск.
Установка и особенности
Установка осуществляется через Homebrew, что автоматически снимает quarantine-флаги macOS. Команды для установки:
brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm
Приложение также включает специализированные вкладки для скриншотов (с умной классификацией, устойчивой к переименованию) и электронной почты (поиск адресов через OCR, даже если они разбиты или зашифрованы пробелами). Пользователи могут сохранять до 20 запросов в виде вкладок, фиксируя контекст поиска.
Источник: Github ↗
