vaex
Обработка больших табличных научных данных (HDF5, Arrow, CSV, Parquet) через Vaex: выражения, фильтры, потоковая статистика и визуализация. Подходит для анализа файлов, превышающих объем RAM, виртуального конструирования признаков и предобработки для ML.
Что делает навык
Vaex предназначен для столбцового анализа данных на одной машине, когда объём данных превышает доступную оперативную память (RAM), особенно для повторяющихся редукций и гистограмм над локальными файлами HDF5 или Arrow. Он использует виртуальные колонки и отложенные вычисления для эффективной работы с большими массивами без их полной загрузки в память.
Когда применять
- Анализ научных табличных данных (HDF5, Arrow, CSV, Parquet), которые не помещаются в RAM.
- Построение виртуальных признаков (выражений) и потоковая статистика без немедленного вычисления.
- Предобработка данных для машинного обучения с использованием встроенных трансформеров Vaex ML.
- Визуализация агрегированных сеток или ограниченных выборок для больших наборов данных.
Как работает
- Открыть файлы с помощью vaex.open, предварительно проверив схему, единицы измерения и коды пропущенных значений.
- Создавать производные значения через выражения (virtual columns), чтобы избежать хранения полных массивов в памяти.
- Записывать фильтры и выборки, затем выполнять отложенные статистические задачи (delay=True) с последующим вызовом df.execute() и .get().
- Валидировать результаты (количество строк, единицы, кардинальность соединений) на малой подвыборке или с помощью потоковых сводок.
- Экспортировать данные чанками (chunked export), что автоматически вычисляет виртуальные колонки без явного materialize().
Примеры запросов агенту
Что понадобится
- Python 3.9–3.12, установка через uv в отдельное окружение.
- Пакеты: vaex-core, vaex-hdf5, vaex-viz (опционально vaex-ml).
- Локальные файлы в форматах HDF5, Arrow, CSV или Parquet.
Описание составлено по SKILL.md навыка, сверено 08.10.2026.
Как подключить
SKILL.md к навыкам ассистентаНавык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.