vaex

Обработка больших табличных научных данных (HDF5, Arrow, CSV, Parquet) через Vaex: выражения, фильтры, потоковая статистика и визуализация. Подходит для анализа файлов, превышающих объем RAM, виртуального конструирования признаков и предобработки для ML.

KDK-Dense official Данные ★ 47.7k

Что делает навык

Vaex предназначен для столбцового анализа данных на одной машине, когда объём данных превышает доступную оперативную память (RAM), особенно для повторяющихся редукций и гистограмм над локальными файлами HDF5 или Arrow. Он использует виртуальные колонки и отложенные вычисления для эффективной работы с большими массивами без их полной загрузки в память.

Когда применять

  • Анализ научных табличных данных (HDF5, Arrow, CSV, Parquet), которые не помещаются в RAM.
  • Построение виртуальных признаков (выражений) и потоковая статистика без немедленного вычисления.
  • Предобработка данных для машинного обучения с использованием встроенных трансформеров Vaex ML.
  • Визуализация агрегированных сеток или ограниченных выборок для больших наборов данных.

Как работает

  1. Открыть файлы с помощью vaex.open, предварительно проверив схему, единицы измерения и коды пропущенных значений.
  2. Создавать производные значения через выражения (virtual columns), чтобы избежать хранения полных массивов в памяти.
  3. Записывать фильтры и выборки, затем выполнять отложенные статистические задачи (delay=True) с последующим вызовом df.execute() и .get().
  4. Валидировать результаты (количество строк, единицы, кардинальность соединений) на малой подвыборке или с помощью потоковых сводок.
  5. Экспортировать данные чанками (chunked export), что автоматически вычисляет виртуальные колонки без явного materialize().

Примеры запросов агенту

Загрузи большой файл HDF5 через Vaex, создай виртуальную колонку 'energy' как сумму квадратов 'x' и 'y', и посчитай среднее значение 'energy' для отфильтрованной выборки.
Выполни групповую статистику по колонке 'category' с использованием отложенных вычислений для подсчета строк и суммы 'energy', затем проверь целостность данных.
Визуализируй тепловую карту средних значений для большой таблицы, убедившись, что отображается покрытие данных и не скрываются редкие наблюдения.

Что понадобится

  • Python 3.9–3.12, установка через uv в отдельное окружение.
  • Пакеты: vaex-core, vaex-hdf5, vaex-viz (опционально vaex-ml).
  • Локальные файлы в форматах HDF5, Arrow, CSV или Parquet.

Описание составлено по SKILL.md навыка, сверено 08.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «vaex» из репозитория: # https://github.com/k-dense-ai/scientific-agent-skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r vaex/ ~/.claude/skills/vaex/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.