AIKraft Agents
Главная/Блог/Гайд/TensorLean: Формальная верификация…
Гайд9 мин чтения · 22 ноября 2026 г.

TensorLean: Формальная верификация GPU-ядер на уровне PTX

Исследователи из Колумбийского университета и CertiK представили TensorLean — систему, доказывающую корректность GPU-ядер. Найдено 38 критических багов в FlashAttention и других библиотеках.

TensorLean: Формальная верификация GPU-ядер на уровне PTX

В мире искусственного интеллекта, где производительность вычислений измеряется терафлопсами, а сложность моделей растет экспоненциально, надежность программного обеспечения часто отходит на второй план. Разработчики сосредоточены на скорости обучения и инференса, доверяя оптимизаторам компиляторов и тысячам часов ручного тестирования. Однако за кулисами высокопроизводительных вычислений скрываются тонкие ошибки, которые могут привести к катастрофическим последствиям: от некорректных результатов обучения до критических сбоев в продакшене. Именно на пересечении этих проблем — между экстремальной производительностью GPU и математической строгостью — возникла новая парадигма. Исследователи из Колумбийского университета совместно с командой CertiK представили TensorLean, революционный фреймворк для формальной верификации GPU-ядер на уровне ассемблера PTX (Parallel Thread Execution).

TensorLean — это не просто еще один инструмент отладки. Это система, основанная на языке доказательств Lean, которая способна математически доказать, что скомпилированное ядро GPU в точности соответствует заданной тензорной математической спецификации. В эпоху, когда такие архитектуры, как NVIDIA H100 и B200, становятся стандартом де-факто для обучения LLM, способность гарантировать корректность каждого вычисления становится не просто желательной, а критически важной. Команда провела масштабный аудит, проверив 149 экземпляров ядер, включая полный набор ядер из библиотек FlashAttention (версий 2, 3 и 4) и DeepGEMM. Результат превзошел ожидания: система доказала корректность 83 ядер, но выявила 38 серьезных ошибок в оставшихся 66 случаях, некоторые из которых оставались незамеченными даже после десятков тысяч тестовых запусков.

01Что такое TensorLean и почему это важно?

Чтобы понять масштаб инновации, нужно заглянуть в архитектуру современных GPU. Когда разработчик пишет код на CUDA или Python (через PyTorch/Triton), компилятор преобразует его в промежуточное представление, а затем в PTX — низкоуровневый ассемблер для GPU NVIDIA. Традиционные методы тестирования (unit-тесты, fuzzing) проверяют ядро на конкретных входных данных. Но если тест не покрывает граничный случай, ошибка остается в коде. TensorLean меняет правила игры, переходя от эмпирического тестирования к дедуктивному доказательству.

Система работает с неизменным исходным кодом. Разработчик пишет спецификацию на языке Lean, описывая ожидаемое поведение тензоров. Затем TensorLean доказывает четыре ключевых свойства:

  1. Отсутствие гонок данных (Data Races): Гарантируется, что несколько потоков или блоков вычислений (CTAs) не читают и не записывают одни и те же ячейки памяти одновременно без синхронизации.
  2. Завершаемость (Termination): Доказывается, что ядро не зациклится бесконечно и всегда завершит работу.
  3. Корректность вывода (Correct Output): Результат вычислений совпадает с математической спецификацией с учетом допустимой погрешности (tolerance).
  4. Целостность памяти (Memory Safety): Ядро не изменяет память, которая не должна быть затронута (например, побочные эффекты в глобальной памяти).
💡
Почему PTX, а не CUDA? Проверка на уровне CUDA-кода сложна из-за огромного количества абстракций. PTX — это «честный» уровень, где видны реальные операции с памятью и регистрами. Верификация здесь дает максимальную гарантию, так как защищает уже скомпилированный, готовый к исполнению код.

02Как работает конвейер верификации: от спецификации к доказательству

Процесс работы TensorLean — это сложный пайплайн, состоящий из семи шагов, который превращает абстрактную математику в строгие логические доказательства. Все начинается с того, что разработчик пишет спецификацию на Lean. Эта спецификация опирается на библиотеку Mathlib, что позволяет использовать знакомые операторы. Например, запись spec_math для умножения матриц напрямую соответствует torch.matmul в PyTorch.

Каждая спецификация состоит из пяти частей:

TensorLean: Формальная верификация GPU-ядер на уровне PTX
  • spec_math: Математическое описание операции.
  • spec_mut: Описание изменяемой памяти.
  • spec_layout: Расположение данных в памяти (layout).
  • spec_tol: Допустимая погрешность вычислений с плавающей запятой.
  • requires: Предусловия для входных данных.

После написания спецификации код компилируется в PTX. TensorLean загружает семантику PTX и строит граф «происходит-до» (happens-before graph). Этот граф позволяет символически проверить все возможные взаимодействия между потоками, блоками и итерациями циклов. Затем система выполняет символическое исполнение, получая финальное состояние памяти, которое должно быть идентичным для любых допустимых расписаний выполнения. На финальном этапе спецификация понижается до уровня памяти PTX, и доказательства разряжаются (discharge) с помощью ядра Lean, а также верификаторов SMT-теорем Z3 и cvc5.

⚠️
Важно: TensorLean не требует изменения исходного кода ядра. Он анализирует уже скомпилированный PTX-код, что делает его совместимым с существующими рабочими процессами разработки и позволяет интегрировать его в CI/CD пайплайны без переписывания библиотек.

03Техники масштабирования: как система справляется со сложностью

Одной из главных проблем формальной верификации является экспоненциальный рост сложности при увеличении количества потоков и размеров данных. TensorLean решает эту проблему с помощью четырех ключевых техник, позволяющих масштабировать проверку на современные GPU с тысячами ядер.

1. Сведение параллелизма к последовательности (Concurrency to Sequential). Вместо того чтобы проверять каждый поток отдельно, система использует граф «происходит-до» для доказательства отсутствия гонок данных символически для всех CTAs (Cooperative Thread Arrays), потоков и итераций циклов одновременно. Это позволяет избежать комбинаторного взрыва.

2. Инварианты циклов над полукольцами (Loop Invariants over Semirings). Многие тензорные операции, такие как онлайн-softmax или накопление сумм, используют вложенные циклы. TensorLean находит замкнутые формы для таких циклов. Это требует всего одного запроса к SMT-решателю на каждый цикл, что значительно ускоряет проверку по сравнению с разворачиванием циклов.

3. Доказательства с учетом погрешности (Tolerance Proofs). В вычислениях с плавающей запятой абсолютная точность недостижима. TensorLean разделяет задачу: алгебраическая ошибка доказывается равной нулю, а ошибка округления ограничивается отдельно, после чего они комбинируются. Это позволяет работать с реальными числами, не теряя строгости.

TensorLean: Формальная верификация GPU-ядер на уровне PTX

4. Утверждения как подсказки (Assertions as Hints). Разработчики могут добавлять tensorlean_assert в исходный код. Эти утверждения доказываются один раз, а затем переиспользуются системой как аксиомы, что ускоряет проверку сложных участков кода.

04Результаты аудита: 38 багов в критических библиотеках

Практическая ценность TensorLean была продемонстрирована на масштабном тесте. Команда проверила 149 экземпляров ядер из шести популярных проектов: FlashAttention (2, 3, 4), DeepGEMM, Liger Kernel, TileOPs, TileLang и Triton. Результат оказался шокирующим для сообщества: из 149 проверенных ядер 83 были математически доказаны как корректные, но 66 содержали ошибки, что привело к выявлению 38 уникальных багов.

Лидером по количеству найденных ошибок стал FlashAttention, на долю которого пришлось 23 бага. Это особенно критично, так как FlashAttention является стандартом де-факто для эффективного внимания в больших языковых моделях. Остальные ошибки распределились следующим образом: Liger Kernel — 7, TileOPs — 3, TileLang — 2, DeepGEMM — 2, Triton — 1.

По категориям ошибки распределились так:

  • 19 ошибок доступа к памяти (memory access errors).
  • 13 числовых ошибок (numerical bugs).
  • 7 гонок данных (data races).
  • 5 чтений неинициализированной памяти.
  • 5 неопределенных поведений (undefined behaviors).
  • 3 алгоритмические ошибки.
  • 2 ошибки компиляции (miscompilations).
  • 1 тупик (deadlock).

Особенно примечательным является случай с FlashAttention-4. Система обнаружила гонку данных, которая не проявлялась даже после 17 760 тестовых запусков. Это доказывает, что традиционное тестирование, основанное на вероятности, не может заменить формальную верификацию в высоконагруженных системах.

TensorLean: Формальная верификация GPU-ядер на уровне PTX
📌
Факт: Из 102 экземпляров FlashAttention, проверенных системой, 56 прошли все четыре свойства корректности. Остальные 46 провалили хотя бы одну цель доказательства, что прямо указало на баг в исходном коде, который затем был исправлен и отправлен в upstream-репозитории.

05Сравнение с другими инструментами верификации

Чтобы оценить место TensorLean в ландшафте инструментов, сравним его с другими известными системами, такими как Volta, ProofWright и PTX in Lean (Koska et al.).

Характеристика TensorLean Volta ProofWright PTX in Lean
Уровень проверки PTX PTX CUDA PTX
Проверка против Lean тензорная спецификация Референсное ядро Безопасность + эквивалентность Lean доказательства
Ядра проверены 149 (FA-2/3/4, DeepGEMM) Тьюториалы, SGEMM, TileLang KernelBench L1 (74% safety) 3 простых ядра
Асинхронные операции Да (wgmma, TMA) Вне сферы охвата Не раскрыто Да
Новые баги найдены 38 Гонки, OOB чтения Не раскрыто Не раскрыто
Время проверки ~10 мин медиана, 50 мин макс 0.007 с – 570 с ~3 мин на ядро Не раскрыто

Ключевое отличие TensorLean от Volta заключается в покрытии конфигураций. Проверители эквивалентности, такие как Volta, часто разворачивают циклы для одной конкретной конфигурации параметров. TensorLean же использует символические параметры, что позволяет проверять ядро для любого размера входных данных, а не только для тестового набора.

06Эффективность и ресурсы

Одним из удивительных аспектов TensorLean является эффективность спецификаций. Общий объем спецификаций составляет 10 278 строк кода против 151 285 строк исходного кода ядер. Это соотношение составляет примерно 15:1, что означает, что для описания сложного поведения GPU-ядер требуется в 15 раз меньше кода, чем само ядро. Это делает процесс написания спецификаций управляемым и масштабируемым.

Система работает на стандартной 16-ядерной рабочей станции и поддерживает проверку PTX, скомпилированного для архитектур A100, H100 и B200. Среднее время проверки составляет около 10 минут, а максимальное — 50 минут. Хотя это дольше, чем у некоторых утилит для простых ядер, такая задержка оправдана глубиной анализа и возможностью находить скрытые ошибки, которые невозможно обнаружить за секунды.

07Что это значит на практике

Появление TensorLean знаменует собой сдвиг парадигмы в разработке AI-инфраструктуры. Раньше надежность GPU-ядер обеспечивалась за счет «брутальной силы» тестирования: запуск миллионов случайных входных данных и надежда, что ошибка проявится. TensorLean предлагает путь к «доказуемой надежности».

Для разработчиков библиотек, таких как FlashAttention или Triton, это означает возможность выпускать код с математической гарантией безопасности. Для компаний, использующих эти библиотеки в продакшене, это снижает риски дорогостоящих сбоев и некорректных результатов обучения моделей. Особенно это актуально в контексте локального запуска и доступности из РФ, где оптимизация и надежность кода становятся еще более критичными из-за ограничений в доступе к облачным ресурсам. Умение верифицировать код на уровне PTX дает инженерам беспрецедентный контроль над тем, что именно делает их железо.

TensorLean также открывает путь для создания новых стандартов качества в open-source сообществе. Если спецификации станут стандартом де-факто, мы можем увидеть эру «доказанных AI-библиотек», где каждая операция умножения или внимания будет сопровождаться сертификатом корректности. Это не только повысит доверие к инструментам, но и ускорит разработку, так как разработчики смогут быть уверены в базовых примитивах, фокусируясь на более высоких уровнях абстракции.

В заключение, TensorLean — это не просто еще один инструмент для энтузиастов формальных методов. Это ответ индустрии на растущую сложность AI-стека. С 38 найденными багами в критически важных библиотеках, система уже доказала свою ценность. По мере развития инструментов и увеличения сообщества, мы можем ожидать, что формальная верификация станет неотъемлемой частью CI/CD пайплайнов для любого серьезного AI-проекта.

Источник: MarkTechPost ↗

TensorLean: Формальная верификация GPU-ядер | AIKraft Agents