В мире искусственного интеллекта, где производительность вычислений измеряется терафлопсами, а сложность моделей растет экспоненциально, надежность программного обеспечения часто отходит на второй план. Разработчики сосредоточены на скорости обучения и инференса, доверяя оптимизаторам компиляторов и тысячам часов ручного тестирования. Однако за кулисами высокопроизводительных вычислений скрываются тонкие ошибки, которые могут привести к катастрофическим последствиям: от некорректных результатов обучения до критических сбоев в продакшене. Именно на пересечении этих проблем — между экстремальной производительностью GPU и математической строгостью — возникла новая парадигма. Исследователи из Колумбийского университета совместно с командой CertiK представили TensorLean, революционный фреймворк для формальной верификации GPU-ядер на уровне ассемблера PTX (Parallel Thread Execution).
TensorLean — это не просто еще один инструмент отладки. Это система, основанная на языке доказательств Lean, которая способна математически доказать, что скомпилированное ядро GPU в точности соответствует заданной тензорной математической спецификации. В эпоху, когда такие архитектуры, как NVIDIA H100 и B200, становятся стандартом де-факто для обучения LLM, способность гарантировать корректность каждого вычисления становится не просто желательной, а критически важной. Команда провела масштабный аудит, проверив 149 экземпляров ядер, включая полный набор ядер из библиотек FlashAttention (версий 2, 3 и 4) и DeepGEMM. Результат превзошел ожидания: система доказала корректность 83 ядер, но выявила 38 серьезных ошибок в оставшихся 66 случаях, некоторые из которых оставались незамеченными даже после десятков тысяч тестовых запусков.
01Что такое TensorLean и почему это важно?
Чтобы понять масштаб инновации, нужно заглянуть в архитектуру современных GPU. Когда разработчик пишет код на CUDA или Python (через PyTorch/Triton), компилятор преобразует его в промежуточное представление, а затем в PTX — низкоуровневый ассемблер для GPU NVIDIA. Традиционные методы тестирования (unit-тесты, fuzzing) проверяют ядро на конкретных входных данных. Но если тест не покрывает граничный случай, ошибка остается в коде. TensorLean меняет правила игры, переходя от эмпирического тестирования к дедуктивному доказательству.
Система работает с неизменным исходным кодом. Разработчик пишет спецификацию на языке Lean, описывая ожидаемое поведение тензоров. Затем TensorLean доказывает четыре ключевых свойства:
- Отсутствие гонок данных (Data Races): Гарантируется, что несколько потоков или блоков вычислений (CTAs) не читают и не записывают одни и те же ячейки памяти одновременно без синхронизации.
- Завершаемость (Termination): Доказывается, что ядро не зациклится бесконечно и всегда завершит работу.
- Корректность вывода (Correct Output): Результат вычислений совпадает с математической спецификацией с учетом допустимой погрешности (tolerance).
- Целостность памяти (Memory Safety): Ядро не изменяет память, которая не должна быть затронута (например, побочные эффекты в глобальной памяти).
02Как работает конвейер верификации: от спецификации к доказательству
Процесс работы TensorLean — это сложный пайплайн, состоящий из семи шагов, который превращает абстрактную математику в строгие логические доказательства. Все начинается с того, что разработчик пишет спецификацию на Lean. Эта спецификация опирается на библиотеку Mathlib, что позволяет использовать знакомые операторы. Например, запись spec_math для умножения матриц напрямую соответствует torch.matmul в PyTorch.
Каждая спецификация состоит из пяти частей:

- spec_math: Математическое описание операции.
- spec_mut: Описание изменяемой памяти.
- spec_layout: Расположение данных в памяти (layout).
- spec_tol: Допустимая погрешность вычислений с плавающей запятой.
- requires: Предусловия для входных данных.
После написания спецификации код компилируется в PTX. TensorLean загружает семантику PTX и строит граф «происходит-до» (happens-before graph). Этот граф позволяет символически проверить все возможные взаимодействия между потоками, блоками и итерациями циклов. Затем система выполняет символическое исполнение, получая финальное состояние памяти, которое должно быть идентичным для любых допустимых расписаний выполнения. На финальном этапе спецификация понижается до уровня памяти PTX, и доказательства разряжаются (discharge) с помощью ядра Lean, а также верификаторов SMT-теорем Z3 и cvc5.
03Техники масштабирования: как система справляется со сложностью
Одной из главных проблем формальной верификации является экспоненциальный рост сложности при увеличении количества потоков и размеров данных. TensorLean решает эту проблему с помощью четырех ключевых техник, позволяющих масштабировать проверку на современные GPU с тысячами ядер.
1. Сведение параллелизма к последовательности (Concurrency to Sequential). Вместо того чтобы проверять каждый поток отдельно, система использует граф «происходит-до» для доказательства отсутствия гонок данных символически для всех CTAs (Cooperative Thread Arrays), потоков и итераций циклов одновременно. Это позволяет избежать комбинаторного взрыва.
2. Инварианты циклов над полукольцами (Loop Invariants over Semirings). Многие тензорные операции, такие как онлайн-softmax или накопление сумм, используют вложенные циклы. TensorLean находит замкнутые формы для таких циклов. Это требует всего одного запроса к SMT-решателю на каждый цикл, что значительно ускоряет проверку по сравнению с разворачиванием циклов.
3. Доказательства с учетом погрешности (Tolerance Proofs). В вычислениях с плавающей запятой абсолютная точность недостижима. TensorLean разделяет задачу: алгебраическая ошибка доказывается равной нулю, а ошибка округления ограничивается отдельно, после чего они комбинируются. Это позволяет работать с реальными числами, не теряя строгости.

4. Утверждения как подсказки (Assertions as Hints). Разработчики могут добавлять tensorlean_assert в исходный код. Эти утверждения доказываются один раз, а затем переиспользуются системой как аксиомы, что ускоряет проверку сложных участков кода.
04Результаты аудита: 38 багов в критических библиотеках
Практическая ценность TensorLean была продемонстрирована на масштабном тесте. Команда проверила 149 экземпляров ядер из шести популярных проектов: FlashAttention (2, 3, 4), DeepGEMM, Liger Kernel, TileOPs, TileLang и Triton. Результат оказался шокирующим для сообщества: из 149 проверенных ядер 83 были математически доказаны как корректные, но 66 содержали ошибки, что привело к выявлению 38 уникальных багов.
Лидером по количеству найденных ошибок стал FlashAttention, на долю которого пришлось 23 бага. Это особенно критично, так как FlashAttention является стандартом де-факто для эффективного внимания в больших языковых моделях. Остальные ошибки распределились следующим образом: Liger Kernel — 7, TileOPs — 3, TileLang — 2, DeepGEMM — 2, Triton — 1.
По категориям ошибки распределились так:
- 19 ошибок доступа к памяти (memory access errors).
- 13 числовых ошибок (numerical bugs).
- 7 гонок данных (data races).
- 5 чтений неинициализированной памяти.
- 5 неопределенных поведений (undefined behaviors).
- 3 алгоритмические ошибки.
- 2 ошибки компиляции (miscompilations).
- 1 тупик (deadlock).
Особенно примечательным является случай с FlashAttention-4. Система обнаружила гонку данных, которая не проявлялась даже после 17 760 тестовых запусков. Это доказывает, что традиционное тестирование, основанное на вероятности, не может заменить формальную верификацию в высоконагруженных системах.

05Сравнение с другими инструментами верификации
Чтобы оценить место TensorLean в ландшафте инструментов, сравним его с другими известными системами, такими как Volta, ProofWright и PTX in Lean (Koska et al.).
| Характеристика | TensorLean | Volta | ProofWright | PTX in Lean |
|---|---|---|---|---|
| Уровень проверки | PTX | PTX | CUDA | PTX |
| Проверка против | Lean тензорная спецификация | Референсное ядро | Безопасность + эквивалентность | Lean доказательства |
| Ядра проверены | 149 (FA-2/3/4, DeepGEMM) | Тьюториалы, SGEMM, TileLang | KernelBench L1 (74% safety) | 3 простых ядра |
| Асинхронные операции | Да (wgmma, TMA) | Вне сферы охвата | Не раскрыто | Да |
| Новые баги найдены | 38 | Гонки, OOB чтения | Не раскрыто | Не раскрыто |
| Время проверки | ~10 мин медиана, 50 мин макс | 0.007 с – 570 с | ~3 мин на ядро | Не раскрыто |
Ключевое отличие TensorLean от Volta заключается в покрытии конфигураций. Проверители эквивалентности, такие как Volta, часто разворачивают циклы для одной конкретной конфигурации параметров. TensorLean же использует символические параметры, что позволяет проверять ядро для любого размера входных данных, а не только для тестового набора.
06Эффективность и ресурсы
Одним из удивительных аспектов TensorLean является эффективность спецификаций. Общий объем спецификаций составляет 10 278 строк кода против 151 285 строк исходного кода ядер. Это соотношение составляет примерно 15:1, что означает, что для описания сложного поведения GPU-ядер требуется в 15 раз меньше кода, чем само ядро. Это делает процесс написания спецификаций управляемым и масштабируемым.
Система работает на стандартной 16-ядерной рабочей станции и поддерживает проверку PTX, скомпилированного для архитектур A100, H100 и B200. Среднее время проверки составляет около 10 минут, а максимальное — 50 минут. Хотя это дольше, чем у некоторых утилит для простых ядер, такая задержка оправдана глубиной анализа и возможностью находить скрытые ошибки, которые невозможно обнаружить за секунды.
07Что это значит на практике
Появление TensorLean знаменует собой сдвиг парадигмы в разработке AI-инфраструктуры. Раньше надежность GPU-ядер обеспечивалась за счет «брутальной силы» тестирования: запуск миллионов случайных входных данных и надежда, что ошибка проявится. TensorLean предлагает путь к «доказуемой надежности».
Для разработчиков библиотек, таких как FlashAttention или Triton, это означает возможность выпускать код с математической гарантией безопасности. Для компаний, использующих эти библиотеки в продакшене, это снижает риски дорогостоящих сбоев и некорректных результатов обучения моделей. Особенно это актуально в контексте локального запуска и доступности из РФ, где оптимизация и надежность кода становятся еще более критичными из-за ограничений в доступе к облачным ресурсам. Умение верифицировать код на уровне PTX дает инженерам беспрецедентный контроль над тем, что именно делает их железо.
TensorLean также открывает путь для создания новых стандартов качества в open-source сообществе. Если спецификации станут стандартом де-факто, мы можем увидеть эру «доказанных AI-библиотек», где каждая операция умножения или внимания будет сопровождаться сертификатом корректности. Это не только повысит доверие к инструментам, но и ускорит разработку, так как разработчики смогут быть уверены в базовых примитивах, фокусируясь на более высоких уровнях абстракции.
В заключение, TensorLean — это не просто еще один инструмент для энтузиастов формальных методов. Это ответ индустрии на растущую сложность AI-стека. С 38 найденными багами в критически важных библиотеках, система уже доказала свою ценность. По мере развития инструментов и увеличения сообщества, мы можем ожидать, что формальная верификация станет неотъемлемой частью CI/CD пайплайнов для любого серьезного AI-проекта.
Источник: MarkTechPost ↗
