Проблема скрытой нестабильности
Детерминированность инференса критически важна для доверия к ML-системам. Ранее было известно, что генерация текста зависит от «контекста обслуживания» (serving context): размера батча, состава данных, железа и движка инференса. Авторы нового исследования (Santhosh Kumar Kasa, Siva Rajesh Kasa, Sumit Negi) выяснили, насколько эта проблема затрагивает именно текстовую классификацию, где стабильность меток (labels) считается само собой разумеющейся.
Масштаб эксперимента: 180 моделей
Команда обучила и протестировала 180 моделей, охватывающих три подхода: дискриминативные, псевдогенеративные и полностью генеративные классификаторы. Все тесты проводились на одних и тех же чекпоинтах и текстах, но в четырех категориях изменяющихся условий обслуживания. Ключевой вывод: стабильность метки не гарантирует стабильность вероятностного счета (score stability).
Ключевые цифры и бенчмарки
Самый тревожный результат обнаружился при сравнении форматов данных. В то время как при формате fp32 изменение формы батча не меняло ни одной метки, переход на bf16 привел к перераспределению до 56.7 процентных пунктов массы предсказанной вероятности. Ошибки концентрировались в зонах малых маржин (неопределенности).
| Условие / Формат | Влияние на метки (Labels) | Влияние на вероятности (Scores) |
|---|---|---|
| fp32 + изменение батча | 0% изменений | Минимальные колебания |
| bf16 + изменение батча | Значительные изменения | До 56.7 pp массы вероятности |
| Полностью генеративные модели | Больше изменений, чем дискриминативные | Выше чувствительность к контексту |
Почему это важно для индустрии
Результаты объясняются неассоциативностью операций с плавающей запятой (floating-point non-associativity) и выбором ядер, зависящим от формы тензоров. Исследование выводит достаточные условия для стабильности меток и предлагает механизмы смягчения. Для разработчиков это означает: для воспроизводимой классификации необходимо фиксировать не только модель, но и контекст инференса (батч, формат данных, движок).
Источник: arXiv cs.CL ↗