Проблема «низкоресурсных» языков
OpenAI опубликовала отчет, в котором признала существенный разрыв в качестве работы своих моделей (Codex и GPT-4) с различными языками программирования. Если Python, JavaScript и TypeScript обрабатываются с высокой точностью, то такие языки, как Java, C++, C# и Go, демонстрируют значительно более низкие результаты. Это создает неравные условия для разработчиков, использующих эти языки в корпоративной среде.
Детали бенчмарков
Исследование показало, что на языках с меньшим объемом обучающих данных (low-resource languages) модели чаще допускают логические ошибки, синтаксические неточности и не следуют инструкциям. Разрыв в производительности между «высокоресурсными» (Python) и «низкоресурсными» языками может достигать десятков процентов в метриках точности кода.
Почему это важно
Большинство корпоративных систем, особенно в финтехе и enterprise-секторе, построены на Java и C++. Неспособность AI-ассистентов эффективно работать с этими языками ограничивает их практическую пользу для миллионов разработчиков. OpenAI понимает, что без решения этой проблемы AI-кодинг останется нишевым инструментом для стартапов, а не массовым решением.
План действий
Компания анонсировала запуск специальной программы по улучшению работы с low-resource языками. В рамках инициативы будут собраны и очищены большие объемы качественного кода на Java, C++ и C#. Также планируется пересмотреть стратегии обучения моделей, чтобы они лучше усваивали паттерны этих языков. Ожидается, что первые улучшения появятся в будущих обновлениях GPT-4 и Codex.
| Язык программирования | Статус в OpenAI | Проблема |
|---|---|---|
| Python, JavaScript | High-resource | Высокое качество генерации |
| Java, C++, C# | Low-resource | Низкая точность, частые ошибки |
| Go, Rust | Low-resource | Недостаток обучающих данных |
Вывод
Признание проблемы — первый шаг к её решению. Для разработчиков на Java и C++ это хорошая новость: в ближайшие месяцы мы можем увидеть значительное улучшение качества AI-ассистентов. Однако до уровня работы с Python пока далеко, и OpenAI предстоит проделать большую работу по сбору и обработке данных.
Источник: OpenAI ↗