Масштаб и структура данных
Компания NVIDIA совместно с Elith представила Nemotron-Personas-Finance-Japan — первый открытый датасет персонажей масштаба в миллион записей, специализированный для финансового сектора Японии. Датасет содержит 9 миллионов записей (9 млн персонажей по 1 записи каждый), каждая из которых описана на естественном японском языке. Каждая запись включает 50 полей: 9 базовых атрибутов личности, 11 демографических характеристик и 30 контекстных полей, основанных на официальной статистике правительства Японии.
Общий объем данных составляет около 1,5 млрд токенов (из них ~750 млн токенов описывают самих персонажей). Датасет включает более 950 тысяч уникальных имен и охватывает 1600+ категорий профессий, что позволяет детально моделировать рабочую силу Японии. Лицензия CC BY 4.0 разрешает как коммерческое, так и некоммерческое использование.
Технологический стек и валидация
Генерация данных выполнена с использованием фреймворка NeMo SDG-PGMs (вероятностные графические модели) и системы NeMo Data Designer. Для генерации японского текста применялась модель gemma-4-31B-it. Ключевая особенность подхода — «приватность по дизайну» (Private By Design): ни один персонаж не основан на реальных людях, но все распределения (доходы, возраст, регион) строго соответствуют официальной статистике.
Разработка велась при участии ведущих финансовых институтов Японии, включая Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group и Meiji Yasuda Life Insurance. Это гарантирует, что сгенерированные сценарии отражают реальные финансовые привычки и уровень финансовой грамотности населения.
Сравнение с предыдущей версией
Новый датасет является расширением предыдущего Nemotron-Personas-Japan. Разработчики увеличили объем данных на 50% и значительно расширили детализацию атрибутов. Ниже приведено сравнение ключевых метрик:
| Параметр | Nemotron-Personas-Japan (старый) | Nemotron-Personas-Finance-Japan (новый) |
|---|---|---|
| Количество записей | 6 млн | 9 млн |
| Количество полей на запись | 22 | 50 |
| Финансовый контекст | Отсутствует / Базовый | Глубокий (активы, долги, грамотность) |
| Интеграция с NeMo User Sim | Да | Да (улучшенная совместимость) |
Практическое применение в финтехе
Датасет решает проблему нехватки качественных данных для обучения AI в условиях строгих правил конфиденциальности (GDPR, местные законы Японии). Основные сценарии использования:
- Тестирование на предвзятость (Bias Testing): Проверка, как AI-агенты реагируют на пользователей из разных регионов (сельская/городская местность), возрастных групп и уровней дохода.
- Симуляция диалогов: Генерация многооборотных диалогов для обучения чат-ботов и оценки качества обслуживания клиентов.
- Red-teaming: Поиск уязвимостей в системах, работающих с персональными данными, без риска реального утечек.
Датасет также сопровождается релизом Nemotron-PII-Japan (100 000 записей), который помогает в тестировании систем удаления персональных данных (PII). Совместное использование этих наборов позволяет создавать суверенные AI-системы, адаптированные под культурные и экономические особенности Японии.
Источник: Hugging Face blog ↗