Nemotron-Personas-Finance-Japan:日本とその金融に関する合成データセット

Nemotron-Personas-Finance-Japan:日本とその金融に関する合成データセット

ElithとNVIDIAは、日本の金融分野における人工知能開発向けの合成ペルソナデータセット「Nemotron-Personas-Finance-Japan」を公開した。データセット「Nemotron-Personas-Japan」の金融分野への拡張版であり、日本の公式統計と家計財務・金融リテラシーに関するデータを組み合わせている。商用利用を許可するCC BY 4.0ライセンスの下で公開されている。

金融分野では、実際のデータの利用は厳格なプライバシー規制、コンプライアンス要件、および深い専門知識の必要性によって制限される。この分野におけるエージェンシックAI、すなわち自律的に一連の行動を連鎖させることができるシステムの開発には、実際のデータに関連するリスクを回避しつつ、人口統計、世帯構成、家計資産を反映した合成データが必要だとされている。

このデータセットは、政府の公式統計を基に、NVIDIAの2つのツールを用いて構築された。一つは合成データ生成のための確率的モデリングフレームワーク「NeMo SDG-PGMs」、もう一つは企業向け合成データ生成システム「NeMo Data Designer」である。日本語テキストの生成には、Apache-2.0ライセンスで配布されているモデル「gemma-4-31B-it」が使用された。金融分野での有用性を高めるため、設計には複数の関係者からのフィードバックが組み込まれており、これにはソムポ日本興亜、東京海上ホールディングス、福岡銀行、みずほフィナンシャルグループ、明治安田生命保険、および金融データ利用促進協会(FDUA)が含まれる。

大規模データセット

このデータセットは100万件のレコードを含み、各レコードには9つのペルソナが含まれるため、合計900万のペルソナが自然な日本語で記述されている。各レコードは50のフィールドで構成される:9つのペルソナフィールド、11のペルソナ属性、および人口統計・雇用統計に基づく30のコンテキストフィールドである。ボリュームは約15億トークン、すなわちモデルが処理するテキスト単位に達し、そのうち約7億5千万トークンがペルソナに割り当てられている。

ペルソナは、人口統計、地域、資産分布、性格特性など複数の次元をカバーしている。約95万のユニークな名前と、日本の労働力を反映した1,600以上の職業カテゴリーを含む。その属性には、文化的背景、スキル、キャリア目標、趣味、家庭環境と財務状況、お金に対する考え方、財務計画などが詳細に記述されている。

統計では見えにくい生活状況をよりよく反映させるため、設計者は特定のカテゴリーを精緻化した。教育レベルはより詳細に記述され、経営者などの新しい職業が追加され、学生、退職者、失業期間などのライフステージがモデル化された。家計財務には実物資産が含まれ、インターネットやスマートフォンの利用状況も考慮されている。

プライバシーと用途

各ペルソナは完全に合成されたものであり、実在する人物を表すものではない。人口統計および財務データは公式統計と公的調査に従っており、名前は実際の日本の命名パターンを尊重している。このデータセットはプライバシー侵害のリスクを低減するように設計されており、使用にあたって顧客データを一切必要としないとされている。

銀行、保険会社、およびそれらを支援するスタートアップが主な対象ユーザーである。チームはこれを用いて、カスタマーサービスエージェントの作成、営業プロセスやマーケティングキャンペーンの評価、NeMo User Simを用いたユーザーシミュレーションの実施、または顧客向けAIのセキュリティテストなどに利用できる。また、多段階対話の生成、文化的に根差したデータによるモデルのファインチューニング、AIの性能が地方と都市部、年齢層、教育レベル間で均一に保たれているかの検証にも使用可能である。

同日、NVIDIAは、検出および編集モデルの訓練・テスト用に注釈付き個人情報を含む10万件の合成日本語ビジネス文書からなる「Nemotron-PII-Japan」も公開した。その文書は「Nemotron-Personas-Japan」に基づいている。このデータセットは、datasetsライブラリのload_dataset関数を用いて読み込むことができる。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x