翻訳精度ベンチマーク
億と万は1文字違いで1000倍の差。汎用モデルは日本の開示文書で四半期ごとにこのミスを起こす。
クオンツPM、リサーチプラットフォーム、コンプライアンス向け。54件、参照訳はFSA・JLT(法務省)・JPX由来。
Axiora
GPT-4o
Gemini
Claude汎用モデルは言い換える。Axioraは規定訳語を保つ。
| 翻訳系統 | 数値の桁保全 | 規定訳語遵守 | 禁止訳語率 |
|---|---|---|---|
| Axiora | 100% | 78% | 0% |
| GPT-4o | 100% | 63% | 2% |
| Gemini Flash 2.5 | 98% | 52% | 2% |
| Claude Sonnet 4.6 | 98% | 39% | 2% |
暫定値：規定訳語遵守は厳密な逐語一致で採点しています。同値を許容する再評価を実施中で、各システムの絶対スコアは上がりますが、順位は変わりません。
数値の桁保全：原文の桁が同値で往復する割合(¥1.2兆と「1.2兆円」は同値として扱う)。規定訳語遵守：規制機関の公表英訳が翻訳文中に逐語で出現する割合(法定語句の言い換えは不一致と判定)。この規定訳語のスコアは厳密な逐語一致で算出しており、書式が同値の表現(¥記号と「yen」、2,850Bと2.85Tなど)も不一致として数えます。これは全システムに同一に適用した、あえて厳しい基準です。禁止訳語率：規制機関が誤導と判断する訳語の出力割合(低いほど良い)。
現在の計測差では、Axioraは規定訳語遵守で最良の汎用モデルを15pt上回ります。年間1,000件なら約150件、10,000件なら約1,500件の規制用語ドリフト削減に相当します。
各系統の出力
各カードに日本語原文、規制機関の公表訳、各系統の実出力を掲載。
This matter constitutes a significant proposal action.
Paraphrase. Loses the FSA-published canonical.
This matter constitutes a material proposal.
Paraphrase. Loses the FSA-published canonical.
This matter falls under act of making important suggestion.
- 対象モデル
- axiora-annual-v3.0.0-flash — Axioraの有価証券報告書翻訳パイプライン。本番環境の翻訳行はすべてこのバージョンスタンプを持ち、監査可能です。
- 入力
- 全系統に同一の日本語入力。全出力に同一の決定論的スコアラー。系統別のプロンプト調整なし。
- 参照
- 参照訳はすべて公開情報源、金融庁FAQ、法務省・日本法令外国語訳データベース、JPX用語集、および規則検証済の数値往復。各行に出典を付記。
- スコアラー
- 3つのスコアラーが独立動作。数値の桁保全は日本語→英語の桁往復をチェック(¥1.2兆、1.2兆円、1,200十億円は同じ桁)。規定訳語遵守は規制機関の公表英訳が逐語で出現するかを確認(大小文字・ハイフン・空白を正規化)。表示中の数値はこれを厳密に適用しており、書式が同値の表現も不一致として数えます。同値を許容する再評価を実施中で、全4システムの規定訳語の絶対スコアが上がります。禁止訳語検出は規制機関が誤導と判断する訳語をフラグします(例:完全子会社化を「acquisition」と訳した場合)。
- 公平性
- これは製品比較であってモデル比較ではありません。Axioraは出荷時のフルパイプライン(決定論的な数値処理と用語集処理を含む)で実行。汎用モデルには「日本語の財務開示文書を英語に翻訳してください」という汎用プロンプトのみを与えました。これは顧客が各系統を箱から出して使うときの呼び出し方を再現しています。すべての系統に同じスキャフォールディングを与えた純粋なLLM比較は、別の研究になります。
- 注意事項
- 54件は傾向であって統計的主張ではありません。数値の桁保全は仕様により決定論的。禁止訳語の防止はシステムレベルで強制。規定訳語遵守は規制機関の逐語表現をどれだけ厳密に守るかの指標です。表示中の数値は厳密一致で算出しており、同じ桁の表記揺れ(¥X対X円、2,850十億対2.85兆)も不一致として数えます。同値を許容する再評価を実施中で、順位を変えずに各システムの規定訳語の絶対スコアが上がります。
デスクで何が起きるか
再確認不要な数値
アナリストに億・万のスポットチェックを頼む必要なし。億・万・兆・千の桁系列は仕様により往復、同じ入力なら毎回同じ出力。
監査に耐える
翻訳行ごとに翻訳エンジンバージョン、用語集バージョン、原開示書類への引用が記録されます。コンプライアンスは2年後に永続化された正確なテキストをそのまま引き出します。その行自体が証拠であり、モデル再実行ではありません。
スケールしてもぶれない
年間1万件の処理でも同じ規制準拠英語。ファイリング別の手動レビュー不要、Q1とQ4で用語が揺れない。
バックテスト適合
翻訳エンジンと用語集のバージョンを固定すれば、再実行で完全に同じバイトが返ります。今日構築するシグナルは5年後も同じ形を保ちます。