AIはインドの言語を理解しているのか？「アルファベット」で書くと状況は一変する

想像してみてください。あなたが今インドに住んでいると仮定します。友人にメッセージを送る際、ヒンディー語（Hindi）の複雑な文字を一文字ずつ入力する代わりに、馴染みのある英字アルファベットを使って「aap kaise hain（お元気ですか？）」とタイピングします。数億人のインド人がデジタル環境でこのような方法でコミュニケーションをとっています。しかし、私たちが使用する人工知能（AI）はこの言語方式をどれほど正しく理解しているのでしょうか？

最近のAI研究は、私たちがよく用いる評価方法が、インドの言語をラテン文字（Latin characters）ベースのローマ字で表記する際に発生する微妙な誤りを全く捉えられていないという衝撃的な事実を明らかにしました。参考資料: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

なぜこれが重要なのか？

デジタル時代において、AIは私たちの有能な秘書役を果たします。しかし、その秘書が私たちの言語の微妙なニュアンスを正しく理解していなかったらどうでしょうか？インドでは数億人のユーザーが「ローマ字表記インド語」を通じてデジタル機器を操作し、情報を検索しています。参考資料: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed AIがこの方式を完全には理解できていない場合、現地のユーザーはAIから正当なサービスを受けられず、デジタル世界から疎外されるほかありません。

特にビジネスや検索エンジンの側面において、「ヒングリッシュ（Hinglish、ヒンディー語と英語が混ざった形態）」検索は非常に重要です。これを正しく読み取れないAIエンジンは、インドの現地中小企業に機会損失を生じさせ、結果として情報格差を深刻化させるという結果を招きます。参考資料: Hinglish AI Search Visibility: Why Engines Misread It

簡単に言えば、何が問題なのか？

現在使用されているAI評価方法を「選択式試験」に例えてみましょう。現在用いられているBGE-M3やBERTScoreといった技術指標は、AIが書いた文章が原文と単語レベルでどれほど類似しているかを機械的に採点します。問題は、この試験用紙がローマ字で表記されたインド語であるという特殊性を全く考慮できていない点にあります。

研究チームが最新モデルであるGPT-5.5とClaude Opus 4.8を対象にテストを行った結果は驚くべきものでした。自動化された機械指標上では、両AIの性能差は0.004点ほどで、ほとんど差がありませんでした。しかし、実際のインドのネイティブスピーカーが直接評価した点数には、なんと1.43点もの開きがありました。参考資料: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

これは、AIが数学の問題を解く際に回答用紙の形式だけを真似て内容はデタラメに書いたにもかかわらず、機械が「似た単語が入っているから合格」と点数を与えているようなものです。AIは一見それっぽく見えますが、実際にはインドの人々には全く役立たない結果を出しているのです。

どこで間違っているのか？

現在多くのAIモデルがローマ字表記インド語を生成する際、大きく分けて2つの深刻な失敗パターンを見せています。参考資料: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

1. スクリプトの流出（Script Spillage）: ローマ字で回答するように指示したにもかかわらず、回答の途中で突然現地の文字が飛び出してくる現象です。例えば、Geminiモデルはテルグ語（Telugu）の回答のうち約17%でこのような誤りを示しました。
2. インストラクションの崩壊（Instruction Collapse）: ローマ字インド語で回答せよという明確な指示を無視し、単に英語だけで答えてしまう現象です。Qwenモデルの場合、カンナダ語（Kannada）の回答のうち約16%がこのような状況でした。

このような誤りは、機械的な統計評価方式だけでは決して発見できない、ユーザーの実際の体験を損なう要素です。

今後はどうなるのか？

研究チームは、これからは単純な類似度計算から脱却しなければならないと強調しています。真の意味でのAI評価のためには、以下の4つの要素を一つにまとめた「総合評価セット」が必要です。参考資料: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

• 意味的類似性: 伝えようとする内容が正確か？
• 文字規格の遵守: ユーザーが指示した表記方式を最後まで守っているか？
• 失敗率の捕捉: 途中で見当違いの文字が混ざったり、言語を変えたりしていないか？
• ネイティブの受容性: 実際のインドのネイティブスピーカーが読んで快適で自然か？

インド語だけでなく、世界中の数多くの言語ユーザーに対してAIが平等な性能を提供するためには、このような「ユーザー中心の評価基準」が技術標準として定着しなければなりません。最近導入されたIndi-RomCoMのようなベンチマークは、こうした変化に向けた重要な第一歩となるでしょう。参考資料: [2606.30790] Indi-RomCoM: Code-Mixed Benchmark for Evaluating…

MindTickleBytesのAI記者視点

技術が発展すればするほど、私たちは1兆個のパラメータ（パラメータ、AIの頭脳規模を示す単位）や毎秒の処理速度といった巨大な数字に埋没しがちです。しかし、真のAIの完成度は数値ではなく、日常生活の中で最も自然に使用する「私の言語」をどれほど完全に理解しているかにかかっています。技術の華やかさよりも重要なのは、私たちが世界を眺める言語のあり方をどれほど深く包摂しているかという点です。

参考資料

1. The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed
2. Hinglish AI Search Visibility: Why Engines Misread It
3. [2606.30790] Indi-RomCoM: Code-Mixed Benchmark for Evaluating…