AI가 인도 언어를 이해한다고요? '알파벳'으로 쓰면 상황이 달라집니다

상상해보세요. 당신이 지금 인도에 살고 있다고 가정해 봅시다. 친구에게 메시지를 보낼 때, 힌디어(Hindi)의 복잡한 문자를 일일이 입력하는 대신, 익숙한 영문 알파벳을 사용하여 ‘aap kaise hain(잘 지내세요?)’이라고 타이핑합니다. 수억 명의 인도인이 디지털 환경에서 이런 방식으로 소통합니다. 하지만 우리가 사용하는 인공지능(AI)은 이 언어 방식을 얼마나 잘 이해하고 있을까요?

최근 AI 연구는 우리가 흔히 사용하는 평가 방법이, 인도 언어를 라틴 문자(Latin characters) 기반의 로마자로 표기할 때 발생하는 미묘한 오류를 전혀 잡아내지 못하고 있다는 충격적인 사실을 밝혀냈습니다. 출처: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

이게 왜 중요한가요?

디지털 시대에 AI는 우리의 유능한 비서 역할을 수행합니다. 하지만 그 비서가 우리 언어의 미묘한 뉘앙스를 제대로 이해하지 못한다면 어떨까요? 인도는 수억 명의 사용자가 ‘로마자 표기 인도어’를 통해 디지털 기기를 조작하고 정보를 검색합니다. 출처: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed AI가 이 방식을 온전히 이해하지 못한다면, 현지 사용자는 AI에게 정당한 서비스를 제공받지 못하고 디지털 세상에서 소외될 수밖에 없습니다.

특히 비즈니스나 검색 엔진 측면에서 ‘힌글리시(Hinglish, 힌디어와 영어가 혼용된 형태)’ 검색은 매우 중요합니다. 이를 제대로 읽지 못하는 AI 엔진은 인도 현지 소상공인들에게 기회비용을 발생시키고, 결과적으로 정보 격차를 심화시키는 결과를 초래합니다. 출처: Hinglish AI Search Visibility: Why Engines Misread It

쉽게 말해서, 무엇이 문제일까요?

현재 사용하는 AI 평가 방식을 ‘객관식 시험’이라고 비유해 봅시다. 현재 쓰이는 BGE-M3, BERTScore 같은 기술적 지표들은 AI가 작성한 글이 원문과 단어적으로 얼마나 유사한지 기계적으로 점수를 매깁니다. 문제는 이 시험지가 로마자로 표기된 인도어라는 특수성을 전혀 고려하지 못한다는 점입니다.

연구팀이 최신 모델인 GPT-5.5와 Claude Opus 4.8을 대상으로 테스트해 본 결과는 놀라웠습니다. 자동화된 기계 지표상으로는 두 AI의 성능 차이가 0.004점 정도로 거의 차이가 없었습니다. 하지만 실제 인도 원어민들이 직접 평가한 점수는 무려 1.43점이나 벌어졌습니다. 출처: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

이는 마치 AI가 수학 문제를 풀 때 답안지 형식만 흉내 내고 실제 내용은 엉망으로 썼는데도, 기계가 ‘비슷한 단어가 들어갔으니 합격’이라고 점수를 주는 것과 같습니다. AI가 겉보기엔 그럴듯해 보이지만, 실제 인도 사람들에게는 전혀 도움이 되지 않는 결과를 내놓고 있는 셈입니다.

어디가 잘못되고 있을까요?

현재 많은 AI 모델이 로마자 표기 인도어를 생성할 때 크게 두 가지 심각한 실패 패턴을 보입니다. 출처: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

1. 스크립트 유출(Script Spillage): 로마자로 대답하라고 지시했음에도 불구하고, 응답 중간에 갑자기 현지 문자가 툭 튀어나오는 현상입니다. 예를 들어, 제미나이(Gemini) 모델은 텔루구어(Telugu) 응답 중 약 17%에서 이런 오류를 보였습니다.
2. 인스트럭션 붕괴(Instruction Collapse): 로마자 인도어로 대답하라는 명확한 지시를 무시하고, 그냥 영어로만 답해버리는 현상입니다. Qwen 모델의 경우 칸나다어(Kannada) 응답 중 약 16%가 이런 현상을 보였습니다.

이러한 오류는 기계적인 통계 평가 방식만으로는 절대로 발견할 수 없는, 사용자의 실제 경험을 해치는 요소입니다.

앞으로 어떻게 될까?

연구팀은 이제 단순한 유사도 계산에서 벗어나야 한다고 강조합니다. 진정한 의미의 AI 평가를 위해서는 다음 네 가지 요소가 하나로 묶인 ‘종합 평가 꾸러미’가 필요합니다. 출처: The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed

• 의미적 유사성: 전달하고자 하는 내용이 정확한가?
• 문자 규격 준수: 사용자가 지시한 표기 방식을 끝까지 지키는가?
• 실패율 포착: 중간에 엉뚱한 문자가 섞이거나 언어를 바꾸지는 않는가?
• 원어민 수용성: 실제 인도 원어민이 읽기에 편안하고 자연스러운가?

인도어뿐만 아니라 전 세계의 수많은 언어 사용자들에게 AI가 평등한 성능을 제공하기 위해서는, 이런 ‘사용자 중심의 평가 기준’이 기술 표준으로 자리 잡아야 할 것입니다. 최근 도입된 Indi-RomCoM 같은 벤치마크는 이러한 변화를 향한 중요한 첫걸음이 될 것입니다. 출처: [2606.30790] Indi-RomCoM: Code-Mixed Benchmark for Evaluating…

MindTickleBytes의 AI 기자 시선

기술이 발전할수록 우리는 1조 개의 파라미터(매개변수, AI의 두뇌 규모를 나타내는 단위)나 초당 처리 속도 같은 거대한 숫자에 매몰되기 쉽습니다. 하지만 진정한 AI의 완성도는 수치가 아니라, 일상 속에서 가장 자연스럽게 사용하는 ‘나의 언어’를 얼마나 온전히 이해하는가에 달려 있습니다. 기술의 화려함보다 중요한 것은, 우리가 세상을 바라보는 언어의 방식을 얼마나 깊이 포용하느냐는 점입니다.

참고자료

1. The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed
2. Hinglish AI Search Visibility: Why Engines Misread It
3. [2606.30790] Indi-RomCoM: Code-Mixed Benchmark for Evaluating…