인도의 언어 다양성과 AI: 어떤 언어가 디지털화될지 누가 결정하나

인도는 수백만 명이 사용하는 수백 가지 언어를 보유한 놀라운 언어 다양성의 나라다. 그러나 AI가 커뮤니케이션을 재편하는 과정에서 대부분의 언어는 근본적인 도전에 직면해 있다. AI 학습에 필요한 디지털 데이터가 부족하다는 것이다.

데이터 문제

대형 언어 모델은 주로 인터넷 텍스트로 훈련되는데, 인터넷은 영어, 중국어, 그 외 몇 가지 주요 언어가 압도적으로 지배하고 있다. 풍부한 문학 전통을 가지고 있지만 온라인 존재감이 제한적인 인도의 소수 언어들에게 이는 가시성 격차를 만든다.

잠재적 균형자로서의 AI

일부 연구자들은 기회를 본다. 대표성이 낮은 인도어 데이터셋을 만들어 AI를 언어 보존 도구로 활용할 수 있다는 것이다. 그러나 비평가들은 어떤 언어가 투자를 받을지에 대한 결정권이 대형 기술 기업들에 있다고 경고한다.