표준어만 잘 듣는 AI라면, 진짜 회의는 놓칠 수 있다

뉴스 앵커의 말은 잘 받아쓰는데 회의에서는 이름 하나를 놓친다면. 음성 AI를 고를 때 생길 수 있는 간극이다. TII는 10월 7일 Falcon-ASR를 소개하며 아랍어, 특히 에미리트 방언을 주요 대상으로 내세웠다. 모든 말이 같은 시험에 담기지 않는다는 점을 돌아보게 한다.

이 모델은 회사 설명상 16억 개 매개변수를 갖고 영어·프랑스어·스페인어·포르투갈어도 지원한다. 같은 가중치로 다섯 언어를 전사하며 말한 언어의 텍스트를 내놓는다는 내용이다. 여러 언어를 지원한다는 목록에 한국어가 포함됐다고 읽거나 번역 기능으로 바꿔 말해서는 안 된다.

발표에서 제시한 아랍어 단어 오류율은 20.92%다. 여섯 공개 테스트의 값을 같은 가중치로 평균 낸 TII의 평가다. 낮을수록 좋은 지표지만, 실제 회의 다섯 번 중 한 번이 실패했다는 의미는 아니다. 단어를 잘못 옮기는 정도와 업무 전체의 실패 비율은 단위부터 다르다.

비교 대상의 가장 낮은 수치는 23.17%로 제시됐다. 다만 경쟁 수치는 9월 30일 리더보드에서 확인한 시점의 값이다. 오늘 존재하는 모든 제품과 모든 방언에 대한 우위로 넓힐 수 없다. 누가 어떤 자료에서 비교했는지가 숫자의 크기만큼 중요하다.

에미리트 발화는 내부 자료로 별도 평가했고 오류율은 22.73%였다고 밝혔다. 공개 아랍어 평균과 다른 자료다. 두 수치가 다르다고 모순은 아니다. 같은 사람이 녹음한 문장이라도 표현과 주변 소리가 달라지면 알아들어야 할 문제 자체가 달라질 수 있기 때문이다.

SOCRA의 설명용 예를 들어 보자. 회사 소개 영상 자막과 여러 사람이 말을 겹치는 회의록은 같은 음성 업무처럼 보여도 확인할 오류가 다르다. 영상에서는 문장 전체의 가독성이 중요하고, 회의록에서는 담당자 이름이나 맡은 일이 바뀌지 않았는지도 봐야 한다.

TII는 단어마다 원래 음성 위치를 연결하는 타임스탬프도 지원한다고 설명했다. 전사한 텍스트에서 의심스러운 부분으로 되돌아갈 실마리가 될 수 있다. 한 번에 완벽한 받아쓰기를 기대하는 것과 잘못된 곳을 빨리 찾아 고치는 흐름을 설계하는 것은 서로 다른 접근이다.

이용 단계 역시 구분해야 한다. 발표는 시연용 데모를 안내하지만 API와 네이티브 앱은 계획으로 적었다. SOCRA는 데모에 음성을 넣어 시험하지 않았다. 현장 녹음의 정확도, 정보 처리 조건, 실제 업무 시간을 얼마나 줄이는지는 이 글에서 확인한 결과가 아니다.

Falcon-ASR는 지원 언어의 개수뿐 아니라 어느 지역의 말을 평가했는지를 앞에 세웠다. 음성 AI 도입에서도 평균 성능표와 실제 녹음 환경 사이의 간격이 남는다. 방언과 전문 용어, 고유명사를 놓치는 문제가 어떤 업무에 영향을 주는지에 따라 같은 오류율도 다르게 읽힐 수 있다.

Falcon-ASR의 소식은 AI가 몇 개 언어를 말하느냐보다 누구의 말을 잘 듣느냐로 시선을 옮긴다. 우리 팀의 억양과 이름, 끊기는 문장도 그 시험 안에 있을까. 새 음성 모델을 만났을 때 첫 질문을 그렇게 바꿔 보면 성능표에서 보이지 않던 조건이 드러난다.