AI가 상담원을 채점하기 전에, 질문지부터 다시 본다

상담을 잘했는지 AI에게 묻기 전에, 질문부터 제대로 썼는지 볼 필요가 생겼다. AWS가 10월 9일 Amazon Connect Customer에 평가폼 자동 점검 기능을 발표했다. 관리자가 질문지를 만들 때 AI가 채점하기에 맥락이 부족한 항목을 찾아 구체화 제안을 보여준다. 답을 평가하는 제품 안에 질문을 살피는 단계가 들어온 것이다.

회사가 설명한 흐름은 단순하다. 폼을 만드는 관리자가 점검을 실행하면 권장 작성 방식과 비교한 결과를 받는다. 핵심은 상담원에게 점수를 하나 더 매기는 데 있지 않다. 점수를 매기기 전에 기준을 더 구체적으로 쓰도록 돕는 변화다.

10월 11일 확인한 공식 문서는 점검을 두 단계로 설명한다. 먼저 질문 수나 점수 설정 같은 구조와 구성을 검사한다. 여기서 Errors가 없고 생성형 AI가 자동 답변할 질문이 있는 경우 내용 점검으로 넘어간다. 폼을 시스템이 받아들일 수 있는지와 AI가 질문을 제대로 읽을 수 있는지를 나눠 보는 셈이다.

두 결과의 무게도 다르다. 구조·설정의 Errors는 폼 활성화를 막지만, 두 번째 단계의 Warnings는 활성화를 막지 않는다고 문서는 명시한다. 따라서 경고가 있다는 말이 곧 사용 불가라는 뜻은 아니다. 반대로 활성화할 수 있다는 사실만으로 내용까지 충분히 다듬었다고 볼 수도 없다.

내용 점검 기준에는 AI가 볼 수 있는 자료의 한계가 들어 있다. 대화 기록과 지침만으로 답할 수 있는지, 기록에 없는 외부 시스템 상태를 요구하는지 등을 살핀다. 음량이나 음높이, 말의 속도처럼 오디오만으로 알 수 있는 단서를 요구하지 않는지도 확인한다. 무엇을 평가하느냐와 무엇을 읽을 수 있느냐를 맞추는 장치다.

이 차이는 AI를 업무에 넣는 기획에서 중요하다. SOCRA가 읽는 이번 변화는 모델에게 더 엄격한 점수만 요구하는 데 있지 않다. 판단에 필요한 조건을 질문 안에 드러내는 일도 제품의 일부가 됐다는 데 있다.

지적 항목을 해결했다고 표시하는 기능도 있다. 다만 공식 문서는 이 표시가 패널에서 항목을 시각적으로 숨길 뿐이라고 밝힌다. 점검을 다시 돌리거나 폼의 활성화 상태를 바꾸는 동작이 아니다. 화면이 정리된 것과 수정한 질문이 다시 확인된 것은 다른 사건이다.

제공 지역도 정해져 있다. 발표에 적힌 곳은 버지니아 북부·오리건·캐나다 중부·프랑크푸르트·런던·싱가포르·시드니·도쿄의 여덟 리전이다. 서울은 이번 목록에 없다. 같은 제품의 다른 기능이 어디에서 제공되는지를 이 기능의 이용 범위로 옮겨 적을 수는 없다.

AWS는 더 신뢰할 만한 자동 평가를 돕는 기능으로 소개했다. 그렇다고 이번 발표가 모든 조직의 채점이 공정해졌다는 독립 실험 결과는 아니다. 질문을 구체화하는 기능, 폼을 활성화하는 조건, 실제 평가 결과의 품질은 구별된다. 도입 효과를 보려면 실제 질문과 대화 기록에서 어떤 차이가 생겼는지 살펴야 한다.

AI가 결과를 판단하는 제품일수록 사람이 정한 기준도 화면 밖에 남겨둘 수 없다. 이번 업데이트는 그 기준을 먼저 읽고 부족한 맥락을 드러내는 쪽으로 움직였다. 더 많은 상담을 빠르게 채점하는 일에 앞서, 무엇을 잘했다고 부를지 써 놓는 일. 자동화가 넓어질수록 그 설계는 더 또렷해진다.