AI가 계속할지 멈출지, 마이크로소프트는 작은 판단 모델에 맡긴다

AI가 일을 잘하려면 말을 잘하는 능력만으로는 부족하다. 다음 단계로 넘어가도 되는지, 다시 시도할지, 사람에게 넘길지 골라야 한다. 마이크로소프트는 10월 9일 이 판단에 초점을 맞춘 Decision-1을 공개했다. 공식 안내에 따르면 Foundry와 OpenRouter에서 이용할 수 있다.

이 모델에 기대하는 출력은 긴 보고서가 아니다. 개발자가 선택지를 주면 각 항목에 확률 점수를 돌려준다. 예·아니오나 여러 보기 중 하나, 일정한 기준에 따른 등급처럼 형태가 정해진 판단을 맡긴다. 문장을 다 읽고 다시 뜻을 추출해야 하는 단계를 줄이려는 설계다.

AI가 서류를 처리하는 서비스를 생각해 보자. 자료가 충분하면 다음 단계로, 빠진 내용은 재요청으로, 판단하기 어렵다면 담당자에게 넘기도록 선택지를 만들 수 있다. 이는 구조를 설명하는 예시다. 특정 회사의 서류 심사를 실제 수행했다는 이야기는 아니다.

마이크로소프트는 Qwen3.5-9B를 후학습해 이 모델을 만들었다고 밝혔다. 범용 모델에 매번 길게 설명을 시키기보다, 주어진 보기의 점수를 한 번에 계산하는 쪽에 맞췄다. 에이전트 하나가 모든 역할을 혼자 맡는 대신 작업을 수행하는 부분과 경로를 고르는 부분을 나누는 방식이다.

이 구분이 중요한 이유는 작은 판단도 여러 번 쌓이기 때문이다. 앞 단계가 끝나야 다음 단계가 시작되는 흐름에서는 매번의 대기가 전체 시간을 늘린다. 반대로 한 번 잘못된 방향으로 보내면 빠른 처리도 소용이 없다. 다음 행동을 고르는 모델에는 속도와 함께 잘못 보냈을 때의 비용이 따라붙는다.

점수가 높다고 사실이 확정되는 것도 아니다. 90%라는 값은 그 선택의 확실성을 표현하는 모델의 추정이다. 실제 업무에서 얼마나 맞는지는 비슷한 사례들을 모아 확인해야 한다. 낮은 확신일 때 사람에게 넘길 수 있도록 만드는 결정은 여전히 서비스를 설계하는 쪽에 남는다.

회사는 36개 벤치마크, 약 15만 문항을 비교했다고 설명했다. 모든 회사의 업무를 대표하는 시험은 아니다. 공식 글도 비교 결과를 추가해 갱신됐다. SOCRA는 이 발표만으로 어느 현장에서나 더 정확하거나 더 싸다고 결론 내리지 않는다.

도입 현장에서 먼저 달라질 것은 질문을 설계하는 일이다. 요청을 어느 모델로 보낼지, 결과를 다시 작성할지, 사람이 살펴볼지를 명시적인 선택지로 정리해야 한다. 선택지에 필요한 길이 빠져 있으면 점수가 정교해도 그 길을 고를 수 없다. 작은 모델을 붙이는 일에도 업무 이해가 필요하다.

개발자에게는 가장 강한 모델 하나를 고르는 것 외의 선택이 생긴다. 복잡한 내용을 만드는 일과 반복적인 분류·제어를 나눠 배치할 수 있다. 다만 모델 호출료가 낮아도 연결·관측·오류 처리에 드는 비용은 따로 계산해야 한다. 이번 공개가 개별 서비스의 총비용 절감을 보장하지는 않는다.

Decision-1의 등장은 AI 서비스 안에 다른 종류의 AI가 더 들어온다는 소식이다. 전면에서 답하는 모델 뒤에, 다음 행동을 조정하는 모델을 둘 수 있다. 이용자가 보게 될 변화는 긴 답변 한 줄보다 덜 헤매는 처리 과정일 수 있다. 그 과정이 실제로 나아졌는지는 현장의 기록으로 확인해야 한다.