클릭은 잘하는 AI, 결재 규칙도 끝까지 지킬까

AI가 버튼을 끝까지 눌렀다고 업무도 끝났을까. 오픈AI가 10월 6일 공개한 Ironclad 협력 연구는 그 질문을 계약 업무에 가져왔다. 문서를 만드는 능력에 더해, 승인 규칙과 예외 조건을 여러 화면에 걸쳐 지키는 능력을 시험한 연구다.

과제는 법무·상업·조달 업무에서 고른 11개다. 회사는 과제마다 복잡도에 따라 8~50개의 기준으로 평가했다고 밝혔다. 완료했는지 한 번만 묻는 대신 어떤 조건을 충족하고 무엇을 놓쳤는지 나눈 셈이다. 합격 기준을 잘게 적는 일 자체가 연구의 중요한 재료가 됐다.

SOCRA의 가상 예로, 일정 금액을 넘는 구매는 재무 담당자의 승인을 받아야 한다고 하자. 양식을 만드는 것만으로 끝나지 않는다. 기준보다 작은 요청은 어디로 가고 큰 요청은 누구에게 도착하는지도 맞아야 한다. 화면은 멀쩡해 보여도 업무 규칙 하나가 빠지면 결과는 달라진다.

발표된 평균 기준 점수는 Astra가 55.0%, Sol이 41.6%다. 각각 Max와 High 추론 설정을 사용한 회사의 연구 평가다. 55%라는 숫자를 계약 업무 절반 이상이 완전 자동화됐다는 비율로 읽을 수는 없다. 이 평가에서 세부 기준을 얼마나 충족했는지를 나타내는 점수다.

시도당 시간도 함께 제시됐다. Astra 19.2분, Sol 37.0분이라는 수치는 모델의 처리와 생성 속도를 가정한 모의 추정이다. 실제 고객이 아낀 근무 시간을 측정한 값은 아니다. 점수와 시간이 함께 좋아졌다는 연구 설명과 현장의 인건비 절감은 별도의 검증을 요구한다.

학습 재료의 경계도 밝혔다. 회사는 SEC EDGAR에 공개된 계약에 개인정보 제거용 필터를 적용해 모의 과제를 만들었다고 설명했다. 비공개 Ironclad 고객 계약이나 오픈AI 고객 데이터를 썼다는 내용은 아니다. 실제 업무에 가까운 과제와 실제 고객 자료는 같은 뜻이 아니다.

이 연구를 보고 당장 모든 계약을 AI에 맡길 이유는 없다. 오히려 업무 담당자가 무엇을 알아야 하는지 또렷해진다. 어느 지점에서 승인이 필요한지, 어떤 예외를 놓치면 결과가 틀어지는지 설명할 수 있어야 에이전트가 끝낸 일을 평가할 수 있다.

테스트용 업무를 직접 만든다면 정상 요청 하나로 멈추지 말자. 경계값 바로 아래와 위, 빠진 항목, 서로 충돌하는 조건을 따로 적을 수 있다. 이것은 SOCRA의 시험 설계 제안이다. 이번 연구가 모든 회사의 규칙이나 모든 계약 상황을 검증했다는 뜻은 아니다.

업무용 에이전트 경쟁에서 클릭 능력 다음에 승인 규칙과 예외 처리의 문제가 등장했다. 화면을 움직이는 시연만으로 확인하기 어려운 부분이다. 11개 과제의 연구 점수가 현장 전체의 자동화를 뜻하지는 않지만, 성공을 무엇으로 셀지 구체화하는 평가가 필요하다는 질문은 더 선명해졌다.

Ironclad 연구의 흥미는 AI가 사람처럼 화면을 만진다는 데서 한 번 더 나아간다. 원하는 일을 끝냈다는 말을 어떤 기준으로 확인하느냐다. 에이전트가 더 오래 일할수록 처음 부탁했던 조건도 끝까지 남아 있어야 한다. 그 조건을 적는 사람의 역할은 작아지지 않는다.