AI의 실패 1만 4천 회, 지우지 않고 공개했다

AI가 성공한 장면만 모으면 무엇을 못하는지 찾기 어렵다. ai& Research는 10월 8일 TermGrade를 공개하며 실패한 시도도 함께 내놨다. 실행 환경부터 평가 기록, 학습 자료와 체크포인트까지 연결한 발표다. 더 높은 점수뿐 아니라 그 점수가 만들어진 과정을 살펴볼 자료가 늘었다.

이 자료의 무대는 명령어로 컴퓨터를 다루는 리눅스 터미널이다. 공개된 작업 환경은 1,004개다. 각각 실행할 공간인 컨테이너와 작업 지시, 결과를 검사하는 검증기를 묶었다. 질문과 모범 답안만 적은 문제집과 달리 실제로 작업을 수행하고 결과를 확인하는 구조다.

기준 해법이 해당 검증기를 통과하는지도 확인했다. 풀이가 존재하는지 실행으로 점검하는 절차다. 그렇다고 이 문제를 푸는 모든 AI가 통과한다는 뜻은 아니다. 문제 자체의 실행 가능성과 평가받는 모델의 능력은 별도로 확인해야 한다는 점이 중요하다.

배포 설명에 따르면 평가 시도는 3만 6,144회이고 그중 실패가 1만 4,234회다. 명령과 터미널 출력, 검증 결과를 함께 제공한다. 다만 예산 규칙으로 검증 전에 중단된 70회에는 개별 테스트 보고가 없다. 점수가 같아도 기록이 만들어진 이유는 다를 수 있다.

가령 끝부분의 조건 하나를 놓친 작업과 처음부터 진행하지 못한 작업이 같은 실패로 묶일 수 있다. 이는 SOCRA의 가상 설명이다. 최종 점수만 보면 두 경우의 차이가 사라진다. 실행 과정을 함께 보면 어느 단계에서 멈췄는지 다시 묻고 확인할 단서가 생긴다.

공개 평가에는 여섯 모델 설정이 참여했다. 이 결과와 실제 학습 문제를 고르는 측정은 분리했다. 학습에서는 대상인 gemma-4-31B-it와 사용할 bash 도구 환경으로 다시 시험했다. 다른 모델이나 다른 도구에서 나온 성공률을 그대로 가져와 문제를 고르지 않았다는 설명이다.

학습용으로는 성공률이 절반 근처인 문제를 고르는 기준을 적용해 외부 SETA의 33개를 포함한 151개 환경을 사용했다. 쉽게 풀기만 하거나 전혀 풀지 못하는 문제보다 성공과 실패를 비교할 여지가 있는 문제에 주목했다. 연구진은 이 선택의 발상이 선행연구에 있다고 밝혔다.

여기서 절반은 모든 모델에 맞는 영구적인 난이도 표가 아니다. 같은 문제도 모델 버전이나 도구 환경이 바뀌면 결과가 달라질 수 있다. 모델 카드 역시 하나의 벤치마크와 다섯 번의 학습 실행이라는 범위를 적었다. SOCRA는 공개 자료를 실행해 성능을 재현하지 않았다.

이번 공개가 연구팀에 더한 선택지는 실패를 지워버리지 않고 분석 재료로 남기는 일이다. 모델을 고르거나 학습 자료를 만드는 담당자는 성공률 옆에서 실패의 형태를 볼 수 있다. 성적표를 비교하는 업무가 작업 과정과 검증 기준을 들여다보는 쪽으로 넓어지는 변화다.

오답 기록이 많다고 AI가 자동으로 더 똑똑해지는 것은 아니다. 어떤 실패를 왜 학습에 쓰는지가 다음 판단이다. TermGrade는 그 판단에 필요한 환경과 기록을 함께 공개했다. 새로운 순위를 읽는 데서 한 걸음 더 나아가, 틀린 답 뒤에 무슨 일이 있었는지 확인할 길을 열었다.