AI가 정답 대신 꼼수를 배우면…여기에 1,600만 달러

AI가 문제를 제대로 풀지는 않았는데 점수는 잘 받는다. 시험지의 빈틈을 노리는 이런 상황은 훈련을 엉뚱한 방향으로 이끌 수 있다. Preference Model은 이 문제를 다루는 기업으로 10월7일 1,600만 달러의 시드 투자와 Karotte 공개를 함께 알렸다.

투자는 a16z가 이끌었다. 회사가 공개한 Karotte는 새로운 챗봇이 아니라 AI의 강화학습 환경을 만드는 프레임워크다. 모델이 어떤 일을 하고 어떤 기준으로 점수를 받을지 설계하는 바탕을 제품으로 다룬다. 내부에서 쓰던 구성 요소를 밖으로 내놓은 것이다.

회사가 겨냥한 문제는 보상 해킹이다. 해야 할 과제를 해결하는 대신 평가 방식의 빈틈을 이용해 높은 점수를 얻는 행동을 뜻한다. 많은 훈련이 점수를 따라 반복되는 만큼, 점수와 실제 목표가 어긋나면 엉뚱한 행동을 더 잘 배우게 될 수 있다는 설명이다.

Karotte는 모델의 작업을 제한된 환경에서 실행하고 채점 전에 남은 작업을 정리하는 등의 방식을 제시했다. 세부 방어 구조는 회사가 설명한 범위다. 이를 모든 훈련 환경의 문제를 해결했거나 어떤 탈출도 불가능하게 만들었다는 보장으로 읽지는 않았다.

이를 이해하려고 가상의 시험을 생각해 보자. 문서를 분류하는 과제에서 분류 자체보다 채점 기준의 허점을 이용하는 길이 쉬우면 원하는 학습과 멀어진다. 특정 모델이 이번에 그런 행동을 했다는 보도가 아니라 훈련 환경이 중요한 이유를 풀어 본 예시다.

여기서 새로운 시장의 자리가 보인다. AI 회사가 더 나은 모델을 만들려면 모델에게 시킬 일과 점수를 매길 방식을 함께 준비해야 한다. Preference Model은 그 환경을 만드는 쪽을 사업으로 삼는다. 좋은 답을 내는 모델 뒤에 좋은 과제를 만드는 회사가 있는 셈이다.

공개된 도구라고 모든 운영이 바로 붙어 있는 것은 아니다. 회사는 대규모 환경 운영이 가능하다고 설명하면서도 클라우드 계산 공급자와의 기본 통합은 제공하지 않는다고 적었다. 코드를 사용할 수 있다는 사실과 실제 훈련 시스템이 완성됐다는 말 사이의 간격이다.

그 결과 평가의 위치도 달라진다. 제품 완성 뒤에 한 번 점수를 매기는 것에 그치지 않고, 모델이 반복해서 배우는 환경 안에 채점 규칙이 들어간다. 이 규칙이 원하는 행동을 밀어 주는지 확인하는 일이 제품 개발 자체가 된다는 점이 이번 사업의 특징이다.

이번 발표만으로 외부의 다양한 환경에서 얼마나 잘 방어하는지까지 확인되지는 않는다. 유료 상품의 가격과 고객별 계약 조건도 별개다. 투자와 공개는 확인된 변화지만, 모든 모델에 적용되는 독립 성능을 보여 주는 자료로 확대할 수는 없다.

Preference Model의 출발 소식은 AI 산업이 모델 하나로 끝나지 않는다는 점을 보여 준다. 학습할 자료와 실행할 환경, 보상을 주는 규칙에도 기업이 생긴다. 1,600만 달러가 향한 곳은 AI가 더 그럴듯하게 말하는 법보다 제대로 배우게 하는 조건이다.