배경만 바꾸랬는데 로고도 바뀐다면, AI 편집은 성공일까

배경만 바꿔 달랬는데 로고까지 달라졌다면, 사진이 자연스러워도 편집에 성공했다고 할 수 있을까. 10월 8일 arXiv에 공개된 Rubric-CEPR 연구초안은 이 차이를 다룬다. AI가 스스로 만든 결과를 다시 학습할 때, 그럴듯하게 틀린 이미지를 정답으로 삼지 않으려는 접근이다.

연구가 나눈 질문은 세 가지다. 요청한 변화가 생겼는지, 사라져야 할 이전 상태가 남아 있지 않은지, 유지해야 할 내용이 보존됐는지다. 하나의 좋은 인상으로 모두 통과시키지 않는다. 새로 만든 그림의 자연스러움과 사용자가 지시한 편집의 정확성을 다른 기준으로 보는 것이다.

작업은 Planner와 Editor, Critic이라는 세 역할로 구성된다. Planner가 바꿀 대상과 영역, 필요한 상태와 보존할 내용을 정리한다. Editor는 여러 편집 후보를 만들고, 고정된 Critic이 그 후보들을 검사한다. 후보를 생성하는 일과 학습에 쓸 결과를 고르는 일을 나눈 구조다.

SOCRA의 가상 예로 상품 사진의 배경을 바꾸되 로고는 그대로 두라는 요청을 생각할 수 있다. 배경이 잘 바뀌어도 로고가 훼손됐다면 보존 조건에는 실패한다. 이 예는 논문의 실제 고객 사례가 아니다. 지시를 잘게 나누면 한 부분의 성공이 다른 부분의 손실을 가리지 않게 된다.

연구진이 둔 장치는 실패를 다른 점수로 만회하지 못하게 하는 문턱이다. 해당 편집에 적용되는 검사 하나라도 통과하지 못하면 그 후보를 제외한다. 보존 점수가 높다는 이유로 요청한 변경이 빠진 결과를 받아들이거나, 편집 점수가 높다고 손실을 덮어두지 않겠다는 설계다.

통과한 후보 가운데 가장 좋은 결과를 골라 작은 어댑터를 학습한다. 아무 후보도 통과하지 못하면 그 제안은 편집 학습의 목표를 만들지 않는다. Critic은 고정해 둔다. 다만 검사를 통과했다는 말은 연구가 정한 기준에 따른 판정이며, 사람의 모든 품질 판단과 같다는 보장은 아니다.

이 방식에도 출발점의 한계가 있다. 기존 편집기가 원하는 결과를 전혀 만들 수 없다면 후보를 많이 뽑는 것만으로 해결할 수 없다고 논문은 밝힌다. 내부 특징에 접근해야 한다는 조건도 있다. 따라서 어떤 상용 편집 도구에나 바깥에서 바로 덧붙일 수 있다고 읽어서는 안 된다.

주요 구현은 이미지에서 객체를 분리하는 작업을 다뤘다. 논문이 제시한 근거는 두 확산 방식 편집기와 자동 평가이며, 주요 결과는 한 원본 묶음에 대한 한 번의 적응이다. 스스로 끝없이 좋아지는 AI를 입증한 것은 아니다. 독립적인 사람의 평가와 장기 반복 학습은 추가 과제로 남았다.

디자인 실무에 던지는 질문은 결과가 마음에 드는지에서 끝나지 않는다. 무엇이 바뀌어야 했고 무엇이 그대로여야 했는지를 함께 확인하는 문제다. SOCRA는 이 연구가 생성 능력만큼 선별 기준도 중요하다는 점을 보여준다고 본다. 좋은 학습 자료를 만드는 일에 보존 조건이 들어온 셈이다.

이번 소식은 상용 앱의 새 버튼이 아닌 연구 방식의 공개다. SOCRA는 논문 속 편집을 실행하거나 품질을 독립적으로 재현하지 않았다. 아직 확인할 범위가 남아 있지만 질문은 분명하다. AI가 자기 결과를 다시 배울 때, 보기 좋은 이미지보다 지시를 제대로 지킨 이미지를 고를 수 있을까.