AI가 AI의 엔진을 짰다, 붐빌 때 더 빨랐다

AI가 답을 쓰는 동안, 다른 AI는 그 답을 더 빨리 내보낼 엔진을 짰다. 워싱턴대 SyFI 연구진이 10월 8일 공개한 VibeSys 실험이다. 대상은 Qwen3.5-397B-A17B와 AMD MI300A 네 대. 범용 서비스 출시가 아니라, 특정 모델과 장비에 맞춘 추론 기술의 연구 결과다.

추론엔진은 모델이 가진 지식을 바꾸기보다 질문을 받아 계산하고 답을 내보내는 일을 맡는다. 같은 모델을 써도 요청을 어떤 순서로 묶고 메모리를 어떻게 쓰느냐에 따라 서버가 감당하는 일이 달라진다. 연구진은 이 뒷단을 AI 에이전트가 직접 설계하고 고치게 했다.

한 에이전트가 다 해결한 것은 아니다. 개선 아이디어를 고르는 역할, 코드를 구현하는 역할, 속도를 재고 병목을 찾는 역할, 변경을 검토하는 역할을 나눴다. VibeSys는 결과를 코드 변경 기록에 연결한다. 다음 시도는 방금 무엇이 통했고 무엇이 실패했는지에서 출발한다.

비교 상대부터 손을 봐야 했다. 연구진에 따르면 SGLang의 해당 버전은 이 모델과 MI300A 조합에서 그대로 동작하지 않았다. 그래서 VibeSys로 이식하고 성능을 조정한 SGLang을 기준으로 삼았다. 새 엔진이 아무 손질도 안 한 기본 제품을 이겼다는 비교는 아니다.

연구진이 보고한 차이는 최고 유효 처리량 2.33배다. 여기서 유효 처리량은 정해진 지연시간 조건을 만족한 응답의 처리량이다. 답을 많이 찍어내도 기다림이 기준을 넘으면 같은 실적으로 세지 않는 방식이다. 한 사람의 답변이 무조건 2.33배 빨라졌다는 뜻과는 다르다.

두 엔진의 최고점도 다른 부하에서 나왔다. 맞춤 엔진은 동시 대화 96개에서, 조정한 SGLang은 48개에서 각각 최고 유효 처리량을 기록했다. 같은 이용자 수에서 잰 단일 속도비로 읽으면 비교의 뜻이 바뀐다. 이번 실험은 서버가 붐빌 때 감당할 수 있는 응답에 초점을 뒀다.

한산할 때는 이야기가 달라진다. 연구진은 동시접속이 적으면 조정한 SGLang이 더 빠르다고 밝혔다. 이번 목표가 최대 유효 처리량이어서 저부하의 대기시간까지 최적화하지 않았다는 설명이다. 많은 요청을 처리하는 능력과 적은 요청에 재빨리 답하는 능력이 같은 순위는 아니었다.

사람이 엔진 코드를 쓰지 않았다는 설명에도 준비 과정은 있다. 모델 가중치와 기준 구현, 시험 문제와 장비 조건이 에이전트에 주어졌다. 만든 결과는 기준 구현과 비교하는 정확성 검사도 거쳤다. 사람 없이 목표부터 검증까지 저절로 정했다는 이야기는 아니다.

SOCRA가 주목하는 변화는 모델을 고른 뒤에도 AI가 설계할 영역이 넓어진다는 점이다. 서비스의 이용 패턴과 장비에 맞춰 실행 방식을 다듬는 일이다. 다만 바쁜 서버에 유리한 선택이 작은 팀의 한산한 서비스에도 유리한지는 별개다. 어떤 부하를 목표로 삼느냐가 설계를 바꾼다.

이번 공개는 맞춤 엔진을 에이전트로 만드는 실험의 범위를 대형 모델로 넓혔다. 연구진은 구현 저장소도 연결했다. SOCRA는 코드를 실행하거나 결과를 독립 재현하지 않았다. 다른 모델·장비의 성능이나 운영비 절감은 아직 이 결과로 답할 수 없다. 확인된 것은 이 조합에서의 연구진 측정이다.