카카오의 AI 실험, 큰 모델을 돌리기 전에 비용부터 줄였다

큰 AI를 학습시키려면 먼저 작은 실험을 잘해야 한다. 카카오는 10월 8일 언어모델링 학회 COLM에서 학습 설정을 찾는 비용과 모델의 크기를 줄이는 연구를 발표했다고 밝혔다. 더 큰 장비를 확보하는 이야기 뒤에서, 같은 자원으로 시행착오를 줄이는 경쟁도 벌어지고 있다.

발표에는 비용 약 1%라는 숫자가 등장한다. AI 전체를 기존 비용의 100분의 1로 만들었다는 뜻은 아니다. 큰 모델에 적합한 학습률을 찾아내는 탐색 비용을 전체 학습 비용과 비교한 설명이다. 실제로 데이터를 넣어 모델을 학습시키는 비용은 별도로 남는다.

학습률은 AI가 한 번 배울 때 내부 값을 얼마나 크게 바꿀지 정하는 설정이다. 너무 성급하게 바꾸면 학습이 흔들리고, 지나치게 조금씩 바꾸면 시간이 걸린다. 문제는 큰 모델을 매번 끝까지 학습시켜 보며 이 값을 찾기에는 실험 한 번의 부담이 크다는 점이다.

연구진은 작은 MoE 모델에서 찾은 설정을 더 큰 모델로 옮기고, 학습 데이터가 늘어날 때의 적정 값도 추정하는 두 단계 방법을 제시했다. MoE는 여러 부분 중 일부를 골라 계산하는 구조다. 작게 얻은 결과가 큰 규모에서도 통하도록 실험의 연결 방식을 설계한 것이다.

회사에 따르면 이 방법은 카나나 모델의 사전학습에 실제 적용됐고, 10조 토큰까지 안정적인 학습에 활용됐다. 다만 이번 학회 발표가 논문의 첫 공개는 아니다. 해당 학습률 연구의 arXiv 초판은 8월 20일 제출돼 있다. 이번 소식은 10월 학회에서 소개한 연구 성과다.

함께 소개한 BBT는 다른 지점을 건드린다. 단어나 단어 조각을 다루는 커다란 어휘 구조 일부를 바이트 기반 구성으로 바꾸면서, 여러 문자를 묶어 처리하는 장점을 유지하는 방식이다. 학습 설정을 찾는 앞선 연구와 달리, 모델 안에서 글자를 표현하는 구조를 바꾼다.

두 연구를 하나의 절감률로 합칠 수는 없다. 하나는 큰 학습을 시작하기 전의 탐색을 다루고, 다른 하나는 모델의 입력·출력 구조를 다룬다. 적용한 모델과 실험 조건도 따로 봐야 한다. 작은 실험이 효율적이라는 사실만으로 모든 서비스의 답변 속도가 빨라졌다고 말할 수는 없다.

그래도 개발 현장에서 던지는 질문은 구체적이다. 제한된 계산 자원을 같은 설정의 반복 실험에 쓸지, 더 많은 가설을 시험하는 데 쓸지다. SOCRA가 이번 발표에서 주목하는 변화는 바로 그 배분이다. 모델 크기뿐 아니라, 크기를 키우기까지의 과정도 기술 경쟁의 대상이 된다.

카카오의 설명은 연구와 사전학습 단계의 성과다. 소비자가 쓰는 앱의 새 기능이나 이용료 변경을 발표한 것은 아니다. 실제 서비스에 적용했을 때의 처리 시간과 비용, 다양한 언어에서의 품질은 별도 확인이 필요하다. 연구의 효율과 사용자가 느끼는 개선 사이에는 제품에 붙이는 과정이 남는다.

AI 경쟁은 큰 모델의 점수표만으로 끝나지 않는다. 카카오가 이번에 꺼낸 카드는 그 모델을 만들기 전과 만드는 도중에 무엇을 아낄 것인가다. 탐색 비용이 줄면 같은 예산으로 다른 가능성을 시험할 여지가 생긴다. 그 여지가 실제 제품 개선으로 이어지는지가 다음에 확인할 변화다.