내 컴퓨터에서 돌아가는 AI, 클라우드와는 무엇이 달라질까?

AI가 내 컴퓨터에서 돌아가면 비용도 보안도 한꺼번에 해결될까? 기기를 바꾸려는 사람이나 개발 일을 시작한 사람이라면 먼저 나눠 볼 질문이다. 어디에서 계산하는지, 어떤 자료를 읽는지, 어떤 명령을 실행할 수 있는지는 서로 같은 조건이 아니다.

Microsoft는 10월7일 Windows와 GitHub Copilot의 로컬 모델·샌드박스 도구 계획을 소개했다. 이달 말까지 작업에 따라 기기 안의 추론과 클라우드 모델을 조정하겠다는 안내다. 현재 모든 기기에서 같은 기능을 사용할 수 있다고 확인한 발표는 아니다.

로컬 추론은 모델의 계산을 기기에서 한다는 뜻이다. 하지만 에이전트가 원격 자료를 찾거나 클라우드 모델로 일부 작업을 보내면 세션은 네트워크와 이어진다. 회사도 로컬 추론만으로 전체 세션이 오프라인이 되는 것은 아니라고 설명했다.

도구 실행은 또 다른 층이다. 모델이 기기 안에 있어도 파일을 바꾸고 명령을 실행할 권한이 넓으면 위험은 남는다. 샌드박스는 이런 작업의 접근 범위를 제한하는 장치다. 계산 위치와 권한 정책을 나누면 로컬이라는 단어에 과도한 기대를 걸지 않게 된다.

성능을 이해할 때도 칩의 이름만 보기는 어렵다. 모델 자체 외에 운영체제와 앱, 실행 환경, 문맥 캐시가 메모리를 사용한다. 회사 안내는 긴 문맥과 메모리 압박이 작업 전체의 응답에 영향을 줄 수 있다고 설명한다. 용량 표기는 여유 공간과 같은 숫자가 아니다.

내 기기로 코드 파일 몇 개를 다루는 과제를 가정해 보자. 작은 수정은 잘 끝나는데 파일을 많이 읽는 작업은 느려질 수 있다. 이 장면은 이해를 위한 가정이며 제품을 직접 측정한 결과가 아니다. 내가 쓸 과제에서 확인해야 한다는 뜻으로 읽으면 된다.

비용 역시 구독료나 호출료 하나로 끝나지 않는다. 새 기기 구입과 전력, 설정과 유지에 드는 시간도 생각할 수 있다. 반대로 이미 가진 기기를 쓰는 작업은 조건이 다르다. SOCRA는 같은 작업을 완료하는 전체 비용으로 비교하자는 관점을 제안한다.

커리어를 준비한다면 로컬과 클라우드 중 하나를 정답으로 고르기보다 경계를 설명해 보자. 어떤 자료가 기기 밖으로 나가는지, 실패할 때 어디서 멈추는지, 작업이 끝났다는 증거가 무엇인지 적는다. 제품 홍보를 작업 설계의 질문으로 바꾸는 연습이다.

한국에서의 판매 조건과 가격, 내 계정의 기능 제공 시점, 회사의 자료 반출 규칙은 이 글에서 확인하지 않았다. 발표에 등장한 사양을 모든 노트북의 경험으로 확대하지 않는다. 메모리와 권한의 원리를 이해하는 일은 특정 제품 구매를 권하는 일과도 다르다.

로컬 AI의 변화는 계산 장소를 선택할 여지가 넓어지는 흐름으로 읽을 수 있다. 그 선택이 도움이 되는지는 과제와 자료, 권한, 비용을 함께 봐야 한다. 다음 도구를 배우기 전에 네 조건을 한 장에 정리해 보면 기술 뉴스가 내 판단의 언어로 바뀐다.