경보를 읽던 AI가 지어냈다, 클라우드플레어는 순서를 바꿨다

보안 경보가 떴다는 사실은 공격이 성공했다는 뜻일까. Cloudflare의 첫 AI 조사 실험에서는 그 경계가 흐려졌다. 회사는 10월 7일 공개한 개발 글에서 한 에이전트에 조사를 통째로 맡겼더니 근거 없는 주장과 범위 이탈이 나타났다고 밝혔다. 해법은 더 긴 지시문보다 실행 순서의 변경이었다.

공개한 새 구조는 Managed Defense의 초기 베타다. 지원되는 애플리케이션 보안 경보와 사건을 대상으로 하며 모든 보안 업무의 자동화 선언은 아니다. 자료 수집과 조사 범위 고정을 코드가 먼저 하고, AI의 해석은 그 뒤에 시작하도록 역할을 나눴다.

그 순서가 중요한 이유는 단순하다. AI가 자료를 찾아오면서 판단까지 하면, 두 번의 답이 다른 이유가 생각의 차이인지 입력이 바뀌어서인지 알기 어렵다. 회사는 출처와 시점이 붙은 같은 근거 묶음을 다시 쓸 수 있게 했다고 설명했다. 비교할 대상을 먼저 고정한 셈이다.

모든 경보를 같은 깊이로 조사하지도 않는다. 반복되는 알려진 잡음은 규칙으로 먼저 분리해 문맥에는 남긴다. 남은 경보는 가벼운 모델로 분류하고, 깊은 검토가 필요한 건을 전문 에이전트들에 보낸다고 회사는 설명했다. 규칙 처리와 모델 분류, 자세한 조사를 나눈 설계다.

전문 에이전트는 네 갈래다. 트래픽, 해당 고객의 과거 기록, 전체 네트워크의 집계 신호, 이미 허용한 위협 정보를 나누어 살핀다. 마지막 종합 단계는 새 근거를 마음대로 가져오거나 허용된 분류 밖의 결론을 고를 수 없다고 회사는 설명했다.

AI 여럿이 같은 말을 한다고 조사 결과가 맞아지는 것은 아니다. 이번 구조에서 눈여겨볼 부분은 숫자보다 각자의 입력과 권한이다. 서로 어떤 자료를 읽었는지 남아야 다른 의견이 나온 이유도 따질 수 있다. 이는 회사가 공개한 구조를 읽은 SOCRA의 해석이다.

중간 작업이 실패했을 때의 처리도 분리했다. 공식 설명은 Workflows가 다음 단계 전에 완료 작업을 저장해, 이미 검증한 근거를 다시 쓸 수 있게 한다고 밝힌다. 일부 조회가 멈췄다는 이유로 이전에 확보한 자료까지 사라지지 않게 하는 방식이다.

특히 확인하지 못한 것과 찾아봤지만 없는 것을 구별한다. 자료가 부족하면 분류나 처리 방안을 추천하지 않는다고 명시했다. 조사 결과의 빈칸을 안전하다는 결론으로 채우지 않겠다는 설계다. 다만 이 설명만으로 모든 실제 오류가 사라졌다고 확인할 수는 없다.

마지막 결정은 사람에게 남는다. Managed Defense 분석가는 근거를 살피고 추가 조사하거나 권고를 고칠 수 있으며, 판단과 완화 조치의 책임을 진다. AI가 경보를 정리하는 역할과 고객 환경에 어떤 조치를 취할지 정하는 역할을 같은 권한으로 취급하지 않았다.

이번 공개는 가장 똑똑한 모델을 한가운데 놓는 것만으로 에이전트가 완성되지 않음을 보여 준다. 무엇을 먼저 고정하고, 실패를 어떻게 남기고, 누가 행동을 결정하는지가 제품의 일부가 됐다. 초기 베타의 실제 효과는 이후 운영 결과로 확인할 문제지만, 개발 방향은 구체적으로 드러났다.