클로드 군함 추적, 앤트로픽은 이렇게 막았다
앤트로픽이 위협 인텔리전스 팀과 행동 기반 자동 탐지로 이란 연계 계정의 미 해군 표적 정보 작성 시도를 잡아내 정지했다. 이는 내 계정을 지키는 계정 보안이 아니라, 서비스를 악의적 목적에 쓰는 행위를 감시하는 별개 층위의 문제다. AI 서비스의 대응 수준은 투명성 보고서, 자동 탐지 유무, 우회 대응, 프라이버시와의 균형으로 가늠할 수 있다.
무엇을, 어떻게 잡아냈나
앤트로픽이 9월 발표한 위협 인텔리전스 보고서에서 이란과 연계된 것으로 추정되는 계정을 적발해 정지했다고 밝혔다. 이 계정은 클로드를 이용해 중동에 주둔한 미 해군의 위치와 표적 정보를 정리한 핸드북을 만들려 했다. 공개된 군사 사진 캡션에서 인원 명단을 뽑고, 함선·항공기 트랜스폰더 식별자와 상업용 위성영상 조회 스크립트, 미군 이동을 노출하는 웹사이트 목록을 종합하도록 지시한 정황이다.
이걸 잡아낸 방식이 핵심이다. 앤트로픽은 사람으로 구성된 위협 인텔리전스 팀과, 의심스러운 사용 패턴을 학습한 자동 탐지 시스템을 함께 쓴다고 설명했다. 생물·화학 같은 고위험 영역에는 전용 분류기를 두는데, 이번 보고서의 생물학 위협 사례는 이 분류기가 요청을 막으면서 처음 드러났다. 위험 신호가 잡히면 계정을 정지하고, 비슷한 활동을 잡기 위한 추가 모니터링을 붙인 뒤, 정부·업계와 정보를 공유하는 순서로 대응한다.
다만 차단이 끝은 아니다. 보고서는 적대 세력이 VPN과 프록시로 접속지를 숨기고, 탈취한 API 키를 돌려 쓰고, 신원확인 절차를 위장해 우회를 시도했다고 전한다. 탐지와 우회가 계속 맞부딪히는 구조다.
내 계정 안전과는 다른 문제다
Brett Sayles
여기서 흔히 헷갈리는 지점이 있다. 이번에 작동한 것은 '계정 보안'이 아니라 '오남용 탐지'다. 둘은 목적이 다르다.
계정 보안은 비밀번호와 2단계 인증, 피싱 차단처럼 남이 내 계정을 훔쳐 쓰지 못하게 막는 일이다. 방어의 대상이 외부 침입자다. 반면 오남용 탐지는 계정 주인 본인, 혹은 정상 사용자로 위장한 사람이 서비스를 무기 개발이나 감시 같은 악의적 목적에 쓰는지를 살핀다. 방어의 대상이 사용 목적인 셈이다.
그래서 이번 조치가 일반 사용자의 평범한 대화를 들여다본다는 뜻은 아니다. 표적이 된 것은 미군 표적화나 무기 설계처럼 명백한 위해 목적의 사용이었다. 다만 사용 목적을 살핀다는 속성상, 오남용 탐지는 언제나 대화 프라이버시와 긴장 관계에 놓인다. 정당한 사용을 잘못 막는 오탐을 얼마나 줄이느냐가 서비스의 성숙도를 가른다.
AI 서비스의 대응 수준, 이렇게 본다
특정 서비스가 악용에 얼마나 대비돼 있는지 가늠하려면 몇 가지를 보면 된다.
첫째, 투명성 보고서를 정기적으로 내는지다. 무엇을 탐지하고 어떻게 막았는지 공개하는 회사는 대응 체계가 돌아가고 있다는 뜻이다. 둘째, 사람 검토에만 기대지 않고 자동 분류기나 행동 기반 탐지를 갖췄는지다. 셋째, 정부·업계와 위협정보를 공유하는지다. VPN이나 키 탈취 같은 우회는 한 회사만으로는 막기 어렵기 때문이다.
반대로 사용자 입장에서 함께 볼 것은 프라이버시와의 균형이다. 오탐으로 정상 사용까지 막히면 안 되고, 어떤 데이터를 어떤 기준으로 검토하는지가 설명돼 있어야 한다. 보안 연구나 취재처럼 위험 소재를 정당하게 다루는 사용까지 뭉뚱그려 차단하지 않는지, 이의 제기 통로가 있는지도 성숙도를 보여주는 신호다. 이번 보고서는 상용 AI가 이미 안보 영역의 표적이 됐음을 보여준다. 그렇다면 서비스를 고를 때도 기능뿐 아니라 이 대응 체계가 어떻게 작동하는지를 함께 따져보는 편이 현실적이다.