AI '지능폭발' 경고, 실무자가 점검할 세 가지
제프리 힌턴과 요슈아 벤지오를 비롯한 AI 연구자 22명이 9월 28일 케임브리지대 프로그램을 통해, AI가 스스로 연구를 자동화하며 '지능폭발'을 일으켜 인간의 통제를 벗어날 수 있다고 경고했다. 거대한 담론처럼 보이지만 근거는 사람 감독이 옅어진 채 AI가 처리하는 일의 비중이 빠르게 늘고 있다는 현장 지표여서, 개인 실무에도 그대로 옮겨온다. 업무에 AI를 깊이 쓴다면 사람 검토 절차, AI에 준 데이터 접근권한, 결과물 백업 세 가지가 자기 통제력을 지키는 최소 방어선이다.
연구자 22명이 실제로 경고한 것
2026년 9월 28일, 제프리 힌턴과 요슈아 벤지오를 비롯해 오픈AI·앤스로픽·마이크로소프트 소속을 포함한 AI 연구자 22명이 케임브리지대 AI 과학·정책 프로그램을 통해 공동 보고서를 냈다. 핵심 주장은 하나다. AI가 자기 자신을 연구·개발하는 일을 자동화하기 시작하면, 몇 년 걸릴 발전이 몇 달로 압축되는 '지능폭발'이 일어날 수 있고, 그러면 인간이 통제권을 잃을 위험이 있다는 것이다.
가장 극단적인 경우로 인류의 주변화나 멸종까지 언급했지만, 보고서의 무게는 종말론이 아니라 "한번 시작되면 손쓸 시간이 닫힌다"는 시점 경고에 있다. 그래서 이들은 AI 기업의 연구·개발 자동화 지표 의무 보고, 독립 감사관 상주, 연구 속도 제한과 일시정지 장치 같은 제도를 요구했다.
거대 담론을 실무 지표로 읽으면
Jakub Zerdzicki
보고서가 근거로 든 숫자는 추상적이지 않다. 앤스로픽 자료에서 승인된 코드 가운데 AI가 작성한 비중은 2025년 1월 한 자릿수에서 2026년 5월 80% 이상으로 올랐다. 사람이 가볍게만 감독한 채 AI가 처리한 연구·개발 업무 비중은 2026년 3월 1%에서 8월 26%로 뛰었다.
보고서는 이런 추세가 이어지면 몇 달씩 걸리는 AI 연구 프로젝트가 2028년 무렵 자동화될 수 있다고 봤다. 예측의 정확한 시점은 사람마다 갈리지만, 방향—사람 손이 닿는 지점이 줄어든다—은 이미 지표로 드러나 있다.
여기서 실무자가 챙길 신호는 '멸종'이 아니라 '감독이 옅어지는 속도'다. 회사 차원의 통제력 상실을 걱정하는 논리는, 내 업무에서 AI 결과물을 얼마나 확인 없이 흘려보내는가라는 질문으로 그대로 내려온다.
사람 검토 절차부터 다시 세운다
- AI가 만든 초안 중 사람이 반드시 검토할 항목을 미리 정한다. 숫자, 인용, 대외로 나가는 문구, 파일 삭제나 전송 같은 동작이 우선순위다.
- "AI가 했으니 맞겠지"를 승인 근거로 삼지 않는다. 근거 링크나 원본을 확인한 뒤 승인한다.
- 중요한 결정은 AI 요약만 보고 내리지 말고, 그 요약이 무엇을 생략했는지 한 번 되짚는다.
데이터 접근권한과 백업을 점검한다
AI 도구에 파일과 계정을 연결할 때, 그 도구가 무엇을 읽고 쓰고 삭제·전송할 수 있는지 권한 범위를 먼저 확인한다. 필요 이상으로 넓은 권한은 좁힌다. 자동화가 늘수록 한 번의 오작동이 지우거나 잘못 보내는 범위도 함께 커지기 때문이다. 원본 데이터는 AI 워크플로 바깥에 따로 백업해 두면, 결과물이 꼬여도 되돌릴 지점이 남는다.
AI 의존도, 이렇게 자가 진단한다
- AI 없이도 이 업무의 결과를 검증할 수 있는가, 아니면 맞는지조차 AI에 의존하는가.
- 지금 쓰는 AI가 갑자기 멈추면 며칠 안에 대체할 방법이 있는가.
- 최근 한 달간 AI 결과물을 원본 확인 없이 그대로 내보낸 적이 있는가.
셋 중 하나라도 걸린다면, 통제권은 이미 조금씩 넘어가는 중이다. 연구자들이 국가 단위에서 걱정한 문제를, 개인은 이 세 가지 점검으로 자기 책상 위에서 먼저 다룰 수 있다.