AI 할루시네이션, 왜 생기고 어떻게 줄일까
AI가 사실이 아닌 내용을 자신 있게 만들어 내는 할루시네이션은 단순한 버그가 아니라 확률적 언어모델의 성질에서 비롯된다. 오픈AI 연구는 훈련과 평가가 '모른다'보다 '추측'을 보상하기 때문이라고 설명하며, 원리상 완전히 없앨 수는 없다고 본다. 웹 검색 근거 활용, 출처 직접 확인, 불확실성 표현 요청, 교차 검증 같은 습관으로 오류를 크게 줄일 수 있다.
할루시네이션이란 무엇인가
챗봇에게 무언가를 물었을 때, 그럴듯하지만 사실이 아닌 답이 돌아온 경험이 한 번쯤 있을 것이다. 존재하지 않는 논문을 인용하거나, 법 조항 번호를 지어내거나, 실제로는 없는 기능을 있다고 설명하는 식이다. 이렇게 AI가 사실이 아닌 내용을 자신 있게 만들어 내는 현상을 할루시네이션(환각)이라고 부른다.
중요한 점은 이것이 단순한 버그가 아니라는 것이다. 대규모 언어모델은 근본적으로 '다음에 올 가능성이 높은 단어'를 예측하는 확률 기계다. 모델에게는 '진실'이라는 개념이 따로 있는 것이 아니라 '그럴듯함'이라는 개념만 있다. 그래서 아는 것과 모르는 것을 스스로 구분하지 못하고, 빈칸을 그럴듯한 말로 채워 넣는다.
왜 자꾸 지어낼까
Photo by Glenn Carstens-Peters on Unsplash
오픈AI가 2025년 9월 발표하고 이후 학술지 네이처에 실린 연구는 그 원인을 흥미롭게 짚는다. 연구진은 언어모델이 할루시네이션을 일으키는 이유가 훈련과 평가 방식이 '추측'을 보상하기 때문이라고 설명한다. 대부분의 성능 평가가 정답 개수(정확도)로 점수를 매기는데, 이런 방식에서는 모르는 문제에 "모르겠다"고 답해 0점을 받느니, 찍어서라도 답을 내는 편이 점수에 유리하다.
즉 모델은 시험 잘 보는 학생처럼, 확신이 없어도 일단 그럴듯하게 찍도록 학습돼 온 셈이다. 오픈AI 연구진은 이 문제를 풀려면 "모르겠다"는 정직한 답에 불이익을 주지 않도록 평가 기준 자체를 바꿔야 한다고 제안한다. 뒤집어 말하면, 지금 우리가 쓰는 도구들은 구조적으로 추측하는 성향을 안고 있다는 뜻이다.
실전에서 줄이는 법
Photo by Stephen Phillips - Hostreviews.co.uk on Unsplash
원리상 할루시네이션을 0으로 만드는 것은 불가능하다. 그래서 '없앤다'가 아니라 '전제하고 다룬다'는 태도가 현실적이다. 일상에서 AI 도구를 쓰는 사람이라면 다음 습관만으로도 오류를 크게 줄일 수 있다.
첫째, 웹 검색이나 자료 근거 기능을 켜라. 모델이 자기 기억이 아니라 검색된 문서를 바탕으로 답하게 하는 그라운딩은 가장 효과적인 대응으로 꼽힌다. 딥리서치나 출처 표시 기능이 있다면 적극 활용하는 편이 좋다.
둘째, 출처를 요구하고 직접 확인하라. "근거가 되는 링크를 함께 달아 줘"라고 요청한 뒤, 그 링크를 실제로 눌러 내용이 맞는지 확인하는 것이 핵심이다. 모델은 출처 제목이나 URL마저 지어낼 수 있으므로, 링크 제시 자체를 신뢰의 근거로 삼아서는 안 된다.
셋째, "모르면 모른다고 답해 줘"라고 명시하라. 확신이 없을 때 추측 대신 불확실함을 밝히도록 프롬프트에 조건을 걸면, 근거 없는 단정을 어느 정도 줄일 수 있다.
넷째, 중요한 답은 교차 검증하라. 같은 질문을 다시 물어 답이 흔들리는지 보거나, 다른 모델에 같은 질문을 던져 비교하는 것만으로도 신뢰도를 높일 수 있다. 답이 매번 달라진다면 모델이 실제로는 모르고 있다는 신호다.
결국은 사용자의 몫
Photo by Arisa Chattasa on Unsplash
법률 조항, 의료 정보, 통계 수치, 인용문처럼 틀리면 손해가 큰 정보일수록 AI의 답을 그대로 믿지 말고 원문과 대조하는 습관이 필요하다. 할루시네이션은 AI 기술이 성숙해도 완전히 사라지지 않는, 도구의 성질에 가깝다.
그러니 AI를 잘 쓴다는 것은 곧 '틀릴 수 있음을 전제하고 검증하는 절차'를 자기 작업 흐름에 끼워 넣는 일이다. 초안과 아이디어는 AI에게 맡기되 최종 확인은 사람이 한다는 원칙만 지켜도, 환각은 치명적 실수에서 감당 가능한 잡음으로 바뀐다.