AI가 요약한 연구 뉴스, 과장 거르는 법

AI 요약은 원문의 '아직'을 지운다

"간을 되살리는 물질을 찾았다"는 제목의 연구 기사를 AI 요약으로 접했다고 해보자. 요약은 대개 결론만 깔끔하게 추린다. 문제는 그 과정에서 원문에 붙어 있던 단서가 함께 사라진다는 점이다. 원 논문은 보통 "쥐 실험에서", "세포 수준에서", "추가 연구가 필요하다"는 한계를 분명히 달아 둔다. 요약은 이런 표현을 군더더기로 보고 걷어내는 경향이 있다.

그 결과 '가능성'이 '성과'로, '동물에서 관찰됨'이 '효과 입증'으로 한 칸씩 올라선다. AI가 거짓말을 해서가 아니라, 짧게 줄이는 과정 자체가 불확실성을 깎아내기 때문이다. 과장을 가려내는 첫걸음은 이 구조를 아는 것이다.

왜 동물·세포 단계 결과가 부풀려지나

Erik Mclean

치료법은 세포·시험관 실험에서 출발해 동물실험(전임상), 그다음 사람을 대상으로 한 임상시험 1상·2상·3상을 거쳐 허가에 이른다. 뉴스가 떠들썩하게 다루는 '획기적 연구'의 상당수는 이 사다리의 아래쪽, 즉 세포나 동물 단계에 머물러 있다.

이 단계가 왜 결론이 아닌지는 숫자가 말해 준다. 한국바이오협회가 인용한 미국바이오협회 분석에 따르면, 임상 1상에 진입한 신약 후보가 최종 허가까지 가는 확률은 약 7.9%에 그친다. 평균 개발 기간은 10년을 넘는다. 사람 대상 시험에 들어간 뒤에도 90% 이상이 중간에 멈춘다는 뜻이다. 가장 많이 걸러지는 구간은 효능을 본격 검증하는 2상이다.

동물에서 사람으로 넘어가는 문턱은 더 높다. 2024년 한 분석은 동물에서 시험된 치료법 376건을 추적했는데, 규제 승인까지 도달한 비율은 약 5% 수준이었다. 번역 성공률은 질환과 정의에 따라 크게 달라지지만, 공통된 교훈은 분명하다. '쥐에서 됐다'는 '사람에서 된다'의 보증수표가 아니다.

AI에게 이렇게 물어라

AI 요약을 그대로 믿는 대신, 요약을 만든 그 AI에게 되물으면 빠진 맥락을 상당 부분 복구할 수 있다. 순서대로 질문해 보자.

• "이 연구는 사람 대상인가, 동물·세포 대상인가?" — 가장 먼저 단계를 못 박는다.
• "임상시험이라면 몇 상인가, 아니면 전임상 단계인가?" — '임상'과 '전임상'은 신뢰도가 전혀 다르다.
• "표본은 몇 명(또는 몇 마리)이고 대상은 누구인가?" — 소수·특정 집단 결과는 일반화하기 어렵다.
• "이 결과가 실제 치료로 쓰이려면 남은 단계는 무엇인가?" — '지금'과 '언젠가'의 거리를 드러낸다.
• "원문에서 저자들이 밝힌 한계(limitations)를 그대로 옮겨 달라" — 요약이 지운 단서를 되살린다.

마지막으로 "이 내용의 원문 출처와 게재 저널, 동료심사 여부를 알려 달라"고 요청한다. AI가 출처를 제시하지 못하거나 애매하게 답하면, 그 요약은 더욱 그대로 믿기 어렵다.

요약을 믿기 전, 원문에서 확인할 것

AI의 답으로 방향을 잡았다면, 중요한 건강 정보일수록 원문(또는 원문을 인용한 보도)에서 직접 확인하는 편이 안전하다. 다음 다섯 가지만 봐도 과장과 사실을 어느 정도 가를 수 있다.

• 연구 대상: 사람인가, 동물인가, 세포·시험관인가
• 규모: 표본 수가 수십 명 수준인지, 수천 명 규모인지
• 설계: 무작위대조시험(RCT)인지, 단순 관찰·상관관계 연구인지
• 인과 여부: "관련이 있다"를 "원인이다"로 바꿔 쓰지는 않았는지
• 자금과 이해관계: 연구비를 댄 곳이 결과의 수혜자는 아닌지

정리하면, AI 요약은 뉴스를 빠르게 훑는 데는 유용하지만 '얼마나 확실한가'를 판단해 주지는 못한다. 그 판단은 연구가 사다리의 어느 칸에 있는지를 확인하는 독자의 몫이다. 특히 내 몸에 적용할지 모를 건강 정보라면, '동물·세포 단계'라는 한 줄을 확인하는 수고가 섣부른 기대와 실망을 모두 줄여 준다.

출처

1. 신약 개발 임상 단계별 성공률(LOA)과 개발 기간 분석 (한국바이오협회 인용 보도)
2. Just 5% of therapies tested in animals end up as human drugs, new study shows