지난주에 글 하나를 쓰다 AI에게 물었습니다. “이 주제 관련 통계 있어?” 답이 멋졌습니다. 수치가 딱 떨어지고, 출처로 논문 제목과 저자 이름, 발표 연도까지 붙어 나왔습니다. 그대로 발행해도 될 만큼 깔끔했습니다.
그 논문을 검색해 봤습니다. 없었습니다. 저자 이름도, 그 제목의 논문도, 그 수치도, 어디에도 없었습니다. AI가 통째로 지어낸 겁니다. 그것도 한 점의 망설임 없이, 진짜 자료보다 더 그럴듯하게요.
저는 매일 AI로 블로그 글과 영상 대본을 만듭니다. 이런 일을 한두 번 겪고는 규칙을 하나 세웠습니다. AI가 내놓은 사실은, 검증 루프를 통과하기 전까지는 전부 거짓일 수도 있다고 본다. 이 글은 AI 환각을 발행 전에 걸러내려고 짠 루프를 어떻게 매일 돌리는지에 대한 1차 후기입니다. 어디서 짜깁기한 게 아니라 제 작업 흐름 그대로입니다.
AI 환각이란 — AI는 왜 자신 있게 틀리는가
먼저 짚을 게 있습니다. AI가 거짓말을 하려고 작정한 게 아닙니다.
이렇게 그럴듯한 가짜를 내놓는 현상을 보통 AI 환각(hallucination, 할루시네이션)이라고 부릅니다. IBM은 이를 그럴듯해 보이지만 사실이 아닌 답으로 설명하고, 존재하지 않는 논문을 만들어 내는 것을 대표 예로 듭니다.
흥미로운 건 왜 생기느냐입니다. OpenAI 연구진이 낸 논문 「Why Language Models Hallucinate」(Kalai 외, 2025)은 원인을 채점 방식에서 찾습니다. 대부분의 평가가 정답률로 점수를 매기다 보니, 모르는 문제를 “모른다”고 비워 두면 0점이지만 찍으면 맞을 수도 있습니다. 그래서 추측하는 쪽이 이득이 되도록 학습·평가돼 왔다는 것입니다. 시험에서 빈칸 대신 아무거나 찍는 학생과 같은 구조입니다. 즉 AI 환각은 고장이 아니라 채점 방식이 만들어 낸 통계적 결과에 가깝습니다.
여기서 제 결론은 단순합니다. AI 환각은 모델·시점에 따라 정도 차이는 있어도, 구조상 완전히 사라지긴 어렵습니다. 그러니 “좋은 모델 쓰면 되겠지”가 아니라, 틀릴 걸 전제로 거르는 장치를 내 쪽에 두는 게 맞습니다.
AI 환각 줄이는 검증 루프 — 제가 매일 돌리는 4단계
루프는 네 단계입니다. 앞 세 단계는 AI에게 시키고, 마지막은 사람이 합니다. 단계마다 제가 실제로 쓰는 프롬프트를 그대로 붙입니다.
1단계 — 출처를 표로 강제한다
답을 받자마자 따로 묻지 않습니다. 처음부터 출처를 토해 내게 시킵니다. 핵심은 “각 주장마다”입니다. 뭉뚱그리면 빠져나갑니다.
방금 답에서 사실·수치·인용 주장을 전부 뽑아 표로 만들어줘.
열: [주장] [출처 이름] [URL] [확인 날짜] [네 확신도(상/중/하)].
검색으로 실제 확인 안 되는 항목은 URL 칸에 '확인 불가'라고 적어.
지어내지 말고, 모르면 모른다고 해.
이 표 하나로 절반이 걸러집니다. ‘확인 불가’가 줄줄이 뜨거나 확신도 ‘하’가 많으면, 그 답은 출발점부터 흔들린다는 신호입니다.
2단계 — AI한테 스스로를 공격시킨다
같은 AI에게 자기 답을 옹호하라고 하면 끝까지 우깁니다. 그래서 역할을 뒤집습니다. “네 답을 무너뜨려 봐”라고 시킵니다.
방금 답에서 네가 틀렸을 가능성이 가장 큰 3가지를 직접 골라,
반대편 입장에서 강하게 반박해봐.
특히 수치와 출처가 진짜 존재하는지를 의심해서 공격해.
그다음, 그 반박을 견디지 못하는 주장은 답에서 빼.
적대적으로 시키는 게 핵심입니다. 그냥 “검토해 줘”라고 하면 “문제없습니다”가 돌아옵니다. 반박하라고 명령해야 자기가 지어낸 통계를 자기 입으로 의심합니다.
3단계 — 핵심 수치만 따로 교차 확인한다
여기서부턴 한 모델만 믿지 않습니다. 1~2단계를 통과한 답에서 가장 중요한 수치 한두 개만 뽑아, 다른 창이나 다른 모델, 또는 검색에 따로 던집니다.
다음 수치가 사실인지만 확인해줘: "[수치와 주장]".
근거 출처 1차 링크를 줘. 확인 안 되면 '확인 안 됨'이라고만 말해.
배경 설명은 빼고 사실 여부만.
같은 AI에 다시 물으면 자기 거짓말을 그대로 반복합니다. 그래서 출처를 바꿔야 합니다. 두 곳에서 수치가 어긋나면, 그게 바로 파고들 지점입니다.
4단계 — 사람이 마지막 도장을 찍는다
여기는 프롬프트가 아니라 제 눈입니다. 발행 버튼을 누르기 전, 짧은 체크리스트를 봅니다.
- 숫자·통계는 1차 출처(원문 페이지)를 내가 직접 한 번이라도 봤는가
- 인용한 논문·기사·인물이 실제로 존재하는가 (제목으로 검색해 확인)
- 날짜·고유명사·금액처럼 틀리면 바로 망신인 항목을 따로 다시 봤는가
이 마지막 단계는 못 건너뜁니다. 1~3단계가 가짜의 90%를 걷어내지만, 진짜 위험한 마지막 한 줄은 사람이 잡습니다. 이 루프를 여러 에이전트로 나눠 굴리는 방식은 AI 블로그 자동화 운영기에 정리해 뒀습니다.
before / after
차이를 한 장면으로 보여드리겠습니다.
그냥 물었을 때. “관련 통계 줘”라고만 했더니, AI가 “○○대학교 김△△ 교수의 2024년 연구에 따르면 73%가…”라고 답했습니다. 출처가 있어 보여서 더 위험했습니다. 그대로 썼으면 없는 교수와 없는 연구를 인용한 글이 발행됐을 겁니다.
루프를 걸었을 때. 1단계 표에서 그 항목의 URL 칸이 ‘확인 불가’, 확신도 ‘하’로 나왔습니다. 2단계에서 AI 스스로 “이 연구는 검색으로 확인되지 않아 존재하지 않을 가능성이 있다”며 빼라고 했습니다. 3단계에서 그 73%는 어디서도 안 나왔습니다. 결과적으로 그 문장은 발행 전에 통째로 사라졌습니다. 빈자리에는 제가 직접 찾은 진짜 출처를 넣었습니다.
핵심은, 가짜가 안 들어오는 게 아니라 들어와도 발행 전에 죽는다는 겁니다. AI 환각 자체를 0으로 만들 수는 없어도, 내가 발행하는 글에서 0으로 만드는 건 가능합니다. 같은 방식으로 문장의 어색함을 걷어내는 법은 AI 문체 글에서 다뤘습니다.
바로 쓰는 검증 프롬프트 템플릿
매번 4단계를 따로 치기 번거로우면, 답 받은 직후 이 한 덩어리를 붙여 보세요. 1~2단계를 한 번에 돌립니다.
지금부터 네 직전 답을 검증한다. 순서대로 해.
1) 답 속 모든 사실·수치·인용을 표로: [주장][출처][URL][확인날짜][확신도].
확인 안 되는 건 '확인 불가'로 표기. 절대 지어내지 마.
2) 네가 틀렸을 가능성이 큰 3가지를 직접 골라 반박해.
특히 출처·수치가 실제로 존재하는지 의심해서 공격해.
3) 위를 반영해, 검증된 주장만 남긴 '최종 안전 버전'을 다시 써.
확인 안 된 주장은 '미확인'으로 표시하거나 삭제해.
긴 글 전체를 한 번에 검증할 땐 이렇게 좁혀 씁니다.
아래 글에서 검증이 필요한 '사실 주장'에만 [확인필요] 태그를 달아줘.
의견·일반론에는 달지 마. 태그 단 항목은 따로 목록으로 모아줘.
목록만 따로 받으면, 제가 확인할 항목이 한눈에 정리돼 마지막 사람 검수가 빨라집니다.
자주 묻는 질문
Q. 출처 표를 시켰는데도 가짜 URL을 만들어 냅니다.
있습니다. 그래서 표가 끝이 아니라 시작입니다. 표의 URL은 ‘여기를 확인하라’는 후보일 뿐, 진짜 확인은 3·4단계에서 제가 합니다.
Q. 새 창에서 다시 물어도 같은 가짜가 또 나옵니다.
같은 모델은 같은 패턴을 반복합니다. 핵심 수치는 가급적 다른 모델이나 검색처럼 ‘출처가 다른 곳’에서 재확인하세요.
Q. 매번 이걸 다 하면 너무 느립니다.
저는 등급을 나눕니다. 발행물·제출물은 4단계 전부, 개인 메모나 초안은 1단계 표까지만. 틀리면 곤란한 글일수록 루프를 길게 겁니다.
Q. “모르면 모른다고 해”라고 했는데도 답을 지어냅니다.
한 번에 안 들으면 2단계의 적대적 반박을 꼭 거세요. 옹호가 아니라 공격을 시키면 모른다는 답이 훨씬 잘 나옵니다.
결론
AI 환각은 모델이 나빠서 생기는 게 아니라, 모른다고 말하기보다 그럴듯하게 찍는 쪽이 이득이 되도록 채점돼 온 결과입니다. 그러니 발행·제출 전에 출처 강제 → 적대적 반박 → 교차 확인 → 사람 검수, 이 루프를 한 번 통과시키는 것만으로 가짜의 대부분이 죽습니다. 검증을 AI에게 맡기되, 마지막 도장은 반드시 사람이 찍으세요.
이 글의 검증 방식은 제 1차 운영 기준이며, 2026년 7월 28일 기준으로도 같은 루프를 그대로 돌리고 있습니다. AI의 동작은 모델·시점에 따라 다를 수 있습니다. 절대적 정답이 아니라 매일 굴려 본 사람의 작업 흐름으로 봐 주세요.
👉 함께 보면 좋은 글: ChatGPT·Claude가 어제 한 일을 기억 못 할 때 — 메모리 파일 한 장으로 맥락 잇는 법 · 챗지피티 무료·유료 차이
함께 보면 좋은 상품
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.