무슨 문제인가요
AI에게 "○○ 논문 알려줘"라고 했더니 제목·저자까지 그럴듯한 논문을 알려줬는데, 검색해보니 세상에 없는 논문이었던 적이 있어요. AI는 "모른다"고 말하는 대신 그럴듯한 답을 만들어내는 습성이 있습니다. 이게 환각(hallucination)이에요.
잡아내는 습관 세 가지
1. "출처 있어?"라고 되묻기
답을 받으면 이렇게 물어보세요. "방금 답의 근거가 된 출처를 알려줘. 확실하지 않으면 확실하지 않다고 말해줘." 마지막 문장이 중요합니다. 이 말을 덧붙이면 AI가 "정확하지 않을 수 있다"고 한발 물러서는 경우가 많아요.
2. 숫자·이름·날짜는 무조건 검색으로 재확인
가격, 법 조항, 인물, 통계, 최신 소식 — 이 다섯 가지는 환각이 특히 잦은 영역이에요. 퍼플렉시티나 일반 검색에서 딱 하나만 교차 확인해도 사고를 막을 수 있습니다.
3. 반대로 물어보기
"위 답이 틀렸을 가능성이 있다면 어떤 부분이야?"라고 물으면, AI가 스스로 약한 부분을 짚어줍니다. 의외로 효과가 좋아요.
이건 기억해두세요
AI가 유창하게 답할수록 더 의심해야 합니다. 말투의 자신감과 정답률은 관계가 없어요. 참고용 초안은 마음껏 시키되, 남에게 전달되는 사실 정보는 꼭 한 번 확인하는 것. 이거 하나면 AI 때문에 망신당할 일은 거의 없습니다.