AI 맹신하면 이렇게 됩니다 — 내 실수 모음 5가지

AI가 자신감 넘치게 알려주면 그냥 믿게 된다. 나도 그랬다. 근데 그 자신감이 문제다. ChatGPT가 존재하지 않는 논문을 인용하고, Claude가 없는 기능을 있다고 설명하고, 제미나이가 틀린 숫자를 정확한 것처럼 내놓는다.

이걸 업계에서는 ‘할루시네이션’이라고 부른다. 쉽게 말하면 AI가 그럴듯하게 지어내는 것이다.

“아, 나는 안 속겠지” 싶을 수 있다. 나도 그렇게 생각했다. 근데 당했다. 5번이나.

실수 1. 존재하지 않는 논문을 믿었다

보고서 하나 쓰는데 근거 자료가 필요했다. ChatGPT한테 “이 주제 관련 논문 3개 알려줘”라고 했더니 제목, 저자, 출판연도까지 깔끔하게 나왔다.

그대로 보고서에 넣었다. 나중에 확인해보니 3개 중 2개가 존재하지 않는 논문이었다. 제목도, 저자도, 전부 AI가 만들어낸 거였다.

이건 나만 당한 게 아니다. 2023년 미국에서 변호사가 ChatGPT로 판례를 검색해서 법원에 제출했다가 가짜 판례로 판명돼서 징계를 받은 사건이 실제로 있었다. 2026년인 지금도 이 문제는 완전히 해결되지 않았다.

교훈: AI가 알려주는 출처는 반드시 직접 검색해서 존재 여부를 확인해야 한다. 특히 논문, 판례, 통계 수치는 100% 교차 검증이 필수다.

Claude한테 “엑셀에서 이런 함수 가능해?”라고 물었다. “네, 가능합니다”라면서 함수 조합까지 알려줬다. 30분 동안 따라했다. 안 된다.

알고 보니 해당 함수 조합 자체가 엑셀에서 지원하지 않는 방식이었다. AI는 “이런 식으로 되면 좋겠다”는 걸 “됩니다”라고 대답한 거다.

더 화나는 건, “이거 안 되는데?”라고 다시 물으면 “죄송합니다, 맞습니다. 다른 방법을 알려드리겠습니다”라면서 또 다른 안 되는 방법을 알려준다는 거다.

교훈: AI가 “가능합니다”라고 하면 바로 따라하지 말고, “진짜 되는지 예시 보여줘”라고 한 번 더 물어봐야 한다. 그래도 확신이 안 서면 구글에 직접 검색하는 게 빠르다.

제미나이한테 “한국 1인 가구 비율이 몇 %야?”라고 물었다. “2025년 기준 약 34.5%입니다”라고 자신 있게 대답했다.

발표 자료에 넣었다가 팀장이 물었다. “이 출처가 어디야?” 통계청 가서 확인해보니 숫자가 달랐다. AI가 말한 34.5%는 어디서 나온 건지 알 수 없는 수치였다.

AI는 정확한 데이터를 검색하는 게 아니라, 학습한 데이터를 기반으로 “그럴듯한 숫자”를 생성하는 것이다. 통계 수치, 매출 데이터, 시장 규모 같은 숫자는 AI 답변을 절대 그대로 쓰면 안 된다.

교훈: 숫자가 나오면 무조건 1차 출처(통계청, 공식 보고서)에서 확인한다. AI한테는 “어디서 가져온 숫자야?”라고 출처를 반드시 물어본다.

영어 이메일을 Claude한테 번역시켰다. 자연스럽고 깔끔해 보여서 그대로 보냈다.

나중에 상대방한테 들었다. “중간에 이상한 문장이 있었는데 무슨 뜻이냐”고. 확인해보니 원문에 없는 내용을 AI가 친절하게 추가해놓은 거였다. 번역이 아니라 창작을 한 셈이다.

특히 비즈니스 이메일에서 이런 일이 생기면 신뢰도에 직접적으로 타격이 온다. AI 번역은 편리하지만, 원문과 대조하는 과정을 빼먹으면 안 된다.

교훈: AI 번역은 초안이지 최종본이 아니다. 특히 업무용 문서는 반드시 원문과 한 문장씩 대조해야 한다.

ChatGPT한테 “요즘 가장 핫한 AI 도구 추천해줘”라고 물었다. 5개를 추천해줬는데, 그중 하나는 이미 서비스가 종료된 도구였다. 다른 하나는 유료로 전환된 지 6개월이 넘었는데 “무료로 사용 가능합니다”라고 나왔다.

AI 모델에는 학습 데이터 마감일이 있다. 그 이후에 생긴 변화는 모른다. 실시간 검색 기능이 있는 모델도 있지만, 기본적으로 AI의 “최신”은 진짜 최신이 아닐 수 있다.

교훈: “최신”이라는 AI 답변은 의심부터 해야 한다. 추천받은 서비스나 도구는 반드시 공식 사이트에 들어가서 현재 상태를 확인해야 한다.

아니다. 정반대다. 쓰되 검증하라는 거다.

AI는 엄청나게 유능한 인턴이라고 생각하면 된다. 빠르고, 성실하고, 시키면 뭐든 해온다. 근데 가끔 자기도 모르게 지어낸다. 그걸 걸러주는 건 결국 사람의 몫이다.

내가 5번 삽질하고 나서 정한 규칙은 딱 3개다:

이 3가지만 지키면 AI의 90%는 안전하게 활용할 수 있다. 나머지 10%는? 그냥 삽질이라고 받아들이면 된다. AI 안 써도 삽질은 한다.

중요한 건 AI를 의심하는 게 아니라, AI의 답변을 확인하는 습관을 만드는 거다. 그게 2026년에 AI를 제대로 쓰는 법이다.