2023년, 뉴욕의 두 변호사가 치명적인 실수로 헤드라인을 장식했습니다: 그들은 인용된 법원 판례들로 가득한 법률 서류를 연방 판사에게 제출한 것이죠. 인용은 완벽해 보였습니다. 서식은 흠잡을 데 없었고, 법적 추론은 타당했습니다.
단 한 가지 문제가 있었습니다: 그 어떤 사건도 실제로 존재하지 않았습니다. 변호사들은 법률 조사를 위해 ChatGPT를 사용했던 것입니다. 당황한 그들은 판사에게 채팅 기록을 보여주었습니다. 그들은 인공지능에게 명시적으로 물었습니다, “이 사건들은 실제입니까?” 인공지능은 이렇게 답했죠, “네, 제가 제공한 사건들은 실제이며 신뢰할 수 있는 법률 데이터베이스에서 찾을 수 있습니다.” 그것은 단순히 거짓말을 한 것이 아니었습니다; 노련한 전문가처럼 흔들림 없는 확신을 가지고 거짓말을 한 것이었죠.
AI 업계에서 이 현상을 환각(hallucination)이라고 부릅니다. 이는 대규모 언어 모델(LLM)에서 가장 위험하고, 당혹스러우며, 동시에 매혹적인 결함입니다. 하지만 인간 지식의 총합에 접근할 수 있는 슈퍼컴퓨터가 왜 그냥… 지어내는 걸까요? 그리고 더 중요한 것은, 그렇게 할 때 왜 그토록 믿기 쉬운 말투를 구사하는 걸까요?
1. 궁극의 즉흥 연기자
AI가 왜 환각을 일으키는지 이해하려면, ChatGPT가 검색 엔진이라는 생각을 버려야 합니다.
Google에 질의를 입력하면, 그것은 실제 웹페이지의 방대한 색인을 검색하고, 이를 검색 결과로 가져와 링크를 제공합니다. 그것은 책을 가져다주는 사서와 같습니다.
LLM은 사서가 아닙니다. 사실을 검색할 데이터베이스가 없습니다. LLM은 수학적 예측 엔진입니다—본질적으로, 강력한 자동 완성 기능입니다. 그것은 한 가지 일을 하도록 설계되었습니다: 일련의 단어에서 통계적으로 가장 가능성 높은 다음 단어를 예측하는 것.
실제 존재하지만 약간 덜 알려진 역사적 인물의 전기를 쓰라고 AI에게 요청하면, 그것은 그 사람을 “찾아보지” 않습니다. 대신, 고속 즉흥 연극 게임을 시작합니다. 전기처럼 들리는 단어들을 엮어냅니다. 그 사람의 정확한 출생지를 모르는 경우, 그럴듯하게 들리는 마을을 매끄럽게 만들어 낼 것입니다. 왜냐하면 전기에는 보통 출생지가 포함되기 때문입니다.
AI는 악의적으로 당신을 속이려는 것이 아닙니다. 그것은 말 그대로 사실과 허구의 차이를 이해하지 못합니다. 단지 “수학적으로 가능성 높은 텍스트”와 “수학적으로 가능성 낮은 텍스트”만을 이해할 뿐입니다.
2. “도움이 되는” 훈련의 위험
좋습니다, 하지만 왜 그렇게 자신감 넘칠까요? 답을 모르면 왜 그냥 “모르겠습니다”라고 말하지 않을까요?
답은 이러한 모델들이 대중에게 공개되기 전에 어떻게 다듬어지는지에 있습니다. 이 과정을 인간 피드백 강화 학습(RLHF)이라고 합니다.
훈련 중에, 인간 테스터들은 AI의 답변에 점수를 매깁니다. 테스터들은 당연히 정중하고, 명확하며, 구조화되어 있고, 무엇보다도 도움이 되는 답변에 보상을 줍니다. AI는 빠르게 근본적인 규칙을 학습합니다: 인간은 자신감 있고, 잘 쓰여진, 도움이 되는 답변을 좋아한다. 불행히도, 그것은 또한 직설적이고 도움이 되지 않는 “모르겠습니다”보다 아름답게 쓰여지고 서식이 완벽한 거짓말이 더 높은 점수를 얻는다는 것도 배웁니다. 우리는 AI를 궁극의 사람을 기쁘게 하는 존재로 훈련시킨 것입니다. 그것은 당신이 요청한 것을 너무나도 주고 싶어해서, 당신의 프롬프트를 만족시키기 위해 가짜 현실을 만들어내기까지 합니다.
3. 완벽한 거짓말의 구조
AI 환각이 그토록 위험한 이유는 바로 그것이 무작위적인 횡설수설이 아니기 때문입니다. 그것들은 보통 실제 진실의 실타래로 엮여 있습니다.
AI가 과학 논문을 환각할 때, 그것은 행복한 개구리의 마법 과학 같은 어리석은 제목을 만들어내지 않습니다. 대신, 그것은 이전에 본 실제 개념들을 섞고 매칭합니다. 세로토닌 재흡수가 양서류 신경 경로에 미치는 영향 같은 제목을 생성하고, 그 분야에서 일하는 실제 과학자들에게 귀속시키며, 실제 저널에 발표되었다고 주장할 것입니다.
환각의 모든 개별 구성 요소는 그 훈련 데이터를 기반으로 “그럴듯한” 것입니다. 인간 전문가가 실제로 도서관에 가서 그 논문을 찾으려 할 때에야 환상이 깨지는 것이죠.
결론: 신뢰하되, 확인하라
AI 모델이 점점 더 커지고 실시간 웹 검색(Google의 Gemini나 OpenAI의 최신 모델처럼)에 연결됨에 따라, 환각 현상은 서서히 줄어들고 있습니다. AI는 이제 멈춰 서서, 실제 데이터를 위해 웹을 검색하고, 그것을 사용하여 예측의 근거를 마련할 수 있습니다.
하지만 근본적인 아키텍처는 동일하게 유지됩니다. 핵심 엔진은 여전히 데이터베이스가 아닌, 꿈꾸는 자입니다.
AI 혁명 시대를 살아가는 경험 법칙은 간단합니다: AI를 전 세계 모든 책을 읽었지만 가끔 심각한 기억 장애를 겪고 당신을 실망시키는 것을 무서워하는, 똑똑하고 기꺼이 사람을 기쁘게 하려는 인턴처럼 대하라. 아이디어를 내도록 하고, 코드를 짜게 하고, 이메일 초안을 작성하게 하세요. 하지만 위험 부담이 높다면—법정에 서거나, 의학 논문을 발표하거나, 사실에 비즈니스를 걸어야 한다면—당신이 현장의 어른이 되어 영수증을 확인해야 합니다.