상상해 보세요. 당신이 프랑스어 회화를 배우기로 결심했습니다. 앱을 다운로드하고 몇 달 동안 연습한 끝에 기본을 마스터합니다. 자, 이제 당신이 마침내 “Où est la bibliothèque?”(도서관은 어디에 있나요?)라고 말하는 법을 배운 바로 그 순간, 갑자기 자전거 타는 법을 완전히 잊어버린다고 상상해보십시오.
인간에게 이것은 기괴한 공상과학 영화의 줄거리처럼 들립니다. 우리의 뇌는 지속적 학습에 놀랍도록 능숙합니다. 우리는 이전 기술을 덮어쓰지 않고도 새로운 기술을 정신적 도구 상자에 추가할 수 있습니다.
하지만 인공지능에게 이것은 매우 현실적이고 매우 좌절스러운 직업병입니다. 기계 학습 분야에서 이 현상은 극적으로 들리는 이름을 가지고 있습니다: 파괴적 망각(Catastrophic Forgetting).
왜 AI는 과거를 날려버리지 않고 새로운 것을 배울 수 없을까요? 그 해답은 AI의 “뇌”를 구성하는 정교하고 상호 연결된 수학에 있습니다.
1. 신경망에는 “폴더”가 없습니다
AI의 기억 상실증을 이해하려면, 먼저 컴퓨터 저장 방식에 대한 우리의 생각을 버려야 합니다.
새 파일을 노트북에 저장하면 폴더에 들어갑니다. 옆에 있는 폴더의 파일에는 영향을 미치지 않습니다. 수백만 장의 새 사진을 추가해도, 오래된 워드 문서는 완벽하게 그대로 남아 있습니다.
ChatGPT나 Claude와 같은 대규모 언어 모델(LLM)은 폴더, 하드 드라이브, 또는 사실 데이터베이스를 가지고 있지 않습니다. LLM은 매개변수(parameters, 또는 가중치)라고 불리는 거대한 숫자들의 그물망입니다. AI가 전체 인터넷으로 훈련될 때, 그것은 수십억 개의 이 숫자들을 조정하여 인간 언어를 예측할 수 있는 정교한 통계적 균형을 형성할 때까지 조정합니다.
수십억 개의 상호 연결된 실로 만들어진 천장에 매달린 거대하고 완벽하게 균형 잡힌 모빌(mobile)을 생각해 보십시오.
2. 덮어쓰기 문제
자, 이제 모든 것에 대해 조금씩 알고 있는 표준 AI를 가지고, 당신이 그것을 심장학(cardiology)의 절대적 전문가로 만들고 싶다고 결정했다고 가정해 봅시다. 수천 권의 의학 교과서를 공급하고 배우라고 요청합니다.
AI가 이 새로운 의학 데이터를 학습할 때, 그것은 단순히 모빌에 “새 실을 추가”하는 것이 아닙니다. 새로운 통계적 패턴을 위한 공간을 만들기 위해 기존의 실들을 조정해야 합니다.
네트워크가 완전히 상호 연결되어 있기 때문에, 그물망의 “심장학” 쪽을 강하게 당기면 전체 구조가 이동하게 됩니다. 이전에 파이썬 코드 작성, 시 생성, 또는 체스 플레이에 완벽하게 조정되었던 숫자들이 뒤틀리게 됩니다.
AI가 천재 심장학자가 될 때쯤, 당신이 간단한 하이쿠를 써달라고 요청하면 의학적 횡설수설을 출력할지도 모릅니다. 새로운 지식이 말 그대로 자리를 만들기 위해 옛 지식을 짓눌러 버린 것입니다. 그것은 자전거 타는 법을 잊어버린 것입니다.
3. 왜 그냥 뇌를 계속 키우지 않나요?
아마 이렇게 생각하실지 모릅니다: “공간이 부족하면 AI를 더 크게 만들면 되잖아!”
불행히도, 거대한 AI 모델을 처음부터 훈련시키는 데는 수천만 달러의 비용이 들고 수개월 동안 실행되는 거대한 GPU 창고가 필요합니다. AI에게 새로운 기술을 가르칠 때마다 매번 새로운 뇌를 만들 수는 없습니다.
AI 개발자들은 미세 조정(fine-tuning)이라는 과정에 의존합니다. 사전 훈련된 모델을 가져와 특정 주제에 대해 소규모 재교육 과정을 제공하는 것이죠. 하지만 이 과정에서 새 데이터와 함께 옛 데이터를 믹스하는 데 엄청나게 주의하지 않으면, 파괴적 망각이 거의 즉시 발동합니다.
4. 어떻게 해결할까요? (오픈북 테스트)
모델을 처음부터 재훈련하는 것은 너무 비싸고, 미세 조정은 파괴적 기억 상실 위험이 있기 때문에, 기술 산업은 대부분 다음과 같은 훌륭한 우회 방법으로 전환했습니다: RAG (검색 증강 생성, Retrieval-Augmented Generation).
개발자들은 AI가 핵심 뇌 화학을 변경하여 새로운 정보를 암기하도록 강제하는 대신, AI가 읽을 수 있는 외부 데이터베이스를 제공합니다.
- RAG 없이 (암기): AI는 의학 교과서를 배우려고 시도하고, 내부 숫자들을 뒤섞으며, 프랑스어를 말하는 법을 잊어버립니다.
- RAG와 함께 (오픈북 테스트): AI는 그대로 유지됩니다. 당신이 의학 질문을 할 때, 시스템은 의학 데이터베이스를 검색하고 관련 단락을 찾아 AI에게 건네주며 말합니다. “이 단락을 읽고 사용자의 질문에 답하세요.”
RAG는 AI가 내부 가중치를 전혀 변경하지 않고도, 회사의 비밀 HR 정책이나 오늘 뉴스와 같은 새로운 것들을 즉시 “알게” 할 수 있습니다. 이것은 기억을 표준 검색 엔진에 아웃소싱함으로써 기억 상실 문제를 완전히 우회합니다.
파괴적 망각은 신경망이 인간의 뇌에서 영감을 받았음에도 근본적으로 다른 물리 법칙으로 작동한다는 것을 상기시켜 주는 겸손한 경고입니다. 인간은 적응력이 뛰어난 평생 학습자입니다. AI 모델은 그 핵심에 있어, 훈련받은 정확한 수학의 취약하고 고정된 스냅샷입니다.
연구자들이 AI에게 진정한 “신경가소성(neuroplasticity)”—옛 기술을 버리지 않고 새로운 기술을 배울 수 있는 능력—을 부여하는 방법을 알아낼 때까지, 이 훌륭한 슈퍼컴퓨터들은 하루를 무사히 보내기 위해 계속해서 오픈북 테스트가 필요할 것입니다.