원문: https://openai.com/index/why-language-models-hallucinate/ (translated by Gemini)

대규모 언어 모델(LLM)은 방대한 양의 텍스트 데이터로 학습하여 다음에 올 단어를 예측하도록 훈련됩니다. 하지만 이 과정은 모델이 사실과 다른 내용을 그럴듯하게 만들어내는, 이른바 ‘환각(hallucination)’ 현상을 일으키기도 합니다.

이 글에서는 환각이 왜 발생하는지 기술적으로 설명하고, 이 문제를 해결하기 위한 저희의 접근 방식을 공유하고자 합니다.

환각은 왜 일어나는가?#

환각은 모델의 근본적인 작동 방식에서 비롯됩니다. 모델은 ‘진실’을 이해하는 것이 아니라, 훈련 데이터에 나타난 통계적 패턴을 학습할 뿐입니다.

1. 훈련 데이터의 한계 모델은 인터넷, 책 등에서 수집한 방대한 텍스트로 학습합니다. 이 데이터에는 잘못된 정보, 편견, 모순된 내용이 포함되어 있을 수밖에 없습니다. 모델은 이 모든 것을 사실 여부와 관계없이 패턴으로 학습하기 때문에, 부정확한 정보를 사실인 것처럼 생성할 수 있습니다.

  • 예시: “달이 치즈로 만들어졌다"는 내용이 소설이나 농담 속에 자주 등장했다면, 모델은 이 표현이 ‘사실’이 아니더라도 특정 맥락에서 자연스러운 표현이라고 학습합니다.

2. 지식의 불완전한 표현 모델은 훈련 데이터를 압축하여 파라미터(가중치)라는 수십억 개의 숫자 안에 저장합니다. 이 과정에서 세상의 모든 지식을 완벽하게 저장하는 것은 불가능하며, 정보의 일부가 손실되거나 부정확하게 인코딩될 수 있습니다. 마치 책을 통째로 외우는 것이 아니라, 내용을 요약하며 일부 디테일을 잃어버리는 것과 같습니다.

3. 추론의 오류 (Inference-Time Errors) 모델이 답변을 생성하는 과정(추론)에서도 환각이 발생할 수 있습니다. 모델은 가장 ‘그럴듯한’ 단어를 순차적으로 선택하는데, 이 과정이 잘못된 방향으로 흐를 수 있습니다.

  • 예시: “프랑스의 수도는?“이라는 질문에 ‘파’ 다음에 ‘리’가 나올 확률이 가장 높지만, 만약 모델이 실수로 ‘런’을 선택했다면, 그 다음에는 ‘던’이 가장 자연스러운 단어가 되면서 “런던"이라는 완전히 틀린 답변을 완성하게 됩니다.

환각을 줄이기 위한 OpenAI의 접근법#

저희는 환각을 줄이기 위해 모델의 핵심 아키텍처부터 최종 응용 단계까지 여러 계층에 걸쳐 노력하고 있습니다.

1. 더 나은 모델 훈련

  • 약한 감독에서 강한 감독으로 (Weak-to-strong supervision): 더 작고 정확한 모델을 사용하여 거대한 모델을 감독하고 훈련시키는 연구를 진행 중입니다. 작은 모델의 정확한 판단을 큰 모델이 학습하게 하여, 사람이 직접 모든 것을 검토하는 것보다 더 효율적으로 모델의 사실성을 높일 수 있습니다.
  • 보상 모델 개선: 정답에 더 높은 ‘보상’을 주는 강화학습(RLHF)을 통해 모델이 더 사실적인 답변을 생성하도록 유도합니다. 저희는 모델이 단순히 정답을 맞히는 것을 넘어, 답변의 근거를 얼마나 잘 설명하는지까지 평가하는 보상 모델을 개발하고 있습니다.

2. 추론 과정에서의 능력 강화

  • 검색 증강 생성 (Retrieval-Augmented Generation, RAG): 모델이 답변을 생성하기 전에, 외부의 신뢰할 수 있는 최신 정보(예: 특정 웹사이트, 내부 문서 데이터베이스)를 먼저 검색하고 그 내용을 바탕으로 답변하게 하는 기술입니다. 이는 모델이 가진 내부 지식의 한계를 보완해 줍니다.
  • 단계별 추론 (Chain-of-thought): 복잡한 질문에 대해 모델이 즉시 답을 내놓게 하는 대신, 마치 사람이 문제를 풀 듯 단계별로 생각하고 추론하는 과정을 거치게 합니다. 이 과정을 통해 논리적 오류를 줄이고 더 정확한 결론에 도달할 수 있습니다.

3. 시스템 수준의 개입

  • 환각 경고: 모델이 자신의 답변에 대해 확신이 없을 때, “이 정보는 정확하지 않을 수 있습니다"와 같은 경고를 표시하도록 하여 사용자가 정보를 비판적으로 받아들이게 합니다.
  • 인용 및 출처 표시: ChatGPT가 특정 정보를 참조했을 때 그 출처를 함께 표시하여 사용자가 직접 사실을 확인할 수 있도록 돕습니다.

결론#

환각은 LLM이 가진 내재적인 한계이지만, 극복 불가능한 문제는 아닙니다. OpenAI는 모델의 기초 연구부터 실제 서비스 적용에 이르기까지 다각적인 접근을 통해 모델의 신뢰도를 높이고 있습니다. 이 문제는 AI 기술이 더 유용하고 안전해지기 위해 반드시 해결해야 할 핵심 과제이며, 저희는 연구 커뮤니티와 함께 이 문제를 해결하기 위해 지속적으로 노력할 것입니다.