AI 할루시네이션이란? 원인/ 예시/ 해결방법

챗GPT 등 생성형 AI가 틀린 정보를 맞는 정보인 것 처럼 답해서 답답하거나 혼란스러웠던 경험이 있으신가요?

 

한 사례에 따르면 "세종대왕 맥북 던짐 사건 알려줘" 라고 물었더니, 챗GPT가 엉뚱한 답변을 내놓은게 화제가 되기도 했습니다. 이러한 답변이 바로 대표적인 할루시네이션의 예시입니다.

AI 할루시네이션이란?

AI가 정보를 출력해내는 과정에서 발생하는 오류로, 의도적으로 생성되는 허위 정보를 마치 '사실'처럼 말하는 현상을 말합니다.

역사적 사실을 왜곡하거나, 가짜뉴스 생성, 이미지 생성 시 현실 법칙에 위배된 이미지 등을 제공하는 것이 예시입니다.

개인적인 사용에서는 혼란에서 피해가 멈추지만, 의료·법률·금융·경제 분야 등 중요한 의사 결정에서 할루시네이션으로 부적절한 결정을 내릴 경우, 경제적 손실이나 법적 문제까지 이어질 수 있습니다.

실제로, 메타 AI 연구팀은 '갤럭티카'라는 과학 AI챗봇을 개발했지만, 허위논문을 기반으로 부정확적인 답변을 하여 출시한 지 3개월만에 페이지가 폐쇄된 상황입니다.

 

AI 할루시네이션 예시

AI 할루시네이션은 다양한 형태로 나타날 수 있습니다. 몇 가지 일반적인 예시는 다음과 같습니다.

• 잘못된 예측: AI 모델에서 발생 가능성이 낮은 이벤트가 발생할 것이라고 잘못 예측할 수 있습니다. 예를 들어 날씨 예측에 사용되는 AI 모델이 일기 예보와 다르게 내일 비가 올 것이라고 예측할 수 있습니다.
• 거짓양성: AI 모델을 사용할 때 AI 모델이 위협이 아닌 것을 위협으로 식별할 수 있습니다. 예를 들어 사기를 감지하는 데 사용되는 AI 모델이 정상 거래를 사기로 신고할 수 있습니다.
• 거짓음성: AI 모델이 위협을 정확하게 식별하지 못할 수 있습니다. 예를 들어 암을 감지하는 데 사용되는 AI 모델이 암 종양을 식별하지 못할 수 있습니다. 

이와같은 오류는 불충분한 학습 데이터, 모델의 잘못된 가정, 모델 학습에 사용된 데이터의 편향 등 다양한 요인으로 인해 발생할 수 있습니다.

---

AI 할루시네이션은 어떻게 발생할까?

1) 결함이 있는 학습 데이터

AI 모델은 데이터로 학습되며 데이터에서 패턴을 발견하여 예측하는 방법을 학습합니다. 이 때, 학습 데이터가 불완전하거나 편향되거나 결함이 있으면 AI 모델에서 잘못된 패턴을 학습하여 부정확한 예측이나 할루시네이션이 발생할 수 있습니다.

예로 암세포를 식별하는 과정에서, 정상 조직의 데이터가 포함되어 있지 않으면 정상 조직이 암에 걸렸다고 AI 모델이 잘못 예측할 수 있습니다. 

AI는 컴퓨터 기계이기에 인간과 달리 사실일 가능성이 큰 문장에 대해서는 끊임없이 뱉어내도록 설계돼 있고, 잘 알지 못하는 질문, 등 학습되지 않은 정보에 대해서는 기존에 학습된 데이터에 기반한 '추측'을 통해 제공하기에 오류를 쉽게 범하게 됩니다.

 

2) 그라운딩 부족

그라운딩이란, 입력된 데이터에 포함된 정보만을 기초하여 답변하도록 하는 것을 말합니다.

그라운딩의 결여로 인해 모델이 타당해 보이지만 실제로는 부정확하거나 관련이 없거나 잘못된 출력을 생성할 수 있습니다. 심지어 링크가 존재하지 않았던 웹페이지로 연결되도록 조작할 수도 있습니다.

 

AI 할루시네이션의 잠재적 원인을 파악하는 것은 AI 모델을 사용하는 개발자에게 중요합니다. 개발자는 학습 데이터의 품질과 완전성을 신중하게 고려하고 적절한 그라운딩을 보장하면 AI 할루시네이션 위험을 최소화하고 모델의 정확성과 신뢰성을 보장할 수 있습니다.

---

AI 할루시네이션을 방지하는 방법

1) 가능한 결과 제한

AI 모델을 학습시킬 때는 모델이 예측할 수 있는 가능한 결과의 수를 제한하는 것이 중요합니다. 이를 위해 '정규화'라는 기법을 사용할 수 있습니다. 정규화는 너무 극단적인 예측을 하는 경우 모델에 페널티를 줍니다. 이렇게 하면 모델이 학습 데이터 과적합을 통해 잘못된 예측을 하는 것을 방지할 수 있습니다.

 

2) 학습 데이터 품질 향상

AI 모델을 학습시킬 때는 모델이 수행할 태스크와 관련된 데이터를 사용하는 것이 중요합니다. 예를 들어 암을 식별하도록 AI 모델을 학습시키는 경우 의료 이미지 데이터 세트를 사용해야 합니다. 또한 학습 데이터에서 오류와 편향을 제거하면 더 정확한 결과를 생성할 수 있습니다.

 

3) 프롬프트 엔지니어링

AI 모델을 학습시킬 때 모델이 따를 프롬프트(템플릿)를 만들면 유용합니다. 예를 들어 텍스트를 작성하도록 AI 모델을 학습시키는 경우, 제목/서론/본론/결론 구조로 구성된 템플릿을 만들 수 있습니다. 명확한 지시로 사실만을 답하라고 하거나, 단계별 접근으로 복잡한 AI가 각 단계를 차례로 처리하게 하여 답변의 정확성을 높일 수 있습니다.

 

4) 파인튜닝(Fine-tuning)

파인튜닝은 ChatGPT나 그 외 사전 훈련된 대규모 범용 언어 모델을, 특정 작업이나 도메인에 맞게 관련 내용을 추가로 학습시키는 기술입니다. 예를 들면, 과학 AI, 법률 AI, 의료 AI 등 특정 주제에 특화된 지식을 추가로 학습시켜 특정 분야에 전문화된 AI를 개발하게합니다. 이를 통해 해당 주제에 관해 더 정확한 답변을 얻을 수 있습니다. 하지만 구현 난이도 및 개발 비용이 높고 실시간 업데이트가 어렵다는 단점이 있습니다.

 

5) RAG(Retrieval-Augmented Generation, 검색 증강 생성)

RAG는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 외부 지식 베이스를 참조하도록 하는 프로세스입니다. 대규모 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 학습되며 수십억 개의 매개 변수를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성과 같은 작업에 대한 독창적인 결과를 생성합니다. RAG는 LLM을 기반으로 특정 도메인이나 조직의 내부 지식 기반으로 확장하므로 모델을 다시 교육할 필요가 없기 때문에 비용적인 측면에서 효율적입니다.

 

단점은 RAG의 성능이 검색 시스템의 품질에 크게 의존합니다. 따라서 신뢰할 수 있는 데이터를 확보하는 것이 중요합니다. 또한 대규모 데이터베이스 관리에 따른 비용과 노력이 증가하고, 전체적인 서비스 아키텍처의 복잡성이 증가하게 됩니다. 또한 컨텍스트 윈도우 크기 제한으로, 무한하게 데이터를 주입하는 것이 불가능해 편향된 결과를 초래할 수도 있습니다.

 

출처

할루시네이션의 사례

"세종대왕 맥북 던짐 사건 알려줘" 밈이 된 챗GPT 엉뚱 답변 | 한국일보

 

Google Cloud가 작성한 AI 할루시네이션에 대한 글

https://cloud.google.com/discover/what-are-ai-hallucinations?hl=ko%EF%BB%BF

 

메타 AI 연구팀이 개발한 갤럭티카

New Meta AI demo writes racist and inaccurate scientific literature, gets pulled

RAG

RAG란? - 검색 증강 생성 AI 설명 - AWS