[ 서론 ]

1.  AI 시대의 위험인가 기회인가? : AI 환각

● 인공지능(AI) 기술, 특히 대규모 언어모델(LLM)과 생성형 AI의 발전은 정보생산 및 처리 방식에
혁신적 변화를 가져옴으로써, 사회전반의 효율성과 창의성을 증진시키는 긍정적 효과를 창출

● AI 활용의 대중화 시대가 열리고 AI 환각 현상은 단순한 오류를 넘어 AI의 영향권에 있는 모든
사회 시스템에 부정적 영향을 미칠 수 있는 위험으로 인식되며, AI 논의의 핵심 쟁점으로 부상

● 특히 AI에 대한 과도한 신뢰, 소위 ‘AI 만능주의’는 사용자와 사회가 AI에 생성된 정보를 무조건
정확하다고 받아들이게 만들며, AI 환각현상과 결합되는 경우 사회 전반의 신뢰 붕괴를 야기

● 실제로 호주 빅토리아주 대법원에서 AI가 만들어낸 허위 판례와 가짜 인용문이 제출된 사건1)과
함께(’25), 미국 플로리다 중부 지방 법원에서는 허위 판례를 인용한 변호사에게 정직 처분(’23)2)

● 미시건대학교 연구에 따르면 오픈 AI의 음성-텍스트 변환 AI모델 ‘위스퍼(Whisper)’의 경우,
10건의 오디오 필사본 중 8건에서 환각, 즉 존재하지 않는 내용을 생성하는 현상을 발견(’24)3)

● 이처럼 환각은 AI의 신뢰성 측면에서 단순한 오류가 아닌 법률, 의료 등 다양한 분야에서의
개인의 권익 침해, 공공 신뢰의 훼손 등으로 사회 전반에 부정적인 영향을 미칠 가능성

● 한편, 예술, 디자인, 문학 창작 분야에서는 AI 환각 현상이 사실을 넘어서는 창의적 발상과
혁신적 창출의 원천으로 활용될 수 있으며, 창의성을 촉진하는 도구로 평가받는 중

● ’24년 노벨화학상 수상자인 데이비드 베이커(David Baker) 교수는 AI 환각이 자연에 존재하지
않는 1000만개의 새로운 단백질을 만드는데 기여하고, 핵심적인 역할을 했다고 언급4)

● 이와 같이 AI 환각이 사회적 신뢰의 위협과 창의의 원천이라는 양면성을 지닌 만큼 사회적 신뢰
보호와 창의성 증진을 동시에 달성할 수 있는 정책적 대응이 요구되는 상황

● 따라서 본 보고서는 환각의 개념 및 유형, 사례 분석 및 정책 동향 파악을 통해, AI 환각에 대한
위험 최소화와 창의적 잠재력 제고를 모두 고려한 정책적 시사점을 도출하고자 함

------------------------------------------------------------------------------------------------------------------------------------------