인간의 지능 수준을 넘어선다고 하는 AGI(일반인공지능)에 대한 전망이 점점 가까워지고 있다.

데미스 하사비스, 셰인 레그, 샘 알트만 같은 AI 리더들은 구현 가능성을 5년 이내에 보기도 하고 딥러닝의 아버지라고 부르는

제프리 힌턴 같은 석학은 20년안에 구현될 가능성이 50%라고 말하기까지 한다.

동시에 AGI 위험에 대한 논의도 점점 늘어나고 있고, 나아가 인류 멸절의 가능성까지 얘기하면서 소위

‘존재론적 위기’를 말하는 학자와 연구자들도 늘어나고 있는 상황이다.

제프리 힌턴교수와 함께 튜링상을 받은 요슈아 벤지오 교수도 AGI가 가져올 수 있는

위기에 대한 경각심을 여러 글과 미디어 인터뷰를 통해서 강조했으며, AI안전센터 (center for AI safety)가 발표한 간략한 선언문에는

두 교수 외에도 수많은 AI 전문가나 유명 인사들이 모두 서명을 했다. AI안전센터의 선언문은 다음과 같이 간결하다.

“AI로 인한 멸종 위험을 완화하는 것은 팬데믹이나 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 전 세계적인 우선순위가 되어야 합니다.”

이들이 주장하는 AGI가 초래할 수 있는 위기 또는 위협의 원인은 인간이 통제력을 상실하고 제어를 AGI가 거부하는 경우,

AGI 스스로 코드를 개선하면서 우리가 알지못하는 방향으로 발전할 가능성, AGI가 주어진 목적을 달성하면서 하위 목적에서 예상

치 못하는 방향으로 목적을 구현하고자 할 때 등 다양한 시나리오를 얘기하지만 본질적으로 가장 중요한 문제는 인간의 의도와 일치하

지 않는 얼라인먼트(가치 정렬)에 실패하는 경우이다.

AI 시스템의 얼라인먼트는 인간의 가치에 일치하는 판단을 하도록 AI 시스템을 어떻게 만들 것인가 하는 문제이다.

가치 정합, 가치 일치 등 다양하게 번역하지만 본 고에서는 그냥 얼라인먼트라는 용어를 사용할 예정이다.

얼라인먼트는 간단하게 말하면 인간이 원하는 일을 AI가 하고자 하게 만드는 것이며, 얼라인먼트 문제라고 하는 것은

운영자의 의도에 맞게 작동하는 강력한 AI 시스템을 만드는 문제라고 할 수 있다.

AI 얼라인먼트는 아직 대부분의 시스템이나 연구자들에게는 해결해야 하는 도전적인 문제이다.

오픈AI에서 AGI 얼라인먼트 문제를 총괄하다 최근 앤쓰로픽으로 옮긴 얀 레이크(JanLeike)는 이 문제에 대해서

2022년 자신의 블로그에 다음과 같이 정리했다.

---------------------------------------------------------------------------------------------------------------------------------------------------------