I. 서론

인공지능 거버넌스 및 안전성에 관한 규범적 담론과 기술적 프레임워크는 2019년 유럽연합 집행위원회(European Commission)가

발표한 ‘Ethics Guidelines for Trustworthy AI’ 문서를 기점으로 본격적으로 제도화되었다고 볼 수 있다[1].

이후 여러 국가에서 각각 의미있는 가이드라인이 나오고 리스크 관리를 위한 프레임워크도 등장했다.
2023년 11월 개최된 영국의 AI Safety Summit(인공지능 안전 정상회의)을 기점으로 인공지능 안전성 문제는 글로벌 거버넌스의

핵심 의제로 부상하였으며, 프론티어(frontier) AI 모델의 급격한 성능 고도화에 따라 인공지능 안전성이 초국가적 실존 리스크(existential risk)로 인식되기 시작했다. 영국이 선제적으로 AI Safety Institute(AI 안전연구소)를 설립한 이후, 미국, 캐나다, 싱가포르, 일본이 연이어 유사 기관을 설립하였고, 대한민국 역시 2024년 11월 글로벌 AI 안전성 거버넌스 체제에 동참하며 세계 6번째로

인공지능 안전연구소를 공식 출범시켰다.

II. 국제 AI 안전 보고서의 주요 내용과 싱가포르 합의

국제 AI 안전 보고서는 최근 급격한 기술 발전 궤적을 보이고 있으나 잠재적 위해성에 관한 실증적 연구가 상대적으로 부족한

범용인공지능(General Purpose Artificial Intelligence: GPAI) 및 파운데이션 모델(foundation models)에 주요 초점을 맞추고

있다. GPAI는 유럽연합(EU) 인공지능 법에 따라 잠정적으로 ‘텍스트와 이미지를 생성할 수 있고, 학습에 사용한 훈련량이 10의

22승 FLOPs(1초당 부동소수점연산횟수)를 초과 하는 모델’을 말한다. 분석은 주로 현재 시점에서 가장 고도화된 GPAI 시스템에

중점을 두고 있지만 향후 등장할 더 성능이 뛰어난 차세대 시스템에 관한 고려도 담고 있다.

III. AI 안전에 대한 주요 기업의 접근

1. 오픈 AI
 

오픈 AI는 2023년 샘 올트먼의 ‘AGI를 위한 계획과 그 너머’, 2024년 ‘지능의 시대’에 이어 2025년 3월 6일 ‘안전과 얼라인먼트에

우리가 생각하는 것’이라는 메모를 발표했다 [4]. 이들은 안전 증진 방법에 대한 이해가 크게 발전했으며, 이번 메모가 자신들의 최신
원칙을 담고 있다고 설명했다.

오픈 AI는 AGI가 점진적으로 발전하며, 현재 시스템 경험을 통해 안전하고 유익한 다음 단계를 만들 수 있다.

이러한 반복적 배포를 통해 안전 및 오용에 대한 이해를 높이고, 사회 적응 시간을 확보하며, AI 이점을 제공했다고 설명한다.

그러나 AGI의 안전한 통제가 필요하며, 현재 AI의 실패 유형을 세 가지로 분류하고 있다.

--------------------------------------------------------------------------------------------------------------------------------------------------------