01. 기업에 대한 리스크

생성형 AI는 데이터, 애플리케이션, 인프라, 프로세스 전반에 걸쳐 조직의 리스크를 증가시키고 있다.

본 연구에서는 특히 다음과 같은 리스크들이 두드러지는 것으로 나타났다:

데이터 프라이버시, 보안, 지식재산(IP) 관련 리스크

생성형 AI 모델은 웹에서 수집된 텍스트, 이미지, 오디오, 다른 모델이 생성한 콘텐츠, 수작업으로 큐레이션된 자료 등

방대한 데이터를 기반으로 학습된다. 그러나 제3자 데이터나 모델은 종종 원본 출처, 창작자의 의도, 저작권, 데이터의 기본 속성을

인증하지 않기 때문에 출처 추적(provenance)이 어려우며, 이로 인해 환각(hallucination)이나 허위정보가 지속될 수 있다.

또한 생성형 AI가 예술, 음악, 문학, 소프트웨어, 발명품을 만들어내면서 저작권, 소유권, 보호 범위에 대한 문제가 부각되고 있다.

이에 따라 “누가 혁신의 주체이며, 누가 수익을 얻을 수 있는가”에 대한 규제가 아직 정립되지 않아 저작권에 대한 불확실성이 커지고 있다. 개인정보 보호 문제도 있다. 이름, 주소 등 개인 정보가 의도치 않게 수집되어 민감 정보, 영업기밀, 기밀 데이터를 노출하거나

악용할 위험이 존재한다.

예를 들어, 의료 기관이 자연어 기반 질의로 환자의 병력을 조회하는 AI 시스템을 도입할 경우,

의료진에게는 편의성을 제공하겠지만 개인 건강/의료 정보가 예기치 않게 노출될 수 있다.

02. 생성형 AI 역량 리스크

생성형 AI는 생성형 AI 솔루션이 의존하는 데이터와 모델을 겨냥한 새로운 보안 리스크도 초래한다.

떠오르는 위협은 다음과 같다. 프롬프트 인젝션 공격. 생성형 AI 솔루션의 특징 중 하나는 AI에 제공되는 프롬프트나 명령어의 사용이다. 프롬프트 인젝션은 공격자가 생성형 AI 시스템을 속여 보안 데이터를 노출시키거나, 잘못된 정보를 퍼뜨리거나,

악의적 행동을 수행하게 하거나 숨겨진 트리거를 통해 모델에 백도어로 접근하도록 설계된 프롬프트를 사용하는 신종 공격 기법이다. 프롬프트 인젝션은 Open Worldwide Application Security Project(OWASP)

Top 10에서 대형 언어 모델(LLM) 애플리케이션과 관련된 주요 보안 위협으로 꼽힌다.

---------------------------------------------------------------------------------------------------------------------------------------------------------