1. 서론: AI에서 학습 데이터의 중요성

AI는 우리 사회 전반에서 발 빠르게 확산하며 큰 기대를 받고 있지만, 그 이면에는 수집된 데이터의 품질 문제로 인해 심각한 사례들도 이어지고 있다.

미국에서는 범죄자의 재범 위험을 예측하는 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 알고리즘이 법원 판결 과정에서 널리 활용되었으나, 실제 알고리즘 활용 결과, 흑인 피고인을 실제보다 더 높은 위험군으로 분류하는 비율이 높고, 반대로 백인 피고인은 낮은 위험군으로 잘못 분류되는 경우가 많은 것으로 확인되었다. [그림 1]과 같이 유사 상황에서도 학습 데이터와 알고리즘의 편향 때문에 인종에 따라 불리하거나 유리한 결과가 나오면서 법적 정의를 왜곡할 수 있다는 비판이 제기되었다[1].

또 다른 사례로, 아마존(Amazon)은 내부적으로 AI 채용 시스템을 개발해 수천 건의 이력서를 자동 평가했는데 과거 이력서 데이터가 대부분 남성 지원자 중심이었던 탓에 AI 채용 시스템은 '여성'을 암시하는 단어나 여대 출신 이력을 불리하게 평가했다. 이로 인해

동일한 역량을 가진 여성 지원자가 남성 지원자보다 낮은 점수를 받는 불합리가 발생했고, 결국 아마존은 AI 채용 시스템을 중단할 수밖에 없었다[2]. 이는 [그림 2]는 데이터 수집부터 평가 · 선정 과정까지 각 단게에서 편향이 발생할 수 있음이 확인할 수 있다.

----------------------------------------------------------------------------------------------------------------------------------------