가. 정의 및 필요성
(1) 정의

☐ (AI 기반 사물·상황 인지 모듈) AI 기법을 활용해 사물과 사람을 인식
하여 콘텐츠 저작 등 서비스 단계에 적용하는 기술

❍ 컴퓨터 비전, 음성 및 언어 처리, 오디오 분석, 상황 추론 등 AI를 활용해서
이미지·영상·소리로부터 사물과 사람·얼굴·표정·음성·동작·공간구조·
환경 및 상황 등을 탐지·인식·추론하여 콘텐츠 저작·응용 또는 서비스
단계에 적용

❍ 대표적인 AI 기반 사물·상황 인지 모듈의 요소기술로는 3D 형상 및 공간인
식 기술, 3D 객체·모션 탐지기술, STT-TTS 기반 감정 인식 음성합성 기술,
음원 분리 기술, 다면적 상황 인지 기술 등이 있음
- (3D 형상·공간 재구축 기술) 실물(객체, 사람, 얼굴, 치아 등)의 2D 영상에서
3차원 형상의 구조, 크기, 위치, 움직임 인식 및 카메라 영상 시퀀스로부터
주변의 3차원 공간구조 재구축 기술
- (3D 객체·모션 탐지기술) 1인 또는 다수 인원의 모션 궤적을 추적·동작
인식 및 사람 외 다른 동물, 객체(자동차 등)의 모션 탐지·추적·인식하는 기술
- (STT-TTS 기반 감정 인식 음성합성 기술) 음성-텍스트 변환 및 음성 특진을
분석하여 감정을 판단하는 기술
- (음원 분리 기술) 다중 소스가 혼합된 음성 녹음 또는 음악 트랙에서 특정
음성 또는 악기 소리 추출 등 원하는 음원을 분리하는 기술
- (다면적 상황 인지 기술) 환경·사용자·사물·시간·장소 맥락, 그리고
사회적 맥락(감정 및 대화 맥락 등)을 고려한 상황 인지 기술

(2) 기술개발 필요성

☐ ‘가상 인플루언서’나 ‘디지털 개인 비서’보편화와 메타버스 공간에서
인간과 소통하고 교감할 만큼 고도화한 ‘가상인간’출현을 앞당길 전망

❍ 국내 IT 기업들이 대규모 음성 인공지능(AI) 분야 국제 학회에서 사람의
음성 언어를 더 자연스럽게 대화하고 노래할 수 있는 TTS-STT 고도화 방법
제안
- 제23회 인터스피치(’22.09)에서 카카오, 엔씨소프트, 네이버 등 국내 IT 기업
소속 AI 연구자들이 주요 연구 논문 발표
- 행사장 안에 전시공간을 마련해 관련 AI 기술을 시연하고 음성 인식·합성
분야에서 사람들과 소통하고 교감하기 위한 기술 투자 성과 공개

---------------------------------------------------------------------------------------------------------