I. 개요

최근 디지털 콘텐츠 산업의 고도화와 함께 증강현실(Augmented Reality: AR) 및 가상현실(Virtual Reality: VR) 기술이

빠르게 발전함에 따라, 현실감 있는 3차원 공간을 실시간으로 구현할 수 있는 고성능 렌더링 및 모델링 기술의 중요성이 증가하고 있다.
특히, 현실 세계의 고화질 3차원 배경과 물체를 정확하고 정밀하게 표현할 수 있는 기술이 AR/VR 기기의 몰입감과 직결됨에 따라,

이를 가능하게 하는 인공지능(Artificial Intelligence: AI) 기반 렌더링 기법으로서 NeRF(Neural Radiance Field)[그림 1][1]가 등장했다.

II. 인공지능 기반 모델링/렌더링 기술의 변화

1. NeRF
 

NeRF[1]는 2020년 UCB, UCSD, Google Research의 공동 연구팀에 의해 처음 제안되었으며,

정적인 2차원 이미지들로부터 3차원 모델의 정보를 학습하고 새로운 시점에서 영상을 생성하는 데 기존 방식 대비 유의미한 성능을

보인다. NeRF는 다양한 시점에서 촬영한 이미지를 입력하여 대상이 되는 물체가 존재하는 3차원 공간의 정보 즉,

공간상에 존재할 수 있는 모든 3차원 좌표에 해당하는 색상과 밀도 정보를 신경망에 학습한다.

추론 과정에서는 어떤 3차원 좌표와 시선 방향을 입력으로 하여 인공신경망을 통해 해당 지점에서 광선의 색상(RGB)과 밀도(opacity)를 출력한다. 이후, 해당 광선상에서의 여러 샘플을 통합하여 광선이 통과하는 최종 이미지 위 픽셀에서 값을 계산할 수 있다.

2. Instant NGP

Instant NGP[그림 3][2]는 2022년 NVIDIA 연구팀이 제안한 하드웨어-소프트웨어 동시 최적화형 NeRF 알고리즘으로,

기존 NeRF의 연산 지연 문제를 극복하기 위해 설계되었다.

이 알고리즘은 효율적인 해시 기반 데이터 구조와 경량화된 신경망 구조를 활용하여 모델링 속도를 몇 분 이내로 단축하고

렌더링 속도를 거의 실시간 수준으로 가속화한다. 메모리 사용량 또한 크게 줄어, 리소스가 제한된 환경에서도 효과적으로 실행할
수 있다. Instant NGP는 대규모 장면에 대한 뛰어난 확장성과 표현력을 갖추고 있어 기존 NeRF의 실용적 한계를 상당 부분 해소한

기술로 평가된다.

---------------------------------------------------------------------------------------------------------------------------------------------------------