I. 인공지능 모델 경량화 기술의 필요성

인공지능 기술은 지난 수년간 자연어 처리(Natural Language Processing: NLP), 컴퓨터 비전(computer vision) 등 다양한 분야에서 뛰어난 성과를 이루었다. 이러한 중심에는 복잡한 구조로 이루어진 대규모의 신경망 구조가 있다. 특히, 심층 신경망 (deep neural network)의 발전 이후, 모델의 깊이와 너비가 점차 증가하며 높은 표현력과 일반화 능력을 갖춘 모델들이 등장하였으며,

이는 최근 몇 년간 딥러닝 기술의 발전 속도가 매우 가파르게 증가하는 주요한 동력이 되었다.

딥러닝 모델의 성능이 향상됨에 따라 [그림 1]과 같이 요구되는 계산 비용 및 메모리 사용량이 기하급수적으로 증가하였으며,

이는 곧 자원(resource) 측면에서의 부담으로 이어졌다. 컴퓨터 비전 분야에서 널리 사용된 VGGNet[1]이나 ResNet[2] 계열의 모델은 수천만 개의 파라미터를 가져, 이를 학습시키거나 추론하는 데 있어 대규모 GPU 자원을 필요로 한다.

최근에는 이러한 추세가 트랜스포머(transformer) 기반 모델로 이어져 Vision Transformer(ViT)[3]나 BERT[4], GPT[5] 계열의

대규모 언어 모델(Large Language Model: LLM)들은 수십억 개의 파라미터를 가지는 구조로 설계되고 있다.

이러한 대규모 모델은 단순히 학습에 많은 시간이 소요될 뿐만 아니라, 실시간 추론이 필요한 응용 환경에서는 과도한 응답 지연(latency)이 발생하는 등의 현실적인 제약에 부딪히게 된다.

II. 인공지능 경량화 모델 설계 동향

최근 들어, 단순히 모델의 성능을 높이는 것에서 나아가 최소한의 자원으로 최적의 성능을 낼 수 있는 딥러닝 네트워크 구조의 경량화 모델 설계에 관한 연구가 활발히 이루어지고 있다. 주요 전략으로 기존 모델의 구조를 그대로 따르지 않고 네트워크 구조 자체를

최적화하거나 연산량과 파라미터 수를 줄이기 위한 다양한 기법들(Depth-wise separable convolution, Grouped convolution 등)을 활용한다는 점이다

대표적인 합성곱 신경망(Convolutional Neural Network: CNN) 경량화 모델 중 하나는 구글(Google)이 제안한 MobileNet 시리즈이다[6]-[8]. MobileNet[6]은 전통적인 합성곱 연산을 대체하기 위해 Depth-wise separable convolution을 도입하였다.
하나의 합성곱 연산을 두 단계로 나누어 처리함으로 연산량을 대폭으로 줄이는 방식이다.
MobileNetV2[7]에서는 Inverted Residual 구조를 통해 정보 손실을 줄여 경량화 모델의 성능을 향상시켰다. 이어 MobileNetV3[8]에서는 NAS(Neural Architecture Search)를 통해 최적의 네트워크 구조를 자동으로 탐색하였으며, 연산 효율적인 활성화 함수를

도입하여 실용성을 높였다.

---------------------------------------------------------------------------------------------------------------------------------------------------------