본 기술은 언어분석/기계독해/문서분류/요약생성/대화생성 등 다양한 언어이해 및 언어생성 유형의 응용 태스크에 범용적으로 적용이 가능한 한국어 이해-생성 딥러닝 언어모델을 사전 학습하는 기술에 대한 것이다.

● 최근 컴퓨터 연산능력이 향상되고 빅데이터를 쉽게 얻을 수 있는 환경이 조성되면서 딥러닝에 기반한 언어처리 및 인공지능 기술이 부상되고 있다.
● 딥러닝 언어모델 기술은 최근의 언어처리 기술 발전의 핵심 기술로, 수십 기가바이트(GB) 이상의 텍스트로부터 범용적인 언어의 구문 및 의미 정보를 학습하여 응용 태스크에 적용하는 기술이다. 딥러닝 언어모델 기술은 언어모델을 적용하지 않은 이전의 심볼릭 또는 딥러닝 학습 방법 대비 큰 폭의 성능 개선을 이루었다. 
● 최근 각광을 받았던 언어 이해 중심의 언어모델의 한계를 넘어서는 생성도 가능한 언어모델이 필요하다. 
● 언어 이해 및 생성이 동시에 가능한 한국어 언어모델을 학습하기 위해서는 교착어인 한국어에 적합한 언어단위 사전(vocabulary) 구축 및 효과적인 사전학습 태스크 전략이 필수적이다. 
● 엑소브레인 한국어 이해·생성 딥러닝 언어모델 사전학습 기술은 대용량 텍스트로부터 한국어의 구문 및 의미 정보를 학습하여, 다양한 응용 태스크(언어분석/기계독해/문서분류/요약생성/대화생성 등)에 범용적으로 활용 가능한 딥러닝 언어모델을 학습하는 기술이다.