온디바이스 AI 기술은 디바이스 자체적으로 AI 모델을 수행하기 때문에 네트워크 및 클라우드에 부하를 주지 않으면서 지능형 서비스를 제공할 수 있다. 디바이스가 수집하는 센싱 데이터의 해상도가 급격하게 높아지고, 운영하는 디바이스의 수가 폭발적으로 증가함에 따라 종래 중앙에서 데이터 처리 및 AI 분석을 수행하는 중앙집중형 방식에서는 네트워크와 클라우드의 부하로 인해 한계가 존재한다. 이에 따라 온디바이 스 AI 기술에 대한 필요성이 대두되고 있다. 본 고에서는 온디바이스 AI를 실현하기 위해 AI 모델 수행에 최적화된 하드웨어 기술 개발과 AI 모델을 경량화하여 온디바이스 환경에서 AI 수행을 지원하기 위한 소프트 웨어 기술 개발의 최신 동향을 분석한다. I. 서론 기존 IoT(Internet of Things) 기술은 사물과 사물 간 연결을 통해 인프라를 구축하고 이를 이용하여 데이터를 수집하거나 정해진 방식의 서비스를 제공하는 것을 목적으로 연구 및 개발되어 왔다[1]. 지능형 IoT 기술은 한발 더 나아가 인공지능 기술을 접목하여 수집되 는 방대한 데이터를 인공지능 기술로 분석하여 사용자에게 최적의 맞춤 서비스를 제공하는 것을 목표로 한다[2]. 특히, 4차 산업혁명 단계로 접어듦에 따라 디바이스의 성능 향상으로 인해 고용량 데이터의 수집 및 처리가 가능해지고, 5G 기술 등 네트워크가 발달하여 대규모 데이터의 송수신이 가능해지고, 빅데이터 기술 및 인공지능 기술의 발전으로 지능형 서비스 제공이 가능해짐에 따라 빠르게 발전하고 있다. 이러한 지능형 IoT 기술은 센서, 디바이스, 네트워크, 인프라, 플랫폼 등 전방위적인 기술 * 본 내용은 이석준 선임(☎ 031-789-7577, sjlee88@keti.re.kr)에게 문의하시기 바랍니다. ** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다. 온디바이스 AI 하드웨어 및 소프트웨어 기술개발 동향 Chapter 01 기획시리즈-지능형 IoT 정보통신기획평가원 3 의 융합으로 이루어진다. 이 중 디바이스 자체에서 인공지능을 수행하기 위한 온디바이스 AI[3] 기술은 클라우드와 망의 부하를 최소화하면서 즉각적인 지능형 서비스 제공이 가능하 다는 점에서 지능형 IoT의 핵심기술 중 하나이다. 온디바이스 AI 기술 개발에 대한 필요성은 디바이스가 수집하는 센싱 데이터의 해상도가 높아지고, 디바이스의 수가 폭발적으로 증가함에 따라 꾸준히 제기되어 왔다. 종래 디바이스 에서 수집한 데이터를 클라우드나 서버 등 중앙에서 일괄적으로 분석하는 중앙집중형 AI 기술[4]은 중앙의 높은 연산능력을 기반으로 고복잡도의 인공지능 기술을 적용할 수 있다는 장점은 있으나, 수집되는 데이터 양이 증가할 경우 네트워크와 클라우드 등에 부하가 증가하 여 원활한 서비스 제공이 힘든 단점이 있다. 데이터 처리를 네트워크 종단에서 수행하는 기존 엣지 컴퓨팅의 경우 단말에서 수집된 데이터를 중앙까지 보내지 않기 때문에 중앙의 부하를 감소시킨다. 그러나 최근 4K카메라, LiDAR 등 초고해상도 센서가 디바이스에서 사 용됨에 따라 이러한 대용량 데이터를 엣지에서 수집하고 AI 분석까지 수행하기 위해서는