본 기술은 '엣지 서버 시스템 자원 관리 및 제어를 위한 경량 시스템 소프트웨어 기술 개발' 과제에서의 엣지 기기 데이터의 저지연/고속처리를 위해 컴퓨팅 모듈(CPU) 및 가속기(FPGA, GPU, NPU)를 활용한 '다중 엣지 서비스 분업 기술' 과 이를 구동하기 위한 '다중 엣지 서비스 실행 플랫폼 기술'로 구성된다.

본 기술은 다양한 컴퓨팅 모듈(CPU) 및 가속기(FPGA, GPU, NPU)를 연동해서 AI 추론과 같은 컴퓨팅 태스크를 분업 처리하는 기능과 이를 최적의 분산된 가상 환경(ex. 가상머신, 컨테이너)에 배치하고 실행하는 기능이 포함된다.

      - 최근 다양한 분야에서 인공지능 기술이 도입되어 시스템에서 수집된 빅데이터를 학습하여 데이터에 내재된 속성, 연관 관계 등을 찾아내고, 학습된 지식을 바탕으로 유사한 상황에 대해 추론하는 방법이 활용되고 있다.

      - 하지만 대부분의 산업 현장에서는 제한된 컴퓨팅 리소스 환경과 인공지능 서비스 수행을 위한 전문인력 부족과 같은 어려움을 겪고 있다. 그래서 이종 가속기(FPGA, GPU, NPU)와 CPU가 탑재된 물리적 엣지 서버들을 가상화하고 관리해서 소프트웨어 환경에서 다양한 엣지 서비스 요구사항을 만족시킬 수 있는 기술들을 필요로 하고 있다. 

      - 엣지 서비스는 그 요구 특성에 따라 최적의 가속기가 존재할 수 있으며, 이는 서비스 개발 단계에 결정되어, 최적화된 프로그램으로 개발된다. 엣지 서비스의 실제 실행 요청 시에는 해당 엣지 서비스가 요구하는 가속기가 배치된 물리적 서버 노드에 배치되어 서비스가 실행된다. (그림 1)은 본 기술의 시스템 구성도이다.