Ⅰ. 서론 인공지능 연구의 발달로 다양한 종류의 센서에 서 얻어진 정보로부터 현재 상황에 대한 판단 능 력이 향상됨에 따라 이를 활용한 감시 및 보안을 무인으로 처리하고자 하는 연구들이 증가하고 있 다. 특히, 공장과 같은 큰 규모의 산업현장에서 보안, 이상상황 감지 및 감시와 같은 경비 업무 를 수행하기 위해서 고정형 CCTV(Closed-Circuit Television)와 함께 이동형 로봇을 이용하면 사각지 대를 줄일 수 있으며 적용 범위를 효율적으로 늘 릴 수가 있다. 또한, 기존의 CCTV를 기반으로 하 는 연구들은 영상정보만을 사용하기 때문에 다양 한 상황에 적용하기에는 한계가 있었다. 경비로봇 을 활용하는 연구에서는 이러한 한계를 극복하기 위해서 멀티모달 센서기반으로 다양한 환경(야간, 멀티모달 센서 기반 실외 경비로봇 기술 개발 현황 Trend of Technology for Outdoor Security Robots based on Multimodal Sensors 장지호 (J.H. Chang, changjh@etri.re.kr) 로봇협업지능연구실 선임연구원 나기인 (K.-I. Na, kina4147@etri.re.kr) 로봇협업지능연구실 선임연구원 신호철 (H.C. Shin, creatrix@etri.re.kr) 로봇협업지능연구실 책임연구원 ABSTRACT With the development of artificial intelligence, many studies have focused on evaluating abnormal situations by using various sensors, as industries try to automate some of the surveillance and security tasks traditionally performed by humans. In particular, mobile robots using multimodal sensors are being used for pilot operations aimed at helping security robots cope with various outdoor situations. Multiagent systems, which combine fixed and mobile systems, can provide more efficient coverage (than that provided by other systems), but network bottlenecks resulting from increased data processing and communication are encountered. In this report, we will examine recent trends in object recognition and abnormal-situation determination in various changing outdoor security robot environments, and describe an outdoor security robot platform that operates as a multiagent equipped with a multimodal sensor. KEYWORDS 경비로봇, 멀티모달 센서, 멀티에이전트, 정보분석 플랫폼 ©2022 한국전자통신연구원 본 저작물은 공공누리 제4유형 출처표시+상업적이용금지+변경금지 조건에 따라 이용할 수 있습니다. * DOI: https://doi.org/10.22648/ETRI.2022.J.370101 * 본 연구는 미래창조과학부 및 정보통신기술진흥센터의 정보 통신·방송 연구개발 사업의 일환으로 수행하였음[2017-0-00306, 실 외 무인경비로봇을 위한 멀티모달 지능형 정보분석 기술개발]. 2 전자통신동향분석 제37권 제1호 2022년 2월 안개, 화재 등)에서도 인식 및 판단이 가능하도록 한다. 서로 다른 센서를 활용하여 정확한 판단을 하기 위해서는 각 센서 데이터 간의 정렬, 데이터 처리 및 처리된 정보 융합이 중요한 부분이다. 또한, 센 서 수가 증가함에 따라서 많은 양의 데이터를 실시 간으로 처리해야 하고, 이에 대한 결과 및 센서 데 이터를 지역 서버나 클라우드에 전송하여야 한다. 다수의 고정형/이동형 에이전트로부터 데이터가 전송되므로, 통신 네트워크 부하를 줄여줄 수 있는 데이터 구조와 함께, 에이전트 간의 동작이 유기적 으로 이루어지도록 관제 시스템에서 효율적인 경 비 계획, 통제 및 운용이 필요하다. 본고에서는 경비로봇에 대한 산업 동향과 이상 상황 판단에 관련된 연구 동향에 대해서 살펴보고, 멀티모달 센서로 구성된 로봇을 이용한 지능형 정 보분석 플랫폼의 연구를 소개하고자 한다. Ⅱ장에 서는 최근까지의 경비로봇 연구 및 산업 동향에 대 해서 살펴본다. Ⅲ장에서는 이동/고정형 로봇, 감 시 카메라 등을 관리하기 위한 멀티에이전트의 지 능형 관제 시스템 및 멀티모달 센서 플랫폼에 대해 서 소개한다. Ⅳ장에서는 에이전트에서 이뤄지는 인식기술과 효율적인 데이터 전송 및 처리를 위한 환경지도 기반의 판단 기술을 소개한다. Ⅴ장에서 는 결론과 함께 전반적인 향후 전망을 기술하였다. Ⅱ. 산업 & 연구 동향 1. 경비로봇 동향 SHARP사에서는 2016년 9월에 실외경비로봇인 INTELLOS A-UGV[1]에 대해 소개하였는데, 영 상, 음성, 열영상 등의 다양한 센서를 사용하여 창 고와 같은 시설에 대한 보안과 건물의 문과 창문 그 리고 침입자에 대한 감시 등의 임무를 수행하고, 중 앙시스템에서 이를 관리할 수 있도록 구성되었다. OTSAW O-R3[2]는 거리, 통로 및 열린 공간을 순찰하고, 동적 장애물을 피하고, 자동으로 기지 로 복귀할 수 있고, 얼굴 인식 기능이 있는 지능형 자율 보안로봇이다. O-R3는 감시를 위해 360° 카 메라, HD 카메라 및 2개의 LiDAR(Light Detection And Ranging)를 사용하여 실시간으로 데이터를 수 집하며, 상황에 따라서 머신러닝 감시 기술을 활용 하여 경비원에게 이상 징후를 경고한다. 현재, 두 바이의 공공장소와 싱가포르의 공원에서 적용되 고 있다. Knightscope사는 K3, K5 등의 이동형 경비로봇을 제안하였으며[3], 쇼핑몰, 학교 캠퍼스 및 대형 주 차장에서 발생하는 보안 상황에 대해서 중앙시스 템에 통보하는 것을 목표로 하고 있다. 이동형 경 비로봇은 영상, 음성, 3D 거리 센서, 온도 및 공기 측정 센서를 가지고 자동차 번호판 인식, 이산화탄 소 농도 및 이상행동 감지나 늦은 시간 사람의 움 직임 등을 인식할 수 있다. 그리고 2017년도부터 실리콘밸리의 웨스트필드 쇼핑몰과 삼성전자 미 국 캠퍼스에서 운용되어 실내외에 대한 순찰 기능 을 수행하고 있다. 시크센스의 자율주행 로봇 SQ-2[4]는 도쿄도청 에 배치되어 지정한 경로를 자율 순회하면서 이상 유무를 파악하고 자동제세동기(AED)와 소화기의 손상 등을 확인한다. 경비원은 로봇이 실시간으로 보내오는 동영상을 보면서 원격감시업무를 수행 할 수 있다. SQ-2 경비로봇은 LiDAR와 각종 센서 를 이용하여 자율주행을 수행하며 공간을 인식해 3D 지도를 생성할 수 있다. 또한, 환경 변화 감지 를 통해서 이상을 발견하거나 고정형 CCTV 카메 라에선 잡기 어려운 사각지대에 대한 영상인식 및 모니터링 작업도 할 수 있다. 직원 및 방문객의 얼 굴을 인식하고 데이터베이스에 없는 사람을 감시