[ 목 차 ]

1. 보고서 요약

2. 보고서 주요 내용
(1) 자율형 네트워크에서 강화학습의 필요성
(2) 강화학습 연구 동향

(3) 네트워크 기술에 강화학습 활용 동향
(4) 결론 및 시사점

네트워크 복잡성이 증가하고 서비스 요구사항이 더욱 엄격해지며 다양해짐에 따라 네트워크 자동화 기술은 여러 기업으로부터 큰 관심을 받고있다. 이러한 네트워크 자동화는 네트워크로부터 관찰되는 상태 데이터를수집하고, 의사 결정에 사용되는 지식을 추출하며, 주어진 네트워크 자원으로 요구되는 네트워크 서비스를 관리하기 위한 제어하는 기능의 정의가필요하다. 이러한 기능을 지원하기 위해, 장치 측면에서 네트워크 측면에이르기까지 유연성과 안정성을 향상시키기 위해 여러 가지 인공지능 기반기술이 제안되고 있다. 인공지능 기반 기술 중 강화학습은 네트워크 엔티티가 네트워크 환경의 불확실성을 고려한 상황에서 네트워크 성능을 최대화하기 위해 네트워크 상태를 고려하여 의사 결정 또는 행동을 포함한 최적의 정책을 얻을 수 있도록 사용된다. 이러한 강화학습은 시시각각 변하는 네트워크 서비스 요청 및 네트워크 상황을 지속적으로 학습함으로써,자율적으로 네트워크를 관리하는 서비스를 가능하게 한다.이 보고서에서는 자율형 네트워크를 위한 강화학습 기술의 활용 가능성에 초점을 맞추고 있다. 특히, 5G, 6G 및 SDN/NFV로 구성되는 차세대 네트워크 환경에서 강화학습을 기반으로 라우팅, 리소스 관리, 네트워크 보안 및 QoS/QoE 문제를 해결하는 기술들을 조사하여 정리하였다. 또한, 강화학습 기술 적용에 대한 중요한 과제, 미해결 문제 및 향후 연구 방향을제안한다. 보􀀁 고􀀁 서􀀁 􀀁 요􀀁 약(1) 자율형 네트워크에서 강화학습의 필요성∙ 에너지, 무선통신, 이동통신 및 사물인터넷 기술의 발달에 따라 컴퓨터 네트워크의 제어와 관리의 복잡도가 증가하고 있다. 이에 따라 이러한 네트워크의 제어와관리의 복잡도를 낮추기 위해 제어와 관리를 자체적으로 수행하는 자율형 네트워크 기술이 등장하게 되었다. 이러한 지능화된 제어 및 관리를 위해 SDN/NFV 기반 플랫폼에 기계학습 기술을 접목하는 연구가 수행됐으며, 더욱 높은 유연성을확보하는 방향으로 연구가 진행되면서 자율형 네트워크 프레임워크에 강화학습이적용되고 있다.(2) 강화학습 연구 동향∙ 최근 네트워크 시스템 최적화 문제를 풀기 위해 인공지능 알고리즘 중 하나인 강화학습에 관한 많은 연구 및 개발이 이루어지고 있다. 강화학습은 네트워크 관리시스템상의 강화학습 에이전트가 네트워크 환경에서 파생되는 정보를 이용하여보상함수를 구성하고 반복적인 개선을 통해 최적의 목표를 달성하는 시스템 제어방법이다. 이를 위해 강화학습 에이전트는 환경에 대한 상태 변화, 에이전트의 행동 제어, 가치함수 설계, 보상함수 설계, 정책 개선 및 최적화 모델 도출이라는 유기적인 프로세스를 진행한다. 하지만 사전에 정의한 상태와 행동을 통해 출력되는기댓값을 예측하는 방법으로 의사 결정을 위한 가치함수를 학습하기 위해서는 많은 시간을 학습에 투자해야 하며, 제공되는 과도한 환경 상태 정보에 따라 학습이잘 이루어지지 않거나, 잘못된 목표로 학습이 진행되는 경우가 발생할 수 있다. 이러한 문제점을 극복하기 위해 시스템 보상함수를 인공지능 신경망으로 구성함으로써 학습효율 및 예측 정확도 성능을 높이는 강화학습 모델도 연구되었다. 또한이산적이며 한정된 개수의 행동을 제어하는 모델뿐만 아니라, 제어해야 하는 행동의 자유도가 매우 높은 경우에 대해서도 효과적인 학습을 수행할 수 있는 강화학습 모델의 연구도 진행되고 있다.