I. 서론

인공지능(Artificial Intelligence: AI) 기술이 다양한 산업 분야에 빠르게 확산됨에 따라 고성능 연산 자원에 대한 수요가 폭발적으로

증가하고 있다. 이러한 연산 수요를 충족하기 위해 CPU(Central Processing Unit)뿐 아니라 GPU(Graphics Processing Unit), NPU(Neural Processing Unit), FPGA(Field Programmable Gate Array) 그리고 AI 전용 ASIC(Application-Specific Integrated Circuit)와 같은 다양한 종류의 반도체가 함께 사용되는 이종 컴퓨팅 환경으로 변화되고 있다[1][2].

특히, AI 워크로드는 연산 유형과 메모리 접근 패턴이 매우 다양하므로, 단일 아키텍처로는 성능과 효율성을 동시에 만족시키기 어렵다. 이에 따라, 연산 자원의 특성과 AI 모델의 요구사항에 맞춰 자원을 선택적으로 배분하고 조율하는 구조가 필수이다

II. 이종 AI 반도체 시스템과 자원 모니터링 기술

이종 AI 반도체 환경에서의 자원 모니터링은 단순한 상태 진단을 넘어 시스템 최적화와 서비스 품질 보장을 위한 핵심 인프라이다[7]. 자원 활용률, 처리 지연시간, 메모리 소비량 등의 데이터를 기반으로 성능 병목을 실시간으로 감지하고, 이를 바탕으로 스케줄러나
오케스트레이터가 자원 재배치를 수행할 수 있다[8]. 또한, 고성능 AI 연산은 막대한 전력을 소모하여, 특히 엣지 환경이나 데이터센터의 전력 제한 조건에서는 에너지 효율성 확보가 필수이다.

자원별 전력 소비를 지속적으로 측정할 뿐 아니라 발열이 심한 연산 패턴을 탐지함으로써 열 관리 및 전력 제한 알고리즘과 연계할 수 있다.

1. 이종 AI 반도체 시스템 구성

AI 연산은 기존 CPU 중심의 범용 컴퓨팅 구조만으로는 처리 효율을 만족시키기 어려운 한계에 직면하게 되었다.

이에 따라 GPU, NPU, FPGA, ASIC 등 다양한 특화 반도체가 등장하면서, 이들을 조합해 워크로드를 분산 처리하는 [그림 1]과

같은 이종 컴퓨팅 시스템이 주류로 자리 잡고 있다.

---------------------------------------------------------------------------------------------------------------------------------------------------------