클라우드 기반 데이터 오케스트레이션

들어가며

최근 '오케스트레이션(Orchestration)'이라는 단어가 다양한 IT 분야에서 심심치 않게 등장한다.

이 용어는 본래 음악에서 여러 악기를 조화롭게 편성하고 지휘하는 과정을 의미하지만, IT 분야에서는 복잡한 시스템의

여러 요소를 효율적으로 조정하고 관리하는 의미로 자리 잡았다.

가장 흔히 접하는 대표적인 예로는 ‘컨테이너 오케스트레이션’을 들 수 있다. 쿠버네티스와 같은 플랫폼을 통해 수많은 컨테이너를

자동으로 배포, 확장, 관리하는 이 기술은 클라우드 네이티브 환경의 근간이기도 하다.

최근에는 복잡하게 진화하는 AI 애플리케이션을 효과적으로 개발/배포하기 위한 ‘AI 오케스트레이션’에 대한 관심이 높아지고 있다.

특히 대규모 언어모델(LLM)에 기반한 생성형 AI 애플리케이션의 경유 모델 구축/배포, 모니터링, 도구 연계, 에이전트 및 API 관리 등 복잡한 작업을 효과적으로 운용하기 위한 ‘오케스트레이션’ 역할이 중요시되고 있다.

AI 오케스트레이션 층은 여러 AI 모델과 관련 시스템 도구를 조화롭게 통합하고 관리하는 것을 말하며 복잡한 작업을 수행하기 위해

다양한 AI 기능을 효과적으로 조정하고 연결하는 것을 목표로 한다.

AI와 머신러닝 모델의 개발, 배포, 운영을 자동화하고 효율적으로 관리하기 위한 엔드투엔드(End-to-End)

프로세스를 지칭하는 MLOps와 AI 오케스트레이션이 지향하는 목표도 매우 유사하다고 볼 수 있다.

MLOps 파이프라인에서 데이터가 차지하는 비중은 매우 크다. (그림2) 데이터를 수집하고 정제한 후 이를 모델 학습에 활용하고,

이렇게 해서 배포된 모델을 기반으로 한 여러 AI 애플리케이션을 통해 수집되는 데이터가 또다시 모델 개발을 위해 활용된다.

즉 데이터 오케스트레이션은 AI 오케스트레이션과도 매우 밀접하게 연계되거나 혹은 이의 일부가 되기도 한다.

---------------------------------------------------------------------------------------------------------------------------------------------------------