가. 정의 및 필요성
(1) 정의

☐ (데이터 수집·품질관리 솔루션) 다양한 데이터 소스로부터 데이터를
효율적으로 수집하고 통합하며, 데이터의 품질을 관리하기 위한 종합적
솔루션

❍ 대표적인 데이터 수집·품질관리 솔루션의 요소기술로는 데이터 크라우드소싱,
웹 스크래핑, 데이터 ETL, 데이터 표준화, 인공 데이터 생성, 데이터 오토라
벨링, 데이터 품질 식별 기술 등이 있음
- (데이터 크라우드소싱 기술) 다수의 사용자나 작업자가 데이터를 수집, 정제
또는 라벨링하고 이를 집합 지능을 활용해 대규모 데이터셋을 생성하는 기술
- (웹 스크래핑 기슬) 웹사이트에서 정보를 자동으로 수집하고 추출하는 기술로,
웹 페이지의 데이터를 구조화된 형태로 가져오는 기술
- (데이터 ETL) ETL은 추출(Extract), 변환(Transform), 로드(Load)의 약자로
데이터를 다양한 소스로부터 추출하고, 변환하여 필요한 형식으로 가공한 뒤,
데이터베이스나 저장소에 로드하는 데이터 처리 기술
- (데이터 표준화 기술) 다양한 데이터 형식과 구조를 통합하여 일관된 데이터
포맷과 표준을 적용하는 프로세스로, 데이터의 일관성과 상호호환성을 향상
- (인공 데이터 생성 기술) 주로 머신러닝 모델 훈련을 위한 목적으로 활용되며
기존 데이터를 기반으로 인공적으로 데이터를 생성하는 과정으로 데이터
증강 및 합성 기술과 연관
- (데이터 오토라벨링 기술) 머신러닝 모델을 활용하여 데이터에 자동·반자동
으로 라벨을 지정하는 기술
- (데이터 품질 식별 기술) 데이터의 정확성, 일관성, 완전성 및 신뢰성을 평
가하여 데이터의 신뢰성을 유지하고 문제를 식별하는 기술

-----------------------------------------------------------------------------------------------------