제목 | [빅데이터분야] 데이터 수집·품질관리 솔루션 시장분석 |
---|
분류 | 성장동력산업 | 판매자 | 강정훈 | 조회수 | 44 | |
---|---|---|---|---|---|---|
용량 | 2.57MB | 필요한 K-데이터 | 11도토리 |
파일 이름 | 용량 | 잔여일 | 잔여횟수 | 상태 | 다운로드 |
---|---|---|---|---|---|
[빅데이터분야] 데이터 수집·품질관리 솔루션 시장분석.pdf | 2.57MB | - | - | - | 다운로드 |
데이터날짜 : | 2024-02-20 |
---|---|
출처 : | 국책연구원 |
페이지 수 : | 56 |
가. 정의 및 필요성
(1) 정의
☐ (데이터 수집·품질관리 솔루션) 다양한 데이터 소스로부터 데이터를
효율적으로 수집하고 통합하며, 데이터의 품질을 관리하기 위한 종합적
솔루션
❍ 대표적인 데이터 수집·품질관리 솔루션의 요소기술로는 데이터 크라우드소싱,
웹 스크래핑, 데이터 ETL, 데이터 표준화, 인공 데이터 생성, 데이터 오토라
벨링, 데이터 품질 식별 기술 등이 있음
- (데이터 크라우드소싱 기술) 다수의 사용자나 작업자가 데이터를 수집, 정제
또는 라벨링하고 이를 집합 지능을 활용해 대규모 데이터셋을 생성하는 기술
- (웹 스크래핑 기슬) 웹사이트에서 정보를 자동으로 수집하고 추출하는 기술로,
웹 페이지의 데이터를 구조화된 형태로 가져오는 기술
- (데이터 ETL) ETL은 추출(Extract), 변환(Transform), 로드(Load)의 약자로
데이터를 다양한 소스로부터 추출하고, 변환하여 필요한 형식으로 가공한 뒤,
데이터베이스나 저장소에 로드하는 데이터 처리 기술
- (데이터 표준화 기술) 다양한 데이터 형식과 구조를 통합하여 일관된 데이터
포맷과 표준을 적용하는 프로세스로, 데이터의 일관성과 상호호환성을 향상
- (인공 데이터 생성 기술) 주로 머신러닝 모델 훈련을 위한 목적으로 활용되며
기존 데이터를 기반으로 인공적으로 데이터를 생성하는 과정으로 데이터
증강 및 합성 기술과 연관
- (데이터 오토라벨링 기술) 머신러닝 모델을 활용하여 데이터에 자동·반자동
으로 라벨을 지정하는 기술
- (데이터 품질 식별 기술) 데이터의 정확성, 일관성, 완전성 및 신뢰성을 평
가하여 데이터의 신뢰성을 유지하고 문제를 식별하는 기술
-----------------------------------------------------------------------------------------------------
※ 본 서비스에서 제공되는 각 저작물의 저작권은 자료제공사에 있으며 각 저작물의 견해와 DATA 365와는 견해가 다를 수 있습니다.