위탁연구

내 용

◦과학기술정보 특화 LLM 성능 평가 지표 및 평가 방법 도출

- 기존 과학기술 특화 언어 모델 및 LLM 관련 평가 지표의 조사 및 분석

- 한국어/영문 과학기술정보에 대한 LLM 성능 평가 지표 및 평가 체계의 개발

◦과학기술정보 특화 LLM 성능 평가 데이터셋 구축

- 상기 개발된 평가 지표 및 평가 체계를 수행하기 위한 한국어/영어 평가 데이터 셋의 구축

- 해당 평가지표와 평가 데이터셋을 활용한 KISTI LLM (KONI)의 객관적 성능 평가 및 주요 공개 LLM과의 비교 수행

◦과학기술정보 특화 LLM 성능 평가

- 해당 평가지표와 평가 데이터셋을 활용한 KISTI LLM (KONI)의 객관적 성능 평가 및 주요 Open LLM들과의 비교 평가 수행

- 비교 평가 결과를 토대로 한 성능 개선 방안 도출