과학기술정보통신부는 한국지능정보사회진흥원과 ‘독자 인공지능 기초 모형’의 AI 모델 성능을 평가하기 위한 데이터셋 구축 사업을 본격적으로 추진한다고 17일 밝혔다. 

이번 사업은 대부분 영어권의 평가지표였던 생성형 AI 서비스를 우리나라의 문화와 사회적 가치 등을 반영하고, 국내외 다양한 AI 모델의 성능을 객관적으로 진단하기 위해 마련됐다. 총 24억원을 투입해 국내 AI 모델에 대한 성능평가에 활용할 고품질 데이터셋을 구축하는 것이 목표다. 

이에 국내 정예팀이 개발한 AI 모델의 성능을 평가하기 위한 ‘성능 평가 데이터셋 구축 사업’ 수행기관을 공개 모집한다. 

올해에는 ▲LLM 수학 풀이 능력 평가 데이터 ▲한국형 지식을 평가하기 위한 주제별 질의 ▲정답 및 추론 데이터, 장문 문맥에서 다양한 과업에 대한 성능평가 데이터 등 3개 분야의 데이터셋을 구축할 계획이다. 향후에는 멀티모달, Agent 등 생성형 AI 모델의 다양한 영역을 평가하기 위한 데이터셋을 구축해 나갈 예정이다. 

사업 참여를 희망하는 기업 및 기관은 오는 8월7일까지 디지털 제안서 통합관리시스템을 통해 온라인으로 접수하면 되고, 초거대 AI 또는 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반의 인공지능 개발 역량을 갖춘 1개 이상의 기업·기관이 컨소시엄 형태로 지원해야 한다. 

과기정통부 김경만 인공지능기반정책관은 “국민이 체감할 수 있는 고성능 국내 독자 AI 파운데이션 모델을 확보하기 위해서는 그 성능을 평가하는 데이터셋도 국내 사회, 문화 환경 등이 반영돼야 한다”며, “이번 사업을 통해 구축한 성능 평가 데이터셋이 향후 국내 AI 개발기관이 활용할 수 있도록 공개할 계획”이라고 말했다. 중기이코노미 김범규 기자