과학기술정보통신부(장관 배경훈, 이하 ‘과기정통부’)는 한국지능정보사회진흥원(원장 황종성, 이하 ‘NIA’)과 ｢독자 인공지능 기초 모형(독자 AI 파운데이션 모델)」 사업에 참여할 정예팀이 개발한 AI 모델의 성능을 평가하기 위해 ｢성능 평가 데이터셋 구축 사업｣ 수행기관을 7월 17일부터 8월 7일까지 공개 모집한다고 밝혔다.

  동 사업은 ｢독자 인공지능 기초 모형(독자 AI 파운데이션 모델)」 프로젝트의 일환으로, 국내 AI 모델에 대한 성능평가에 활용할 데이터셋을 구축하는 것을 목표로 한다.

  그간 글로벌 빅테크 기업을 필두로 다양한 생성형 AI 서비스가 등장하였으나, 대부분의 성능평가에서는 영어권의 평가지표가 활용되며, 국내의 서비스 이용환경 등을 충분히 반영하지 못한다는 한계가 있었다.

  이에, 우리나라의 문화, 사회적 가치 등을 반영하고, 국내외 다양한 AI 모델의 성능을 객관적으로 진단하기 위해 총 24억원(총 3개 과제, 과제별 8억원)을 투입하여 고품질 성능 평가 데이터셋 구축을 추진한다.

  이를 위해, AI 모델 개발 및 평가 방법 분야의 국내외 산학 전문가 의견 수렴 및 검토를 거쳐 성능평가 데이터셋 구축 분야를 발굴하였다. 올해에는 우선적으로 ①LLM의 수학 풀이 능력 평가 데이터(수학 분야), ②한국형 지식을 평가하기 위한 주제별 질의-정답 및 추론 데이터(지식 분야), ③장문 문맥에서 다양한 과업에 대한 성능평가 데이터(장문이해 분야) 등 3개 분야의 데이터셋을 구축하는 한편, 향후에는 멀티모달, Agent 등 생성형 AI 모델의 다양한 영역을 평가하기 위한 데이터셋을 구축해 나갈 계획이다.

  한편, 사업 참여를 희망하는 기업·기관은 초거대 AI 또는 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반의 인공지능 개발 역량을 갖춘 기업·기관이 1개 이상 수행기관 컨소시엄에 포함되어야 한다.

  과기정통부 김경만 인공지능기반정책관은 “국민이 체감할 수 있는 고성능 국내 독자 AI 파운데이션 모델을 확보하기 위해서는 그 성능을 평가하는 데이터셋도 국내 사회ㆍ문화 환경 등이 반영되어야 한다”라며, “이번 사업을 통해 구축한 성능 평가 데이터셋은 정예팀 뿐만 아니라 향후 국내 AI 개발기관이 활용 할 수 있도록 공개할 계획이며, 국내 AI 생태계 경쟁력 강화에 기여할 것으로 기대한다”고 밝혔다.