과기정통부, '독파모' 학습 데이터 29종 개방⋯1.56조 토큰 규모

[아이뉴스24 최효경 기자] 과학기술정보통신부(부총리 겸 과학기술정보통신부 장관 배경훈, 이하 과기정통부)와 한국지능정보사회진흥원(원장 김형철, 이하 NIA)은 '독자 AI 파운데이션 모델' 프로젝트 정예팀이 1차 단계평가 과정에서 확보한 총 29종의 데이터를 AI허브 누리집에 공개한다고 27일 밝혔다.

약 3544만건, 약 1.56조 토큰 규모로 개방된 이번 데이터는 5개 정예팀이 각자의 개발 전략에 맞춰 기획해 데이터 구축·가공 예산을 통해 확보한 것이다. 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트에 참여한 정예팀은 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원 등이다.

네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 해당 영상클립 기반의 텍스트 1550만 건과 음성 질의응답 1200만 건을 구축했으며 업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후 학습 데이터를 확보했다.

SK텔레콤은 수학·과학·법률 등 전문 도메인 영역의 고난도 다단계 추론데이터, 음성·이미지 등 사후학습용 데이터와 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건을 마련했다.

NC AI는 제조 분야 기술문서, 민원 상담 음성 등 현장의 실제 데이터를 기반으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의 응답, 멀티 모달리티 등 거대언어모델(LLM) 핵심 역량 데이터 7종을 축했다. LG AI연구원은 한국 가정환경에 최적화된 피지컬AI 멀티모달 데이터셋을 모았다.

NIA·한국정보통신기술협회(회장 손승현, 이하 TTA)는 '독자 AI 파운데이션 모델' 사업 공고상 참여조건에 따라 1차 단계평가 완료 후 각 정예팀으로부터 구축·가공 예산을 통해 확보한 데이터 전체를 제공받았다. 이후 데이터 품질검증, 개인정보·유해성 검증, 라이센스 제약 데이터 제외 등 조치를 진행했다.

29종의 데이터는 국내 기업, 연구자, 학생 등 누구나 AI허브를 통해 무료로 다운로드 받아 활용할 수 있다. 과기정통부는 향후 2차 단계평가 과정에서 데이터 구축·가공 예산을 통해 구축된 데이터에 대해서도 품질검증 등을 거쳐 개방을 진행할 예정이다.