코난테크놀로지, 과기정통부 '이종 AI반도체 추론·최적화 기술 개발' 과제 수주

[아이뉴스24 윤소진 기자] 인공지능 소프트웨어 전문기업 코난테크놀로지는 과학기술정보통신부가 추진하는 K-클라우드 기술개발 사업의 일환인 이종 AI반도체 기반의 분산 추론 및 모델 최적화 기술 개발 과제에 선정됐다고 29일 밝혔다.

과제명은 ‘이종 AI반도체용 분산 추론 및 모델 최적화 기술 개발’이다. 총 사업비 104억원 규모로 진행되며 2025년 4월부터 2029년 12월까지 약 4년 9개월간 수행된다. 주관연구개발기관은 한국전자통신연구원(ETRI)으로 공동 연구 컨소시엄에는 리벨리온, 서울대학교, 한국과학기술원이 포함됐다.

최근 LLM 기반 서비스 수요는 급증하고 있으나, 높은 추론 비용이 제약으로 작용하고 있다. 이를 해소하기 위해 NPU와 PIM 등 다양한 AI반도체를 활용한 최적화 기술과 분산 소프트웨어 개발의 중요성이 커지고 있다.

이번 과제는 다양한 종류의 AI반도체를 연동한 환경에서 효율적인 분산 추론 및 모델 최적화 기술을 확보하는 것이 목표다. 이종 AI반도체 환경에서 AI 모델을 유연하게 실행할 수 있는 서비스 프레임워크, 다양한 AI 가속기 기반 자원을 통합 관리하는 스케줄링 시스템, 그리고 실제 사용자 단말에서 구동 가능한 LLM-RAG 기반 통합 실증 서비스 등을 개발한다.

그 중 코난테크놀로지는 이종 AI반도체 환경에서의 LLM-RAG 분산 추론 통합 실증 서비스를 맡아 수행한다.

과제 연구개발 책임자인 오창민 코난테크놀로지 언어음성연구소 상무는 “국내 AI 인프라의 기술 자립을 위한 핵심 과제에 참여하게 돼 의미가 크다”며 “이종 AI반도체 기반 추론 환경에서 고도화된 실증 서비스를 현실화하고, 차세대 AI 인프라 상용화에 기여하겠다”고 밝혔다.