LGU+ "AI 토큰 사용량 최대 90% 절감…내년 사업 추진"

[아이뉴스24 서효빈 기자] LG유플러스가 인공지능(AI) 서비스 운영 비용을 줄이기 위한 '토큰 최적화' 기술을 공개했다. 일부 내부 실증에서는 토큰 사용량을 90% 이상 줄이는 성과를 확인했다. 이를 바탕으로 내년부터 관련 사업을 본격 추진한다.

LG유플러스는 12일 기자 스터디를 열고 이 같은 AI 토큰 효율화 기술과 관련 연구 성과를 소개했다.

토큰은 AI가 정보를 처리하는 기본 단위다. 최근 AI 에이전트가 확산하면서 토큰 소비량도 빠르게 증가하고 있다. AI 에이전트는 이용자의 요청을 수행하기 위해 여러 단계의 추론과 도구 호출을 반복하기 때문이다.

이혜진 LG유플러스 기술전략담당은 "AI의 진짜 비용은 단순히 답변을 생성하는 데 드는 비용이 아니라 이용자가 원하는 업무를 완료할 때까지 발생하는 전체 비용"이라며 "AI 성능을 유지하면서 이 비용을 얼마나 줄일 수 있는지가 중요하다"고 설명했다.

AI 에이전트 토큰 사용량 90% 이상 절감…추론 효율 개선

LG유플러스는 AI 에이전트의 불필요한 작업을 줄이는 '하네스 엔지니어링'과 질문에 적합한 AI 모델을 자동으로 선택하는 '다이내믹 쿼리 라우팅' 등을 핵심 기술로 제시했다.

하네스 엔지니어링은 AI 에이전트가 업무를 수행할 때 불필요한 탐색과 반복을 줄이도록 실행 경로를 설계하는 기술이다. 다이내믹 쿼리 라우팅은 간단한 질문에는 소형 모델을 활용하고 복잡한 추론이 필요한 경우 고성능 모델을 선택해 비용을 절감한다.

이상엽 LG유플러스 최고기술책임자(CTO·전무)는 "사내 개발 환경에서 다양한 최적화 기술을 적용한 결과 일부 작업에서는 토큰 사용량을 90% 이상 줄일 수 있었다"며 "다만 업무의 특성에 따라 절감 효과가 다르기 때문에 일률적인 수치를 제시하기는 어렵다"고 말했다.

권기덕 LG유플러스 AX엔지니어링Lab장은 모델 라우팅 기술을 적용한 내부 실증에서 일반 업무의 토큰 사용량을 25% 이상 줄였다고 설명했다. 코딩 에이전트에서는 30% 이상의 절감 효과를 확인했다.

AI 모델 경량화와 추론 속도 개선도 추진하고 있다. LG유플러스는 통화 AI 서비스 '익시오'의 온디바이스 모델을 800MB 수준으로 줄였으며 소형 모델과 대형 모델을 함께 활용하는 기술을 통해 토큰 생성 속도를 2배 이상 높이는 성과도 확보했다.

AI 반도체 특성에 맞춰 추론 최적화…내년 토큰 사업 추진

LG유플러스는 AI 반도체의 특성에 따라 연산을 분산하는 기술도 개발하고 있다. 엔비디아 GPU와 AMD GPU, 퓨리오사AI의 신경망처리장치(NPU)를 조합해 AI 추론 과정의 효율을 높이는 방식이다.

이를 위해 엔비디아 기반 최적화는 오투AI와, AMD 기반 최적화는 망고스트와 협력하고 있다. 퓨리오사AI와도 2년 이상 관련 기술을 검토해 왔다.

LG유플러스는 이러한 기술을 기반으로 내년부터 토큰 관련 사업을 추진할 계획이다. 협력사와의 제휴 사업뿐 아니라 자체 인프라를 구축해 기업 고객의 AI 운영 비용을 줄이는 방안도 검토하고 있다.

김현민 LG유플러스 소버린클라우드사업팀장은 "내년부터 협력사와 함께하는 제휴 사업과 자체 구축 방식의 토큰 사업을 추진할 계획"이라며 "고객의 AI 활용 성과는 높이고 전체 이용 비용은 낮추는 것이 목표"라고 말했다.

정부가 추진하는 '모두의 AI' 사업에도 관련 기술을 적용한다. LG유플러스는 카카오와 컨소시엄을 구성해 사업에 참여하고 있으며 카카오가 이용자 접점을 맡고 LG유플러스가 AI 모델 서빙 영역을 담당할 예정이다.

이 CTO는 "토큰 100만개당 가격을 얼마나 낮췄는지만으로 경쟁력을 평가하고 싶지는 않다"며 "고객이 원하는 업무를 가장 효율적인 비용으로 처리할 수 있도록 하는 것이 궁극적인 목표"라고 강조했다.