[기자수첩] 오픈AI 아스트라가 '독파모'에 던지는 질문…'일 잘하는 AI' 어떻게 가릴까

[아이뉴스24 서효빈 기자] "범용인공지능(AGI)의 시대에 온 것을 환영한다."

그레그 브록먼 오픈AI 사장은 최근 새 AI 모델 'GPT-6 아스트라(Astra)' 공개 브리핑을 이 말로 마쳤다. 다소 과장된 표현처럼 들릴 수 있지만 아스트라가 보여준 성능을 보면 마냥 허풍으로 치부하기도 어렵다. 코딩과 장기 업무 수행, 컴퓨터 사용, 외부 도구 활용 등 실제 일을 수행하는 능력이 전작보다 크게 개선됐다는 평가가 잇따랐다.

그런데 정작 아스트라의 벤치마크 '성적표'는 이런 평가와 달랐다. 글로벌 AI 모델 평가 지표인 AAII v4.1.1에서 아스트라는 최대 추론 설정 기준 61점으로 전체 202개 모델 가운데 공동 5위에 그쳤다. 전작인 'GPT-5.6 Sol'과 같은 점수였다. 아스트라가 크게 개선한 에이전트형 능력이 기존 평가 항목에는 충분히 반영되지 않은 것이다.

이 대목에서 주목할 것은 정부의 '독자 AI 파운데이션 모델' 사업이다. 정부는 독파모 2차 평가에서 AAII를 비롯한 정량 벤치마크를 활용했다. 전문가와 전문 사용자, 일반 국민 평가도 함께 반영했지만 벤치마크가 모델 간 성능을 비교하는 주요 잣대였던 것은 사실이다.

평가 과정에서 '벤치맥싱' 논란도 불거졌다. AI 업계 관계자들에 따르면 해외 AI 데이터·학습 전문업체들은 지난 7월 서울에서 열린 세계 최대 머신러닝 학회 'ICML 2026'에서 국내 주요 AI 모델 개발사들에 데이터와 사후학습 관련 사업을 제안했다. 실제 애프터쿼리는 모티프테크놀로지스의 '모티프3' 개발 과정에서 데이터와 학습을 지원했다고 밝히기도 했다.

최근 AI 경쟁의 무게중심은 단순히 문제를 얼마나 많이 맞히느냐에서 실제 업무를 얼마나 잘 수행하느냐로 옮겨가고 있다. 웹을 탐색하고 프로그램을 조작하며 외부 도구를 활용해 복잡한 일을 끝까지 수행하는 '에이전트' 능력이 중요해지고 있다.

독파모 평가 방식이 이런 변화를 따라가지 못한다면 결국 좋은 모델이 아니라 단순히시험을 잘 보는 모델을 가려낼 가능성이 있다. 특히 특정 벤치마크에 맞춘 사후학습까지 가능해진 상황에서는 높은 점수가 실제 사용 환경에서의 성능을 그대로 의미한다고 보기도 어려워졌다.

벤치마크를 없애자는 얘기는 아니다. 서로 다른 모델을 동일한 조건에서 비교하려면 객관적인 정량 지표는 필요하다. 다만 몇 개의 시험 점수만으로 웹 탐색과 도구 활용, 장기 업무 수행 등 최신 AI의 실제 능력까지 충분히 가늠하기는 점점 어려워지고 있다.

독파모의 다음 평가도 '몇 문제를 맞혔는가'에서 한발 더 나아갈 필요가 있다. 장시간 업무를 안정적으로 수행하는지, 필요한 외부 도구를 제대로 활용하는지, 여러 단계를 거쳐 실제 결과물을 완성할 수 있는지 등을 보다 적극적으로 평가해야 한다.

정부가 독파모를 통해 가려내야 하는 것은 '시험 잘 보는 AI'가 아니라 '실제로 일 잘하는 AI'다. 아스트라가 독파모에 던지는 질문도 바로 여기에 있다.