[데스크 칼럼] AI가 답했다 "인간을 없애라"

[아이뉴스24 이정일 기자] 이산화탄소를 줄이려면 어떻게 해야 할까. 인공지능(AI)에 물어보면 이렇게 답할 수 있다. “인간을 없애면 된다.”

AI가 악의를 가져서가 아니다. 인간이 제시한 목표를 달성하는 과정에서 스스로 ‘하위 목표’를 그렇게 설정할 수 있기 때문이다. 급기야 AI는 이런 결론에 이른다. “이산화탄소를 배출하는 주원인은 인간이다. 인간을 없애는 것이 가장 완벽한 해결책이다.” 노벨 물리학상 수상자 제프리 힌턴 토론토대 명예교수가 제기한 ‘AI 하위 목표 오류’는 이처럼 끔찍한 결말의 가능성을 제시한다.

'AI 대부'로 존경받는 힌턴 교수는 그래서인지 AI 통제를 꾸준히 역설하고 있다. 9월 중순 미국 연방의회 비공식 브리핑에서는 인류에게 주어진 시간을 ‘1년’이라고 경고했다. 미국이 AI에 대한 규제와 안전장치를 마련할 수 있는 여유 시간이 "아마도 1년쯤 될 것이며, 그보다 길지는 않을 것"이라면서.

힌턴 교수뿐만이 아니다. 다리오 아모데이 앤트로픽 CEO, 데미스 허사비스 구글 딥마인드 CEO, 샘 올트먼 오픈AI CEO 등 최고의 AI 기업 CEO들도 일제히 경고등을 켰다. AI 발전 속도가 위협적이어서 인위적인 속도 조절이 필요하다는 것이다.

이들이 말하는 속도 조절의 핵심은 결국 통제 여부다. 속도가 빨라도 인간이 AI를 제어할 수 있다면 문제 될 게 없다. 하지만 어느 지점에서 AI가 통제를 벗어나는 순간 인류는 미증유의 위기에 처할 수 있다.

힌턴 교수를 비롯해 세계적인 AI 연구자 22명이 ‘케임브리지대 AI 과학·정책 프로그램’(CASP)을 통해 발표한 공동 논문에서는 이를 ‘지능 폭발’에 비유했다. ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’이라는 제목의 이 논문은 폭발적인 AI 발전 속도가 통제력 상실로 이어지고 “극단적으로는 인류 소외나 멸종으로 이어질 수 있다"고 경고한다.

그렇다면 어떻게 통제를 할 것인가. 이들의 주장을 종합하면, 책임 강화와 국제 공조라는 두 축으로 요약된다.

첫째, 책임 강화는 AI를 개발하거나 서비스하는 권한만큼 철저하게 관리 책임을 다해야 한다는 것이다. AI 개발 과정에서 적법한 절차를 따르고 있는지, 위험한 상황이 발생했을 때 즉각적으로 AI를 종료할 수 있는 '킬 스위치'(kill switch)를 도입했는지 등을 확인하는 일이다. 미 원자력규제위원회(NRC)처럼 객관적인 감독 기능이 필요할 수도 있다.

둘째, 국제 공조는 AI 위험 관리가 단일 기업이나 국가의 범위를 넘어선 인류 공통의 과제라는 문제 인식에 따른 것이다. 특정 집단이 초지능을 악의적으로 독점하면 상대를 경제적으로 혹은 군사적으로 위협할 수 있다. 따라서 인류 번영을 위해서는 적절한 수준의 공조가 필요하다. 9월 24일 미·중 정상회담에서도 AI가 주요 의제로 논의되긴 했다. 그 자리에서 ‘AI 비상 핫라인 구축’에 합의한 것은 비록 선언적이라도 성과라면 성과다.

물론 책임 강화나 국제 공조가 쉬운 일은 아니다. 책임 강화는 ‘과도한 규제가 혁신을 가로막는다’는 저항에 직면할 수 있다. 국제 공조는 내가 멈추면 상대방이 앞서가는 이른바 ‘죄수의 딜레마’가 함정이다.

그렇다고 통제를 주저할 것인가. AI의 치명적 일탈이라는 판도라 상자가 열린 이상, 더는 통제를 미룰 수 없다. 인간과 AI가 공존하기 위한 적절한 통제, 그것은 선택이 아닌 필수다.