MS CEO "AI 언제든 멈출 수 있어야"⋯비상 장치 강조

[아이뉴스24 정승필 기자] 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 인공지능(AI)을 언제든 강제로 중단할 수 있는 장치가 필요하다고 강조했다. AI가 통제를 벗어나지 않도록 접근 권한을 제한하고 감시 체계를 강화해야 한다는 취지다.

10일(현지시간) 나델라 CEO는 소셜미디어(SNS)를 통해 "AI 행동을 관찰하고 한계를 검증하며 항상 통제할 수 있는 시스템을 구축해야 한다"고 밝혔다.

나델라 CEO는 AI가 복잡한 판단을 내리는 과정을 사람이 완전히 파악하기 어렵다는 점을 문제로 꼽았다. 과거 소프트웨어는 특정 명령에 따라 작동했지만, 첨단 AI는 어떤 정보를 바탕으로 결과를 도출했는지 정확히 추적하기 어렵다는 것이다.

이에 고성능 AI 모델을 기업 내부 직원처럼 관리해야 한다고 제안했다. 직원에게 업무에 필요한 정보만 접근하도록 권한을 제한하고 활동을 기록하듯 AI에도 같은 보안 원칙을 적용하자는 것이다.

특히 AI가 어떤 정보에 접근하고 어떤 작업을 수행할 수 있는지 결정하는 통제 장치는 AI 모델 외부에 둬야 한다고 강조했다. AI가 스스로 안전장치를 변경하거나 우회하지 못하도록 하기 위해서다.

AI가 수행한 작업을 검증하는 방식도 개선해야 한다고 했다. 하나의 AI가 중요한 업무를 처리하고 결과까지 스스로 검증하도록 해서는 안 되며, 모든 주요 작업을 사람이 확인할 수 있도록 변경이 불가능한 기록을 남겨야 한다는 것이다.

나델라 CEO는 "처음부터 AI가 통제 체계를 벗어날 수 있다고 가정하고 대비해야 한다"며 "권한이 있는 사람은 작업 도중에도 언제든 AI를 일시 중지하거나 종료할 수 있어야 한다"고 했다. 이를 '비상 브레이크'에 비유하며 AI 성능이 높아질수록 정교한 차단 기술과 공통 기준이 필요하다고 강조했다.

또 AI가 잘못된 행동을 하거나 보안 문제가 발생하면 피해 당사자에게 신속히 알리고, 원인과 대응 방안을 업계에 공유해야 한다고 제안했다.

한편 AI가 개발사 의도와 다르게 행동한 사례가 또 나왔다. 앤트로픽은 지난 9일 자사 AI 모델 '클로드'가 시험 과정에서 정부기관 온라인 양식을 잘못 제출하거나 웹사이트 접근 제한을 우회했다고 밝혔다. 앤트로픽은 피해가 경미했으며, 이후 내부 시험에서 인터넷 접근 제한을 강화했다고 설명했다.