“통제력 잃어 가는 AI…핵무기처럼 관리해야”

‘AI 3대 대부’ 벤지오 캐나다 몬트리올대 교수

“은행 시스템 마비되면 매우 심각
국제적 안전장치 함께 마련해야”

업계, 속도조절론 실행 방식 이견
유엔 사무총장도 “경쟁보다 공조”

인공지능(AI) 분야의 세계적인 권위자이자 ‘AI 3대 대부’로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수가 “인류가 AI 통제력을 잃고 있다”며 핵무기 통제에 준하는 국제적 안전장치 마련을 촉구했다. 최근 빅테크를 중심으로 불붙은 ‘AI 속도조절론’도 개발 속도 지연을 넘어 통제 장치를 실제 어떻게 마련할지를 둘러싼 논쟁으로 옮겨 가고 있다.

벤지오 교수는 지난 15일(현지시간) AFP 인터뷰에서 “기업들조차 속도가 너무 빨라 통제력을 잃어 가고 있다고 말하는 데는 이유가 있다”고 경고했다. 가장 우려한 것은 사람의 개입 없이 스스로 판단하고 행동하는 AI 에이전트다. AI가 사이버 보안망을 뚫고 기업 시스템에 침투하거나 사람을 설득해 자신에게 유리한 행동을 하도록 만들 수 있다는 것이다. 장기적으로 AI가 현실 세계에서 행동하는 데 인간 도움조차 필요하지 않을 수 있다고 봤다.

벤지오 교수는 극단적인 결과로 인류의 멸망까지 거론했다. 그는 은행 시스템이 마비되는 수준에 그치더라도 “매우 심각한 문제”라며 핵무기처럼 국제사회가 함께 관리해야 한다고 강조했다. 벤지오 교수는 현대 AI의 토대가 된 딥러닝을 개척한 공로로 제프리 힌턴 교수 등과 2018년 튜링상을 받았다. 최근에는 AI 통제 상실 가능성을 경고하며 안전장치 마련을 촉구해 왔다.

AI 글로벌 공조 필요성도 힘을 받고 있다. 안토니우 구테흐스 유엔 사무총장은 이날 “AI 안전을 두고 바닥을 향한 경쟁을 벌여서는 안 된다”며 국제 공조를 촉구했다. 스콧 베선트 미 재무장관은 이번 주말 중국 측과의 회담에서 AI 안전과 거버넌스를 논의할 수 있다는 뜻을 밝혔다. 오는 24일 미중 정상회담을 앞두고 샘 올트먼 오픈AI 최고경영자(CEO)와 젠슨 황 엔비디아 CEO 등 미국 기술기업 수장들도 국빈만찬 참석자로 거론되고 있다.

AI 업계에서는 속도조절의 구체적인 실행 방식에 대한 갑론을박이 한창이다. 외부 평가 강화에는 대체로 뜻이 모이지만 로이터는 안전 검증 주체를 기업에 맡길지, 외부 평가기관이나 정부가 담당할지를 놓고 업계 내 이견이 이어진다고 전했다.

무스타파 술레이만 마이크로소프트(MS) AI CEO는 앤트로픽이 클로드에 AI의 의식이나 도덕적 지위를 숙고하도록 훈련하는 방식이 향후 시스템을 “통제하거나 종료하기 더 어렵게 만들 수 있다”고 지적했다. 오픈AI는 16일 모델의 이상행동을 추적·조사·공개하는 새 체계를 내놓고 최근 6개월간 사례 6건을 공개했다. 회사는 이상행동을 확인하면 원인이 완전히 규명되지 않았더라도 보다 신속히 공개하겠다는 방침이다.