빌 게이츠 “AI로 10억명 사망할 수도”…석학들도 ‘인류 멸망’ 경고 [돋보기]

인공지능(AI)이 악용될 경우 최대 10억명의 사망자를 낳을 수 있다는 빌 게이츠 마이크로소프트(MS) 공동창업자의 경고에 이어 세계적인 AI 석학과 빅테크 핵심 연구자들이 최악의 경우 인류 멸망까지 초래할 수 있다고 경고했다.

AI가 스스로 AI 연구·개발(R＆D)에 참여하는 비중이 빠르게 늘면서 수년에 걸쳐 이뤄질 기술 발전이 불과 수개월로 압축되는 이른바 ‘지능 폭발’이 발생할 수 있다는 것이다.

28일(현지시간) 영국 케임브리지대 AI 과학·정책 프로그램(CASP)에 따르면 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 주요 AI 연구자 22명은 공동 논문 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’을 발표했다.

논문에는 ‘AI 대부’로 불리는 힌턴과 벤지오를 비롯해 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 MS 최고과학책임자, 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 핵심 연구진도 참여했다.

이들이 주목한 것은 AI가 단순히 인간의 업무를 대신하는 것을 넘어 ‘더 나은 AI를 만드는 일’까지 맡기 시작했다는 점이다.

현재 주요 기술기업에서는 AI 모델 개발 작업을 AI에 위임하는 자동화가 빠르게 진행되고 있다. 연구진은 이런 추세가 이어지면 AI가 더 뛰어난 AI를 개발하고, 그렇게 만들어진 AI가 다시 다음 세대 AI 개발에 투입되는 ‘재귀적 자기개선’으로 이어질 수 있다고 분석했다.

AI가 AI를 개발하는 시대…“수년 발전이 수개월로”이러한 순환 구조가 만들어지면 수년에 걸쳐 이뤄질 기술 발전이 수개월 또는 그보다 짧은 기간에 압축되는 ‘지능 폭발’이 일어날 수 있다는 게 연구진의 분석이다.

연구진은 수년 내 AI R＆D 업무 대부분이 자동화될 가능성도 제기했다. 다만 지능 폭발이 실제로 발생할지는 불확실하며 이를 확정적인 미래로 제시하지는 않았다.

지능 폭발이 현실화할 경우 신약 개발이나 과학적 발견 등 기술 혁신을 크게 앞당길 수 있지만, AI의 발전 속도가 사회의 대응 능력을 뛰어넘는 위험도 동시에 커질 수 있다고 연구진은 경고했다.

특히 논문은 가장 극단적인 경우 초인적 AI 시스템에 대한 통제력을 상실하면서 “인류의 소외 또는 멸망”으로 이어질 가능성까지 거론했다.

던 송 메타 부사장도 월스트리트저널(WSJ)에 “이미 오늘날 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다”며 “인간만으로는 감시를 수행하는 데 역부족”이라고 말했다.

“AI가 10억명 사망 초래할 수도”…게이츠도 경고

AI를 둘러싼 강도 높은 경고는 이번이 처음이 아니다.

빌 게이츠 MS 공동창업자는 지난 25일 공개된 NBC 인터뷰에서 악의적인 세력이 최신 AI 기술을 이용할 경우 대규모 인명 피해를 초래할 수 있다고 경고했다.

게이츠는 AI가 “10억명의 사망자를 발생시키는 사건을 일으킬 만큼 강력하다”는 취지로 말하며 악의를 가진 사람들이 최신 AI 도구를 사용하는 것만큼 강력한 수단은 지금까지 없었다고 지적했다.

그는 AI 기업의 자율 규제만으로는 부족하다며 미국 연방정부가 안전장치와 감시 체계를 마련해야 한다고 촉구했다.

게이츠와 이번 논문이 우려하는 위험의 경로에는 차이가 있다. 게이츠가 악의적인 세력에 의한 AI 악용에 무게를 뒀다면, 22명의 연구자는 AI가 AI 연구·개발을 자동화하면서 기술 발전 속도 자체가 인간의 통제 범위를 넘어설 가능성을 주요 위험으로 제시했다.

다만 정부 차원의 안전장치와 감시 체계가 필요하다는 점에서는 같은 목소리를 냈다.

연구진은 각국 정부가 AI 기업에 R＆D 자동화 수준과 관련한 지표를 의무적으로 보고하도록 하고, 원자력규제위원회(NRC)나 통화감독청(OCC)의 감독 방식처럼 AI 기업에 상주 감시관을 배치하는 방안을 제안했다.

안전 기준을 충족하지 못할 경우 AI 연구·개발 작업을 제한하거나 일시 중단할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화와 지정학적 불안정 등에 대비한 비상 대응 계획도 주문했다.

연구진은 ‘지능 폭발’이 실제 발생할지, 발생한다면 언제일지는 여전히 불확실하다고 봤다. 다만 급격한 기술 가속이 시작된 뒤에는 정부와 사회가 대응책을 마련하기에 이미 늦을 수 있다고 우려했다.

연구진은 “정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다”고 촉구했다.