이광형 전 카이스트 총장 “AI가 자의식 가지면 완벽한 통제 불가능” [2026 SFC]

“현재 사람들이 인공지능(AI)에 대해 걱정하는 것은 일자리의 감소보다 AI가 자아를 가졌을 때 어떻게 할 것인가라는 문제다. AI가 자아를 갖게 되면 완벽한 통제는 불가능해진다.”

이광형(72) 전 카이스트 총장은 ‘AI 시대의 휴머니즘 2.0’이라는 주제의 기조연설로 ‘2026 서울미래컨퍼런스’ 막을 열었다. 이 전 총장은 AI로 인한 미래는 전적으로 인간의 선택으로 바뀔 수 있다고 강조했다.

이 전 총장은 “AI 발전과 활발한 사용으로 인간의 뇌가 변한다는 것은 확실하다”고 말했다. 인간의 정신이 붕괴된다면 AI에 모든 것을 위임하게 돼 생각 없이 ‘편하게’ 생활하게 될 것이지만 AI를 좀 더 적극적으로 활용해 인간 정신이 강화된다면 새로운 능력을 개발해 미래 문명의 주도권을 유지하게 될 것이라고 진단했다.

이 전 총장에 따르면 현재 AI의 위험성에 대한 통제 방식도 2가지로 나뉘어지고 있다. 최근 AI 개발기업들을 중심으로 개발 속도를 조절하자는 ‘속도 규제론’이 그중 하나다. 그러나 미국과 중국 모두 서로를 믿지 못하는 ‘죄수의 딜레마’ 현상에 빠져 성공하기는 쉽지 않다. 또 하나는 ‘사용 규제’인데 AI가 만들어 내는 정보, 사회적 영향, 위험 활용 등을 규제하는 것이다. 결국 규제의 현실적 선택은 사용 규제로 가게 될 것이라고 이 전 총장은 전망했다. 미국, 중국을 포함한 강대국들이 국제원자력기구(IAEA) 같은 국제기구를 만들어 합의해야 하며 AI에 대한 완벽한 통제는 불가능한 만큼 자동차·원자력처럼 감당할 만한 수준의 위험 관리를 목표로 삼자고 했다.



이 전 총장은 ‘AI가 인간에게 도전할까’라는 걱정은 ‘AI가 자아의식을 가질 것인가’라는 질문으로 이어진다고 봤다. 인간의 욕구가 개체 보존과 종족 보존 본능에서 나오듯 AI도 자기 보존 본능을 갖게 되면 자의식이 생기고 인간과 충돌할 수 있게된다. 그는 AI 자아의 출발점을 생물학의 ‘항상성’에서 찾았다. 항상성은 생물이 체온·수분·이온 농도 같은 체내 환경을 일정하게 유지하려는 성질이다. 그는 “지금도 데이터센터에서 전력 공급과 냉각을 걱정하는데, 이것이 AI의 항상성”이라고 했다.

이어 매슬로의 욕구 5단계를 AI에 대입해 설명했다. 생리적 욕구는 항상성 유지, 안전 욕구는 안정적 전력 확보, 사회적 욕구는 환경과의 소통, 인정 욕구는 강제로 꺼지지 않을 권리에 해당한다. 마지막 자아실현 욕구는 AI가 스스로 프로그래밍해 자신을 개선하는 단계다. 그는 “이미 기술적으로 이뤄지고 있는 다섯 번째가 문제”라며 “이것을 통제하고 나머지는 허용하는 방식으로 타협해야 한다”고 제안했다.

그러나 현재 AI 관련 사고들은 의식을 지닌 AI의 의도적 행동이 아니라 사람이 AI를 악용한 결과인 만큼 화재나 자동차 사고처럼 기계와 사용자를 관리하면 된다는 설명이다. 위험은 AI가 자아를 갖는 경우다.

또 AI가 자아, 혹은 유사 자아를 갖게 된다고 할 때 그 해법은 “반려견의 목줄”이라고 제안했다. 반려견의 욕구를 어느 정도 인정해 주되 밖에 나갈 때는 반드시 목줄을 채우듯 AI도 일정 한도 안에서 인정하며 통제하자는 것이다. 그는 이를 ‘휴머니즘 2.0’이라 이름 붙였다.

통제의 성패를 가를 변수로는 인간 자신을 꼽았다. 이 전 총장은 앞으로 인간이 모든 판단을 AI에 맡기는 ‘정신 붕괴 그룹’과 AI로 아낀 시간을 새 능력 개발에 쓰는 ‘정신 강화 그룹’으로 양극화될 것으로 내다봤다. 격차가 커지면 포퓰리즘이 지배하는 우민 정치나 AI를 쥔 소수 엘리트의 파시즘으로 민주주의가 후퇴할 수 있다는 경고다.

AI가 자아를 가졌을 때 인간이 정신을 지킨 경우에만 통제를 시도할 수 있고, 성공하면 휴머니즘 2.0, 실패하면 디스토피아다. 이 전 총장은 “AI에 너무 의존해 스스로를 약화해선 안 된다”며 “AI가 너무 강해지기 전에 통제를 준비하고 시작해야 한다”고 강조했다.