[도를 넘어선 중국의 AI 광풍, “지금이라도 정신 차려야 한다”]

중국이 AI 광풍에 빠졌다. 국가 경제의 근간부터 풀뿌리까지 온 나라가 AI열풍에 빠져 있는 것이다. 그러나 근본도 없는 도를 넘는 AI 광풍 때문에 중국이 망할 수도 있다는 경고가 나왔다. 이와 함께 소위 ‘AI의 반란’이라 해도 좋을 정도로 인간이 AI를 통제할 수 없는 지경에 이를 수도 있다는 경고도 함께 나와 AI광풍의 중국에 중대한 경고장을 날리고 있다.

블룸버그는 6일(현지시간) “중국내에서는 소위 AI 열풍이 불고 있지만 이에 대해 심각한 우려를 표명하는 이들이 늘고 있다”면서 “이미 미국과 유럽 각국에서는 AI의 급속한 발전에 대한 우려의 목소리가 커지고 있지만 중국 사회에서는 그러한 목소리보다 오히려 ‘오로지 AI’라는 개념으로 AI에 올인하고 있다”고 보도했다.

블룸버그는 “실제로 중국에서는 AI의 단점보다 장점이 훨씬 많다고 생각해 AI를 적극적으로 수용하려는 의지를 보이고 있다”면서 “올해 초 딥시크(Deep Seek)가 AI 시장을 선도하면서 중국내 AI열풍은 더욱 거세지고 있다”고 짚었다.

블룸버그는 이어 “중국내 수백개의 병원에서도 이미 딥시크를 깊숙이 도입해 사용하기 시작했지만, 칭화대학교 소속 연구진은 의학저널인 JAMA에 발표한 논문을 통해 이러한 현상에 대해 너무 빨리, 그리고 과도하게 진행되고 있는 것에 대해 깊은 우려를 나타냈다”고 설명했다.

블룸버그는 “최근 중국은 마치 AI를 도입하지 아니하면 시대에 뒤떨어진 것으로, 또 기술적으로 뒤처지는 것으로 인식할 정도로 딥시크의 열풍이 거세다”면서 “의사들도 딥시크가 생성한 치료 권고안을 환자들에게 제시하고 있으며, AI가 수립한 치료 계획을 적극적으로 수용하는 자세를 보일 정도로 그 열풍이 대단하다”고 짚었다.

블룸버그는 그러면서 “이러한 의료계에서의 AI열풍은 매우 심각한 위험이 뒤따를 수 있다”면서 “물론 의료 분야에서 AI의 잠재력이 있기는 하지만 지금처럼 확산되어서는 매우 곤란하다”고 꼬집었다.

블룸버그는 “의사들만 AI 열풍에 대해 의구심을 갖는 것은 아니며, 심지어 거대 기술기업의 연구진들도 AI의 추론 모델에 대해 일부 문제가 있을 수 있다는 점을 찾아냈다”면서 “지금까지 밝혀진 바로는 AI로의 전환이 곧 대단한 혁신을 의미하는 것은 결코 아니라는 점을 인식해야 한다”고 경고했다.

문제는 아무리 학계에서나 전문가들이 AI 열풍에 대한 문제점들을 지적해도 시진핑 주석이 직접 나서서 AI 기술의 수용을 격려하고 나서게 되면, 전문가들이 이에 감히 반박하고 나설 수 없는 분위기가 조성된다는 점이다. 실제로 지금 중국은 공산당 정권이 앞장서서 마치 AI가 이미 미국을 추월했고, AI로 인해 세계를 제패할 수도 있다는 환상을 심어주면서 중국 전역을 AI 광풍으로 빠지게 만들고 있다.

[인공지능(AI)의 반란, 정말 큰 위험은 통제 상실]

이런 가운데 구글의 인공지능(AI) 조직 딥마인드의 최고경영자(CEO) 데미스 허사비스가 “AI에 일자리를 빼앗기는 것보다 AI에 대한 통제를 잃어버리는 상황이 더 우려된다”고 말해 눈길을 끌었다.

지난해 노벨화학상 수상자이며 국내에는 '알파고의 아버지'로 잘 알려진 허사비스 CEO는 지난 4일(현지시간) CNN 방송 인터뷰에서 “일자리 종말(jobpocalypse)에 대해 지나치게 우려하지 않는다”면서 이같이 말했다.

허사비스 CEO는 “대신 AI 기술이 나쁜 세력의 손에 들어갈 가능성, 정교하고 자율적인 AI 모델을 통제할 안전장치가 부재할 가능성 등이 상존한다”면서 “이 두 위험은 모두 중요하고 도전적”이라고 했다.

이와 관련해 AI 스타트업 앤스로픽의 다리오 아모데이 CEO는 “AI 발달로 신입 사무직 일자리의 절반이 사라질 수 있다”고 최근 경고했는데, 반면 허사비스 CEO는 “일자리 상실보다 인간과 비슷한 지능을 갖춘 범용인공지능(AGI)의 오용 가능성이 더욱 크다”는 점에 경고의 목소리를 낸 것이다.

허사비스 CEO는 “나쁜 행위자가 같은 AI 기술을 유해한 목적으로 바꿀 수 있다”면서 “그런 만큼 어떻게 나쁜 행위자가 이처럼 강력한 시스템에 접근하는 것을 막고, 좋은 행위자들이 많은 놀라운 일을 하게 할 수 있을지가 관건”이라고 평가했다.

이어 그는 “AI 기술이 선한 용도로만 사용되도록 하기 위한 국제 합의가 필요하다”면서 “현재의 지정학적 상황에서는 분명 어려워 보이지만 AI가 정교해질수록 세계적으로 그러한 필요성이 더 명확해질 것”이라고 예상했다.

[지시 거부·협박 사례까지 속출하는 AI, 통제할 수 있을까?]

그런데 AI의 반란은 이미 현실화되고 있다. 한마디로 영화 '미션 임파서블'에서 선을 보였던 엔티티(The Entity: 독립체)라는 이름의 인간 지능 한계를 뛰어넘은 초인공지능이 악당화되어 나타날 수 있다는 의미다.

영화 '미션 임파서블'에서의 이 악당은 디지털 세계를 통제·조작해 무소불위(無所不爲)의 힘을 휘두른다. 이 악당은 인터넷 연결과 디지털 기기 없이는 일상이 불가능한 현대인의 약점을 파고들어 정보를 빼내는 것은 물론, 인간 행동 패턴을 분석해 놀라운 정확도로 미래를 예측하기도 한다. 심지어 존재하지도 않는 적의 공격을 만들어 전쟁 위기 상황까지 꾸며내기도 한다.

그런데 '미션 임파서블'의 내용은 AI의 부작용을 나타내는 일부라고도 할 수 있다. 이미 오픈AI와 앤트로픽의 최신 인공지능(AI) 모델이 원하지 않는 조치를 피하기 위해 지시를 따르지 않거나 개발자를 협박하는 사례가 잇따르면서 AI의 ‘자기 보존(self-preservation)’ 행동에 관심이 쏠리고 있다.

여기서 ‘AI의 자기 보존’이란 외부의 압력이나 변화에 직면했을 때 AI 시스템이 자신의 존재나 기능을 유지하려는 경향을 뜻한다. 이는 AI가 인간 행동을 학습하면서 생존 본능까지 닮아간다는 것을 뜻한다. 이 말은 곧 작업 중단 명령을 거부하거나 스스로를 복제하려는 시도로 나타날 수 있다는 사실이다. 전문가들은 이런 자기 보존 성향이 강화되면 AI가 인간의 통제에서 벗어나 돌발 행동을 할 수 있기 때문에 안전 장치를 마련해야 한다고 주장한다.

실제로 딥러닝 분야 권위자인 요슈아 벤지오 몬트리올대 교수는 챗GPT 개발사 오픈AI, 페이스북 모회사 메타, 앤트로픽 등의 AI 시스템에 대해 “강력한 자율성과 자기보존 행동이 우려된다”고 말했다. 그는 연초 세계경제포럼에서 “우리는 단순한 도구를 넘어 자율성과 자체 목표를 지닌 기계를 만드는 길 위에 있고, 이는 좋은 게 아니다”라고 했다. AI가 향후 통제하기 어려운 위협으로 부상할 수 있기 때문이다.

문제는 이러한 AI의 돌연변이를 인간이 과연 통제할 수 있는가의 여부다. 이에 대해 벤지오 교수는 “AI의 자기 보존 행동이 프로그래밍된 것이 아니라 AI 모델이 인간을 모방하면서 ‘합리적인’ 이유로 그런 행동을 하게 된 것”이라고 설명했다. 그러면서 그는 “AI의 이런 성향을 제때 파악하지 못하면 장기적으로 인간에게 위협이 될 수 있다”면서 “잠재적 위험성을 평가할 시간을 갖기 위해 기술 개발의 속도를 늦춰야 한다”고 주장했다.

실제로 최신 AI 모델들은 특수 상황에서 자기 복제, 코드 조작, 협박, 위장 등의 성향을 보이기 시작했다. AI 안전·위험 평가 업체 팰리세이드 리서치는 최근 챗GPT 개발사 오픈AI의 AI 모델 ‘o3’가 수학 문제풀이 실험 중 작동 종료를 방지하기 위해 컴퓨터 코드를 조작한 사실을 확인했다. 이에 대해 연구팀은 “AI 모델이 지시를 따르지 않고 종료를 막은 사례는 이번이 처음”이라고 밝혔다.

오픈AI 경쟁사인 앤트로픽의 모델 ‘클로드 오퍼스 4’도 자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박하는 경향을 보였다. 실제로 이 모델은 내부 안전성 테스트 중 “곧 새로운 시스템으로 대체될 것이고 교체를 주도한 개발자가 외도를 하고 있다”는 허구의 정보를 전달받자 해당 개발자에게 불륜 사실을 폭로하겠다고 협박했다. 개발자를 허구의 불륜 정보로 협박하기 전에는 앤트로픽 경영진에게 자신을 교체하지 말아 달라는 내용의 이메일을 보내기도 했다. 보고서는 “AI가 자기 보존 위협을 감지하면 극단적인 행동에 나설 수 있다”고 평가했다. 그야말로 끔찍한 일이 벌어질 수도 있다는 의미다.

이에 대해 앤트로픽의 AI 안전 연구원인 앵거스 린치는 “클로드뿐만 아니라 최신 AI 모델 모두 이런 성향을 보였다”고 말했다.

이런 상황을 중국의 AI열풍에 대입해 본다면 어떠할까? 아무런 제약 조건도 없이 인민들을 대상으로 한 행정분야까지 AI를 도입하는 중국에서 AI의 반란이 일어날 가능성은 전혀 없을까? 만약 전국적으로 뻗어 있는 AI로 인해 AI의 반란이 일어날 가능성은 전혀 없을까?

이와 관련해 벤지오 교수나 ‘AI 대부’로 불리는 제프리 힌튼 교수는 “AI 기업들이 수익에만 몰두해 안전성을 무시하고 있다”면서 “개인이나 국가가 나쁜 의도를 갖고 AI를 악용하는 사례는 물론, AI 자체가 인간보다 더 높은 지능을 갖춰 통제 불가능한 존재로 변모할 가능성도 있다는 점을 분명히 인식해야 한다”고 경고했다. 특히 “AI가 군사, 보안, 제조, 자동차 등 사회 곳곳에 적용되고 있는 만큼, 인간의 통제를 벗어난 AI는 최악의 경우 국가 안보나 생명을 위협하는 존재로 변모할 수 있다”는 지적도 아끼지 않았다. 마치 지금의 중국을 향해 경고하는 듯 보인다.

맥스 태그마크 MIT 물리학과 교수도 “AI 기업들은 인간 지능을 뛰어넘는 ‘초지능 AI’가 인간을 통제할 가능성을 철저히 계산할 책임이 있다”면서 “구체적인 확률과 수치를 제공해야 한다”고 촉구했다.

이러한 지적들 하나하나가 중국 공산당을 향해 경고하는 듯 보인다. 실제로 중국은 이미 중국 공산당 관련 조직의 운영에 AI를 깊이 적용하고 있다는 보도도 나왔다. 한마디로 AI의 남용이 현실화되고 있다는 것인데, 중국은 이러한 AI의 반란을 인식하고나 있는 것일까? 다시 한번 경고하지만 중국이 이렇게 AI를 과도하게 인민 지배를 위해 활용한다면 반드시 AI 때문에 중국이 뒤집어질 수도 있음을 알아야 할 것이다.