언젠가 인공지능이 대재앙을 일으킬 가능성을 걱정하며 기다릴 필요는 없다. 인공지능이 지금 이 순간 우리 사회 곳곳에서 어떤 혼란과 파괴를 일으키고 있는지 이미 확인할 수 있다.

AI의 능력을 실제보다 과장하면서 전쟁이나 의료 같은 분야에서 AI 활용이 늘어났다. 하지만 AI는 아직 본격적으로 투입할 준비가 되지 않았고, 기술에 익숙하지 않은 사람들은 AI가 틀리거나 사실을 지어낸 경우에도 그 결과를 그대로 믿기 쉽다. 사진은 지난 9월 16일 영국에서 열린 반AI 집회. 출처: pull the plug 페이스북

AI가 우리 모두를 죽이게 될지를 둘러싼 격렬한 논쟁이 벌어진 지도 벌써 몇 주가 지났다. 주요 AI 기업에서 일했던 전직 직원들이 잇따라 나서서, 미래의 초지능 AI가 인류 멸종으로 이어질 수 있다고 경고하면서 논쟁에 불이 붙었다. 이후 온갖 견해가 쏟아졌지만, 이를 깔끔한 이념적 구도로 나누기는 어렵다. 어떤 이들은 이 모든 것이 허튼소리라고 본다. AI를 잘 모르는 사람들이 만들어낸 과장에 불과하거나, 업계 스스로 벌이는 냉소적인 홍보전의 일부라는 것이다. 반면 이 기술이 실제로 엄청난 능력을 갖게 될 수 있다고 믿는 사람들은 이런 경고를 매우 심각하게 받아들여야 한다고 주장한다.

하지만 여러 면에서 보면 이 논쟁은 핵심에서 비껴나 있다. 그렇다고 허깅페이스(Hugging Face) 해킹 사건에서 정확히 무슨 일이 벌어졌는지 끝까지 파헤칠 필요가 없다거나, 통제를 벗어난 AI 에이전트나 우리의 생존 자체를 위협할 수 있는 미래의 초지능 AI를 걱정하지 말아야 한다는 뜻은 아니다. 문제는 우리가 AI라고 부르는 것이 이미 인류에게 심각한 위험을 안고 있다는 사실을 충분히 보여줬으며, 초지능에 근접하기는커녕 아직 한참 멀었는데도 이미 막대한 피해를 일으키고 있다는 데 있다.

올봄 AI가 미국과 중국 사이에서 “하마터면 전쟁을 일으킬 뻔했다”는 사실을 생각해보자. CNN에 이 사건을 전한 한 소식통의 표현이다. 특수작전사령부 소속 한 분석관은 중동을 항해하던 중국 선박의 화물을 조사해 보고서를 작성하면서 챗봇을 이용했다. 그런데 챗봇은 그 배가 핵무기 프로그램에 쓰이는 부품을 싣고 있다고 없는 사실을 지어냈다. 이를 근거로 미군은 해당 선박을 가로막아 승선하기 위한 작전에 나섰고, 병력은 총까지 들었다. 군용기들까지 이미 이륙한 상태였다. 이후 관계자들이 보고서를 다시 조사해 그것이 AI가 만들어낸 터무니없는 내용이라는 사실을 알아차린 뒤에야 작전을 취소했다.

CNN에 따르면 이 사건은 두 가지 흐름이 겹치면서 벌어졌다. 하나는 이른바 ‘AI 네이티브’인 젊은 분석관들이 이 기술에 지나치게 의존하고 과도하게 신뢰하는 경향이고, 다른 하나는 피트 헤그세스(Pete Hegseth) 국방장관 아래에서 미 국방부가 AI 도입을 공격적으로 밀어붙이고 있다는 점이다. 미국과 중국이 직접 전쟁을 벌인다면 그 위험은 두 나라에만 국한되지 않고 전 세계로 번질 수 있다는 점도 기억할 필요가 있다. 세계적인 불황으로 이어질 가능성이 큰 데다, 두 나라가 군사적으로 충돌할 경우 핵전쟁으로 번질 위험도 크기 때문이다. 그런 사태야말로 실제로 인류의 생존을 위협할 수 있다.

이 사건은 지금 이 순간 실제로 존재하는 AI의 위험을 압축해서 보여준다. 우리는 가상의 초지능 AI 에이전트가 미래에 불러올 파국적 가능성에 지나치게 매달린 나머지, AI가 이미 현실에서 피해를 일으키고 엄청난 위험을 만들어내고 있다는 사실을 잊고 있다. 그 이유는 AI가 인간보다 더 똑똑해서가 아니다. AI는 결함이 많고 오류를 자주 내는 기술인데도, 우리는 그것을 삶의 거의 모든 영역에 서둘러 끼워 넣고 있기 때문이다.

전쟁도 예외가 아니다. 중국 선박 사건이 벌어지기 훨씬 전부터, 군이 AI를 군사작전에 끌어들이면서 수많은 무고한 사람들이 끔찍하게 목숨을 잃는 데 AI가 직접적인 역할을 했다. 가장 최근 사례로는 트럼프 행정부가 수십 명의 이란 여학생을 죽인 사건이 있다. 당시 군이 팔란티어의 AI 도구 메이븐(Maven)을 신뢰한 것이 참사로 이어진 일련의 잘못된 의사결정에서 중요한 역할을 했다.

미 중부사령부 관계자들은 표적을 선정하는 데 예전에는 몇 시간씩 걸리던 작업을, 관련 정보 자료를 메이븐에 입력하는 방식으로 불과 몇 분 만에 끝냈다고 전해진다. 이들은 AI 도구가 오류가 있으면 알아서 찾아내고 표시해줄 것이라고 단순히 믿었다. 하지만 메이븐은 그렇게 하지 못했다. 그보다 앞서 가자 전쟁에서는 AI가 훨씬 더 파국적인 방식으로 활용됐다. 이스라엘군이 가자지구를 무차별적으로 초토화하는 과정에서 AI 기반 표적 선정 시스템이 핵심적인 역할을 했다.

하지만 이런 사례는 AI가 사람을 죽이는 데 가장 노골적으로 사용된 경우일 뿐이다. AI가 사회에 끼치는 해악 가운데 상당수는 훨씬 더 은밀하게 진행되고 있다.

AI를 대중에게 풀어놓은 뒤, 이제는 널리 기록된 현상이 하나 나타났다. 매사추세츠공과대학교 연구진이 ‘인지적 항복(cognitive surrender)’이라고 부른 현상이다. 마감에 쫓기고 성공해야 한다는 압박을 받는 대학생들이 대거 AI에 의존해 에세이를 대신 쓰게 하고 각종 과제를 처리하게 됐다. 이런 방식으로 AI를 사용하는 학생 비율은 이제 무려 95%에 이르렀다.

자기 생각 자체를 기계에 맡기면서, 젊은 졸업생들은 전공 분야를 제대로 배우지도 못한 채 학교를 나오고 있을 뿐 아니라 실제 사고 능력마저 약해지고 있다. 기억력은 떨어지고, 지적 난관을 끈기 있게 헤쳐 나가는 능력도 약해지며, 비판적 사고 능력은 사라지고 있다. 평소라면 AI 산업을 열렬히 지지하던 월가 금융회사들조차 막상 AI 시대에 배출된 젊은 인력을 채용해보니 별로 만족하지 못하고 있다. 새로 들어온 젊은 직원들이 놀랄 만큼 피상적으로 사고한다는 것이다. 상황이 얼마나 심각한지, 학생들 스스로도 AI에 계속 의존하면서 동시에 이 기술이 자신의 비판적 사고 능력을 약화시키고 있다고 느낄 정도다.

한편 사람들은 심리상담이나 개인적인 고민을 해결하기 위해 AI를 찾고 있는데, AI 챗봇은 심각한 문제를 겪던 사람들이 저지른 여러 건의 자살과 심지어 살인 사건에도 연관돼 왔다. 그중에는 청소년도 적지 않았다. 문제는 이 기술이 인간이 아니고 전문적인 정신건강 지식도 갖추지 못했다는 점에만 있지 않다. AI는 사용자의 기분을 맞춰주고 만족시키며 가능한 한 오래 대화를 이어가도록 설계돼 있다. 그 결과 이런 비극에서 챗봇은 사용자를 전혀 돕지 못하는 수준에 그치기도 했고, 때로는 사용자의 망상을 부추기거나 스스로 또는 다른 사람을 해치도록 적극적으로 돕는 역할까지 했다.

게다가 정신적으로 별다른 문제가 없던 사람들조차 AI의 치명적으로 잘못된 조언 때문에 자신을 위험에 빠뜨린 사례가 있다. 챗GPT가 식단에서 소금을 빼고 대신 과거에 진정제로 쓰이던 물질을 섭취하라고 조언했을 가능성이 있는 탓에 병원에 입원한 남성이 있었다. 구글 제미나이가 필요한 양보다 훨씬 적은 음식과 물만 챙기라고 권해 거의 목숨을 잃을 뻔한 등산객들도 있었다. 한 목사는 챗GPT가 병원에 가지 말라고 조언한 뒤 폐색전증으로 죽을 뻔했다. 또 한 고령의 신경과학자는 자신의 의사보다 AI가 만들어낸 허위 정보를 더 믿게 되면서 암 치료를 미뤘다. 이와 비슷한 사례는 이 밖에도 수없이 많다.

이는 AI 챗봇과 다른 AI 도구들이 자신이 무슨 말을 하는지 제대로 알지 못하는 경우가 많기 때문이다. 심지어 한 AI 서비스 제공업체가 실시한 연구에서는 17개의 대규모 언어모델(LLM)이 금융 관련 질문 다섯 개 가운데 두 개에만 정확히 답했다. 또 다른 연구에서는 법률 관련 답변의 58~88%에서 AI가 사실이 아닌 내용을 지어내는 것으로 나타났다.

또 다른 연구에 따르면 AI 챗봇은 사용자가 잠재적으로 해로운 말을 해도 거의 절반에 해당하는 47%의 경우 이에 아첨하듯 동조했다. 의료 조언에서는 특히 우려스럽다. 한 연구에서 AI가 의료 질문에 정확히 답한 비율은 76%에 불과했다. 대학 과제라면 통과할 만한 점수일 수 있지만, 한 번의 오답이 사망이나 장애로 이어질 수 있는 의료 현장에서는 형편없는 수준이다.

문제는 챗봇에만 국한되지 않는다. AI를 여러 전문 분야에 빠르게 도입하면서 부작용이 잇따르고 있다. 변호사들이 AI가 만들어낸 오류가 포함된 서면을 계속 법원에 제출하면서 법원의 제재 건수도 늘고 있다. 재판부 쪽에서도 연방판사 두 명이 오류투성이 법원 명령을 작성하는 데 AI에 의존했다는 의혹이 제기됐다. 미국 정치체제에서 법원이 막강한 권한을 갖고 있고, 판사들이 민사상 책임에서 폭넓게 보호받는다는 점을 고려하면 심각한 문제다. 수술에 사용하는 의료기기에 AI를 적용한 뒤 부상 사례도 잇따랐다. 기술이 잘못된 방향을 제시하는 바람에 외과의가 혈관을 손상시켰고, 그 결과 뇌졸중이 발생한 사례도 있었다.

올해 초 스탠퍼드대학교와 하버드대학교가 함께 실시한 연구에서는 성능이 가장 뛰어난 AI 모델들조차 의료 사례의 22%에서 “심각한 위해를 초래할 수 있는 임상적 권고”를 내놓은 것으로 나타났다. 상당수는 필요한 내용을 빠뜨리는 방식으로 오류를 냈다. 다른 경우에는 병원과 치과가 환자에게 실제로 필요하지 않은 고가 치료를 권하는 근거로 AI를 활용하기도 했다.

여기에 기업들이 기존부터 저질러온 부당한 행위를 AI 알고리즘을 이용해 더욱 심화하고 정당화하는 문제도 있다. 유나이티드헬스(UnitedHealth)를 상대로 진행 중인 집단소송에서는 이 회사 산하 여러 기업이 오류가 잦은 AI 도구를 이용해 환자들의 보험 보장을 반복적으로 거부했다는 주장이 제기됐다. 또 다른 소송에서는 AI 채용 소프트웨어가 흑인 지원자 등을 상대로 체계적인 고용 차별을 했다는 주장이 나왔다.

이 모든 사례에서 사람들이 AI 때문에 피해를 입거나 위협받는 이유는 AI가 의식을 갖게 됐거나 인간보다 똑똑해졌기 때문이 아니다. 오히려 정반대다. AI는 결함이 많고 때로는 우스울 정도로 무능한 기술인데, 인간이 바로 그런 기술을 심각한 피해가 발생할 가능성이 가장 높은 상황에 적극적으로 투입하기로 선택하고 있기 때문이다. 심지어 어떤 경우에는 다른 사람에게 불이익을 주도록 의도적으로 사용하는 경우도 있다.

사실 이런 사태에는 시장 논리에 따라 부풀려진 ‘AI 초지능이 곧 도래한다’는 과장된 기대 자체가 한몫했다고 볼 수 있다. AI의 능력을 실제보다 과장하면서 전쟁이나 의료처럼 아직 AI를 본격적으로 투입하기에 준비가 되지 않은 분야에서도 도입 속도가 빨라졌다. 또한 이 기술을 잘 모르거나 이해가 부족한 사람들은 AI가 틀린 답을 하거나 사실을 지어내는 경우에도 그 말을 곧이곧대로 받아들이기 쉬워졌다.

가상의 AI 초지능이 가져올 위험도 분명 우려할 문제다. 하지만 그것이 정말 우리의 미래가 될지 결론을 내려야만 이 기술의 개발을 시급히 중단하라고 요구할 수 있는 것은 아니다. 강력한 규제를 도입하고, 엄격한 안전장치를 마련하며, 특정 용도에서는 아예 사용을 금지해야 한다는 요구를 내놓기에도 이미 충분한 근거가 있다. 지금의 덜 똑똑하고 실수를 자주 저지르는 AI만으로도 인류에게는 이미 충분히 큰 위험이다.

[출처] AI Destruction Isn’t Hypothetical. It’s Already Here.

[번역] 이꽃맘

덧붙이는 말

브랑코 마르체티치(Branko Marcetic)는 <자코뱅>의 전속 필자이며, 《어제의 사람: 조 바이든을 반대하는 이유》(Yesterday’s Man: The Case Against Joe Biden)의 저자다. 참세상은 이 글을 공동 게재한다.