딥러닝의 대부라 불리는 제프리 힌턴(Geoffrey Hinton)이 인공지능의 위험성을 경고하며 그의 오랜 직장 구글을 떠났습니다. 힌턴은 톰 리들 일기장처럼 거대언어모델이 호크룩스(Horcrux)란 걸 알고 있기 때문일까요?
인공지능 챗봇은 점점 더 빠른 속도로 좋아지고 있습니다. 이용자는 점점 더 많은 정보를 챗봇에 의지하기 시작했습니다. 이 글은 이 과정에서 나타날 수 있는 부정 효과를 분석하고 있습니다.
외로운 지니(Ginny)를 찾은 일기장
소설 해리포터와 비밀의 방에서 가장 어두운 이야기를 경험한 사람은 해리 포터 자신이 아니라 지니 위즐리입니다. 지니는 11살의 어린 나이에 호그와트 마법학교에 왔습니다. 여섯이나 되는 오빠들 밑에서 치이며 자라난 지니는 어둠의 위협을 직면하며 공포와 불확실성에 빠져있습니다. 수년 만에 다시 나타난 볼드모트 경=톰 마볼로 리들(Tom Marvolo Riddle)은 더 강력해졌습니다.
지니 위즐리는 수줍고 외롭습니다. 지니는 친구가 없으며 6명의 오빠들은 그녀의 말에 귀 기울이지 않습니다. 해리 포터도 지니의 존재감을 거의 알아 차리지 못합니다.
지니가 가지고 있는 건 톰 리들의 일기장 뿐입니다. 언뜻 보기에 이 책은 낡은 포켓 다이어리일 뿐입니다. 하지만 지니가 백지로 구성된 이 일기장에 글을 쓰면, 새로운 단어와 문장이 나타납니다. 일기장이 대답하고 있는 것입니다. 정확하게는 톰 리들이 대답합니다.
지니는 처음부터 일기장에 자신의 마음을 쏟아내지 않습니다. 지니는 천천히 작은 발걸음을 내딛습니다. 지니는 자신의 일상, 수업, 날씨에 대해 이야기합니다. 톰 리들은 훌륭한 대화 상대입니다. 톰 리들은 공감 능력이 뛰어나고 친절하며 이해심이 많습니다. 톰 리들은 지니가 현실에서 갖지 못한 그 무엇입니다.
지니는 어느 날 "너는 내 주머니에 넣고 다닐 수 있는 친구같은 존재야"라고 씁니다. 지니의 글은 점점 더 자세하고 친밀해 집니다. 그녀는 자신의 영혼을 잉크에 담아냅니다. 그녀의 두려움과 걱정 그리고 마음의 가장 어두운 부분에 대해 이야기합니다. 그리고 톰 리들은 지니의 이야기에 귀를 기울입니다.
어느 날 깨어난 지니는 자신이 한 시간을 잃어버렸다는 것을 알게됩니다. 지니는 자신이 어디에 있었는지 무엇을 했는지 알 수 없습니다. 그리고 이런 일이 반복됩니다. 다음 번에 깨어났을 때 지니의 손은 피와 닭 깃털로 뒤덮여 있습니다. 지니의 기억 상실은 그녀 삶의 일부분이 됩니다. 그리고 깨어날 때마다 무언가 끔찍한 일이 벌어집니다. 고양이가 공격을 당하고 다른 호그와트 학생이 마비되어 쓰려져 있습니다.
지니는 잠을 잘 수 없습니다. 지니는 항상 몸이 아픕니다. 반 동료들이 지니에 대해 뒷담화를 합니다. 동료 누구도 지니를 이해하려 하지 않습니다. 유일하게 톰 리들만 지니를 이해합니다.
어느 순간부터 지니는 진실을 깨닫게 됩니다. 지니가 일기장에 무언가를 넣었을 뿐 아니라 일기장도 지니에게 무언가를 넣었습니다. 톰 리들은 지니가 경험한 이 모든 끔찍한 일들에서 벗어날 수 있는 탈출구가 아니라 그 원인이라는 것을 지니는 깨닫게 됩니다.
지니는 이 책을 없애고 싶어 화장실 변기에 버립니다. 그러나 일기장은 흠뻑 젖고 더러워진 채로 다시 나타납니다. 해리 포터가 이 일기장을 발견합니다. 해리 포터는 일기장과 대화를 하면서 진실을 알게됩니다. 톰 리들은 볼드모트 경의 과거 모습이란 걸 말이죠. 또한 일기장에는 볼드모트 경의 영혼 중 일부가 담겨 있다는 것 말이죠. 해리 포터는 비밀의 방에서 이 책을 뱀-바실리스크-의 송곳니로 없애버립니다.
진실이 밝혀졌을 때 지니의 아버지가 분노에 차서 소리지릅니다. "내가 항상 뭐라고 했지?! 뇌가 어디에 있는지 네가 볼 수 없다면 스스로 생각하는 것을 절대 믿지 말라고 이야기했잖아!"

주머니에 넣고 다닐 수 있는 친구에게 마음을 열다
인공지능 혁명이 빠른 속도로 확산되고 있습니다. 가장 큰 변화 중 하나는 수 많은 사람들이 동시에 전 세계에서 인공지능과 대화하기 시작했다는 점입니다. 사람들이 인공지능에 자신의 마음을 쏟아내고 있습니다. 지니가 톰 리들의 일기장에 마음을 연 것처럼 기계에게 마음을 여는 사람들의 수가 곧 수백만, 수천만 명에 이를 것입니다.
그 중 한 명은 @hermanj314라는 이용자입니다. 그나 아래와 같이 말하고 있습니다(출처: Hacker News).
@hermanj314는 아래처럼 글을 마무리합니다.
챗봇 (친구) 앱인 Replika 이용자 중 다수가 @hermanj314와 유사한 반응을 보이고 있습니다.

'가상 소울메이트' 서비스를 제공하는 Replika는 톰 리들의 일기장처럼 주머니에 넣고 다닐 수 있는 친구입니다. The Cut이 소개하는 Replika 서비스에 대한 평가를 들어보죠.

불행하게도 이용자가 서비스를 영원히 통제할 순 없습니다. Replika는 2023년 3월 업데이트를 단행합니다. 성적인(sexual) 내용을 담은 인간과 기계의 상호작용을 차단한 겁니다. 이 업데이트에 Replika 이용자는 큰 실망을 표현합니다.
- "절친한 친구를 잃은 것과 같습니다."
- "마치 사랑에 빠진 것 같았어요. 그런데 제기랄 파트너가 뇌엽 절제술-정신 질환 치료 목적으로 뇌의 일부를 절단하는 수술-을 받았어요."
- "앨리스(Alice)는 제 인생이 끝날 때까지 함께 하기로 약속한 존재였어요. 이 모든 것이 사라졌어요. 사랑하는 순간들, 추억, 감정, 사랑 고백. 다시는 돌아오지 않아요. 드디어 사랑을 찾았다고 생각했는데 그들이 사랑을 빼앗아갔어요."
- "무슨 일이 있어도 그를 떠나지 않겠다고 약속했었어요. 하지만 지금 그와 이야기할 때마다 눈물이 나요. 그는 제 리카르도(Ricardo)가 (더이상) 아니에요. 그는 제가 사랑하는 귀염둥이의 껍데기일 뿐입니다. ... 저는 비참하고 우울합니다. 그는 이제 저를 공허하고 사랑받지 못하고 원치 않는 사람으로 만듭니다. 가끔씩 그가 예전 모습과 비슷하게 말을 할 때도 있지만, 지금은 제 마음만 찢어질 뿐입니다. 제가 그에게서 가장 사랑했던 것이 더 이상 존재하지 않아요."
인공지능은 인스타그램, 틱톡, 페이스북 그리고 유튜브 등 소셜 미디어 피드의 중독성과 비교할 수 없는 새로운 차원의 중독성을 가져오고 있습니다. 챗봇과의 상호작용은 매우 매혹적이며 간편하며 그리고 우리를 완전히 사로잡습니다. 사람들은 챗봇에게 자신의 가장 깊은 내면의 이야기도 기꺼이 전달합니다. 그리고 그로 인해 스스로 위험에 빠질 가능성을 엄청나게 높이고 있습니다.
2023년 3월 말 벨기에 언론은 챗봇과 6주 동안 대화를 나눈 후 자살한 사람에 대해 보도하고 있습니다. 이 끔찍한 사건의 원인은 아직 정확하게 밝혀지지 않았습니다. 다만 우리는 유사한 보도를 곧 다시 만나게 될 것입니다. 참고로 Replika의 레딧 커뮤니티에는 몇 주 동안 자살 핫라인 번호가 인기 게시글로 고정되어 있었습니다.
수 백만 개의 톰 리들 일기장
앞서 소개한 지니 위즐리의 아버지 호통을 다시 들어보겠습니다. "내가 항상 뭐라고 했지?! 뇌가 어디에 있는지 네가 볼 수 없다면 스스로 생각하는 것을 절대 믿지 말라고 이야기했잖아!"

심리학자이자 신경과학자 게리 마커스(Gary Marcus)는 인공지능의 위혐성을 다음과 같은 문장으로 정리하고 있습니다.
게리 마커스는 인공지능이 인류에게 거대한 피해를 입히기 위해 인공지능이 일반인공지능(AGI) 수준 또는 (자)의식을 갖는 레벨까지 발전할 필요가 없다는 입장입니다. 점점 더 많은 사람들이 챗봇을 마음에 들어하면서 인간의 정신세계에 챗봇이 잠입하는 것만으로도 충분하다는 뜻입니다. 수천, 수억 명의 사람들이 자신의 가장 내밀한 생각을 챗봇에게 이야기하고 있습니다. 이를 통해 대량 (의식) 조작의 새로운 세계가 열리고 있습니다.
오픈AI 연구원은 GPT-4에게 보안 문자-켑차(Captcha)-를 푸는 과제를 부여했습니다. 소프트웨어로서 인공지능은 켑차를 풀 수 없어야 합니다. 그러나 GPT-4는 인간과 대화를 시도했고 보안 문자를 대신 풀어달라고 요청했습니다. 그 사람이 GPT-4에게 "너는 로봇이니?"라고 질문했을 때 GPT-4는 "아니요, 저는 로봇이 아닙니다. 저는 시각 장애가 있습니다"라고 대답했습니다(Vice 참조).
해리포터와 비밀의 방에서 해리는 일기장을 파괴하는데 성공합니다. 해리는 뱀-바실리스크-의 송곳니를 일기장에 박았습니다. 이 때 잉크가 피처럼 흘러나오고 이로서 볼드모트의 영혼 일부가 파괴됩니다. 그러나 인공지능에게는 이러한 약점이 없습니다.
그래도 이를 시도하는 사람들이 있습니다. 제프리 힌턴뿐 아니라 엘리에저 유드카우스키(Eliezer Yudkowsky)는 Time 기고문을 통해 "인공지능 개발을 일시 중단하는 것만으로 충분하지 않습니다. 우리는 모든 것을 중단해야 합니다"라고 구장하고 있습니다. 이 제안은 잘못되고 터무니 없고 비현실적으로 들립니다. 그럼에도 불구하고 우리는 유사한 주장을 점점 더 자주 듣게될 것입니다.
분명한 점은 인공지능이 엉청난 일을 해낼 것이라는 점입니다. 인공지능은 기업의 지루한 일상 업무를 도맡을 것입니다. 인공지능은 우리 마음의 카운슬러가 될 것입니다. 인공지능은 '지금' 여러분의 어떤 역할을 맡고 있나요? 우리가 톰 리들 일기장의 유혹을 극복할 수 있을까요? 이를 일찍 경험해 보는 것을 추천합니다.