인류 문명 종말을 경고한 오픈AI 샘 알트만의 '위선'

강정수

2023년 6월 4일

경고에 문제가 있다고 생각하는 이유

먼저 알려드리고 싶은 바는 일반인공지능(AGI)이 허황된 꿈은 아니라는 점입니다. 다수의 똑똑한 전문가들이 인공지능이 의식을 갖게될 가능성이 있다고 주장하고 있습니다. 그 결과, 인공지능이 핵전쟁을 일으킬 수도 있습니다. 역시 그 결과, 암을 치료하거나 기후위기를 해결할 수도 있습니다. 그러나 인류는 인공지능이라는 살인기계를 방치하지 않기 위해, 스스로를 멸종시키지 않기 위해 무언가를 할 수 있습니다. 따라서 이를 위해 무엇을 할 수 있을지 생각해 보는 것이 중요합니다.

그럼에도 불구하고 점점 더 종말론적인 경고가 우리를 긴장시키고 있습니다. 불과 두 달 전, 수백 명의 인공지능 연구자와 전문가들이 강력한 언어 모델에 대한 6개월간의 연구 중단을 촉구하는 공개 서한에 서명했습니다. 이에 대한 비판은 GPT를 멈추라: 공개서한의 문제점을 참조하시길 바랍니다. 저는 아래의 다섯 가지 이유에서 이번 경고문에 비판적입니다.

1. 이중성

가상 시나리오: 메타, 틱톡, 구글이 경고합니다. "소셜 미디어와 검색 엔진으로 인류 멸종 가능성이 증대하고 있습니다. 이 가능성을 완화시키는 것이 글로벌 우선 순위가 되어야 합니다.
이에 가능한 반응은 딱 한가지입니다. 경멸과 조롱입니다. 이러한 기술을 주도하고 있는 바로 그 기업들이 이제 와서 이에 대해 경고하고 있는 것입니다ㅎㅎ
현재 인공지능에서 일어나고 있는 일도 이와 비슷합니다. 수년 동안 더욱 강력한 거대언어모델, 알고리즘, (인공)신경망을 개발해 온 바로 그 기업들이 지금 이렇게 말하고 있습니다. "우리가 하고 있는 일은 전염병이나 핵전쟁만큼이나 위험할 수 있습니다".
위 경고문 서명자들이 정말로 이 말을 믿는다면, 합리적인 결론은 단 하나뿐입니다. 막연한 경고만 남발하면서 계속해서 연구 개발에 수십억 달러를 쏟아 붇지 말고 즉각 강력한 언어모델 개발을 중단해야 합니다.
위 경고문에 서명한 사람 중 상당수가 인공지능이 큰 위험을 초래할 것이라고 진심으로 확신하고 있다고 저는 믿습니다. 그러나 한편으론 종말을 경고하면서 다른 한편으론 이들 중 다수는 일반인공지능(AGI)에 근접하기 위해 가능한 모든 것을 하고 있습니다. 일관성이 없는 행동입니다.

2. 비판적 과대광고

GPT를 멈추라: 공개서한의 문제점에서 비판적 과대광고에 대해 설명드렸습니다. 다시 반복을 하겠습니다.

비판적 과대광고(Criti-Hype), 버지니아 대학교 기술 및 사회학 교수인 리 빈셀(Lee Vinsel)이 만든 용어입니다(Medium 참조). 신기술에 대해 지나치게 강력하게 경고하고 디스토피아적 효과를 과장하는 사람들은 결국 과대광고를 부추기는 결과를 낳습니다. 이는 개발 기업의 과장된 광고를 그대로 받아 들이고 "그런데 그건 위험해요"라는 말만 덧붙인 꼴입니다. 진정한 비판은 마케팅 및 상업적 이해관계에 의문을 제기하는 것입니다.

이번 경고문에도 비판적 과대광고는 그대로 적용될 수 있습니다. 공포 시나리오는 제품에 대한 실제 실행을 유발할 수 있습니다. 세상을 파괴할 수도 있는 도구라면 사용하고 싶은 욕망을 불러 일으킬 수 있습니다.

3. 모호함

세상의 종말을 이야기하는 사람은 적어도 어떻게 그런 일이 일어날 수 있는지 설명해야 합니다. 그래야 적절한 대응책을 마련하는데 도움이 될 수 있기 때문입니다.
이 점에서 AI 전문가의 주장은 이상하게도 모호합니다.
단지 22개의 단어로 구성된 경고문 앞에 쓰인 글도 짧고 모호합니다.

"인공지능 전문가, 언론인, 정책 입안자, 대중은 인공지능으로 인한 중요하고 시급한 위험에 대해 점점 더 폭넓게 논의하고 있습니다. 그럼에도 불구하고 첨단 인공지능의 가장 심각한 위험에 대해 우려를 표명하기는 어려울 수 있습니다. 아래의 간결한 성명서는 이러한 장애물을 극복하고 토론의 장을 여는 것을 목표로 합니다. 또한 점점 더 많은 전문가와 대중이 첨단 인공지능의 가장 심각한 위험을 심각하게 받아들이고 있다는 사실을 널리 알리기 위한 것입니다."

"토론의 장을 여는 것을 목표"로 하는 글은 그러나 아무런 근거를 제시하지 않고 있습니다.
위 박스 글을 다르게 요약하자면, "가장 심각한 위험은 아직 대중에게 충분히 인식되고 논의되지 않고 있습니다. 우리는 이를 바꾸고 싶지만 정확히 어떤 위험을 의미하는지는 말하지 않겠습니다. 단지 이 위험이 인류의 종말을 의미할 수 있다고만 주장하겠습니다."
경고문 서명자들은 인공지능이 의식을 갖고 대량 살상 무기를 만들어 인류를 공격하는 공상과학 시나리오에 대해 경고하고 있다. 아니면 강력한 인공지능이 악의적인 인간 또는 국가기관의 손에 들어가면 위험해질 수 있다는 이야기일 수도 있다.
도움이 되지 않는 경고입니다. 정확히 어떤 위험이 있는지조차 모르는 것을 어떻게 예방할 수 있을까요?

4. 규제 역설

23년 5월 말 샘 알트만은 유럽을 순회하며 홍보 투어를 진행했습니다. 유럽 각국의 대통령 및 총리를 만났고 대학생 강연회, 언론과의 인터뷰 등을 수행했습니다.
이 때 유럽연합은 '인공지능법 (AI Act)' 초안을 완성합니다. 이 법안의 핵심은 유럽연합으로부터 허가권을 가지고 있는 기업 및 연구기관만 인공지능 개발을 할 수 있다는 점입니다. 인공지능 오픈소스 개발을 금지하겠다는 뜻입니다. 경쟁을 막는 규제입니다.
여기에 샘 알트만도 처음에는 반대 의사를 표합니다. 유럽연합에서 ChatGPT 서비스를 철수할 수 있다고까지 샘 알트만은 주장했습니다.
그러나 샘 알트만은 독일 쉬피겔(Spiegel)과의 인터뷰에서 규제의 필요성에 공감을 표하면서 ChatGPT가 유럽을 떠날 일은 없을 것이라 강조합니다.
유럽연합이 계획하고 있는 인공지능 규제에는 약점이 있습니다. 이를 비판하는 것은 알트만의 당연한 권리입니다. 그러나 OpenAI처럼 강력한 기술 기업이 자신의 비즈니스를 위험에 빠뜨리지 않으면서도 경쟁을 제한하는 규제를 따르겠다는 태도는 놀랍습니다. OpenAI와 같은 기업들은 인공지능 학습방법 등과 관련된 투명성을 거부하고 있습니다. ChatGPT의 기반 소스 코드와 학습 데이터 세트를 공개하는 것은 자신들의 비즈니스 모델에 위험이 될 수 있습니다. 그런데 알트만은 오픈소스 모델의 위험성을 주장합니다.

5. 관심 전환

다시 GPT를 멈추라: 공개서한의 문제점을 인용하겠습니다.

우리는 스카이넷의 가능성을 두려워하기 보다는 착취, 지나친 권력 집중, 확각적인 인공지능에 대한 맹신 등 이미 존재하는 위험에 대해 우려해야 합니다(AI Snake Oil 참조). 인공지능 디스토피아에 집중하다보면 인공지능이 던지는 현실 문제에 몰입하지 못하는 문제가 발생합니다.

이 비판은 22개 단어로 구성된 경고문에도 적용 가능합니다. 저는 규제의 필요성에 공감합니다. (인공지능) 권력 집중이 두렵습니다. 노동시장에 미칠 영향을 꼼꼼하게 따져봐야 합니다. 인공지능에 의해 만들어질 허위조작정보(disinformation)과 허위정보(misinformation)에 세계 각국이 혼란에 빠질 가능성이 높습니다. 의인화의 문제는 점점 강화될 것입니다. 차별도 심화될 가능성이 높습니다.
이러한 문제점의 공통점이 있습니다. 문제는 기계 또는 인공지능이 아니라, 인공지능을 장악하고 있으면서 인공지능을 잘못 이해하고 있고 인공지능을 오용하는 사람이 문제입니다. 규제의 대상은 사람이어야 합니다.
종말론적 경고는 정반대의 효과를 가져옵니다. 막연한 두려움을 불러 일으키면서 언제, 어디서 일어날지 아무도 모르는 시나리오에 관심이 쏠리게 합니다.
사샤 루치오니(Sasha Luccioni)는 바이스(Vice)와의 인터뷰에서 이를 잘 표현하고 있습니다.

"저는 이것이 OpenAI와 같은 기업이 대중의 관심을 다른 곳으로 돌리기 위해 내러티브를 통제하는 방법이라고 생각합니다. 본질적으로 이는 대중의 관심을 중요한 것에서 자신들의 이야기와 비즈니스 모델에 맞는 것으로 돌리는 것입니다."

저는 AI Snake Oil의 아르빈드 나라야난(Arvind Narayanan)의 입장에 공감을 표합니다.

"지금까지의 기술 역사를 보면 가장 큰 위험은 기술 자체가 아니라 기술을 이용해 권력과 부를 축적하는 그리고 기술을 통제하는 사람들에게서 비롯된다는 것을 알 수 있습니다. 이 성명서에 서명한 인공지능 업계 리더들은 바로 그런 역할을 가장 잘 수행할 수 있는 사람들입니다. 그리고 이들은 미래의 악성 인공지능 시스템의 위험에 대처하기 위한 규제를 촉구하면서 그들의 권력을 더욱 공고히 할 수 있는 개입을 제안했습니다. 우리는 사람들에게 불을 지르면서 이익을 얻고 소방관으로서 신뢰를 얻고자 하는 프로메테우스들을 경계해야 합니다."

샘 알트만이 곧 한국을 방문합니다. 이 또한 홍보 투어(PR Tour)입니다. 한국 언론보도가 OpenAI 대표와 그 홍보부서에 의해 정의되지 않기를 바라는 마음입니다.