GPT 개발에 6개월의 멈춤을 요구하고 있습니다. 2,000명이 넘는 유명 인사들이 공개 서한에 서명을 하고 있습니다. 서명인에는 일론 머스크, 유발 하라리 등 유명인이 있습니다. 이 청원은 인공지능 공상 과학에  기반한 공포를 불러일으키고 인공지능의 실제 위험은 무시하는 오류를 범하고 있습니다.

수 천명이 넘는 연구자, 전문가 그리고 테크 유명인 등이 "Pause AI Experiments"라는 공개 서한에 서명하고 있습니다. 일론 머스크에 반감이 있는 분들은 그의 이름이 오른 청원을 심각하게 받아들일 필요가 없다고 말할 수도 있습니다. 머스크 참여 여부는 중요하지 않습니다. 하지만 서명에는 매우 존경받는 연구자들도 참여하고 있습니다.
저는 이 공개서한의 일부 내용에는 동의하지만, 이 청원 내용 전체는 비생산적이고 위험하다고 판단합니다. 이 청원은 정확히 무엇을 요구하고 있을까요? 무엇이 문제일까요? 이 질문에 답을 찾기 위해 먼저 공개서한의 내용을 분석하겠습니다.

• 서명자들은 인공지능이 "사회와 인류에 심각한 위험"을 초래한다고 확신합니다. 여기까지는 논쟁의 여지가 없습니다. 여기에 동의하지 못할 사람은 없을 것입니다.
• 이번 청원의 핵심은 "인간과 경쟁하는 지능(human-competitive intelligence)"에 놓여 있습니다. 이 청원은 인공지능의 효과가 긍정적이고 그 위험을 관리할 수 있다는 확신이 설 때만 인공지능이 개발되어야 한다고 주장하고 있습니다.
• 공개서한에는 네 가지 핵심 질문이 포함되어 있습니다.

• 이 네 개의 질문은 모두 수사학적입니다. 질문을 이렇게 하면 대답은 네 번 모두 '아니오'입니다. 때문에 공개서한은 OpenAI가 앞으로 최소 6개월 동안 GPT-4보다 더 강력한 인공지능에 대한 연구를 더 이상 진행하지 말 것을 요구하고 있습니다. OpenAI가 이 요구를 거부하면 정부가 나서 모라토리엄-강제 결정-을 시행해야 한다고 주장하고 있습니다.
• 이 6개월 동안 인공지능 기업들과 독립 전문가들은 인공지능 설계 및 계발을 위한 안전 표준을 마련해야 합니다. 이를 통해 당분가 더 강력한 LLM를 향한 경쟁이 둔화될 수 있습니다. (거대)언어모델(LLM)은 그 효과를 예측할 수 없는 블랙박스이기 때문입니다.
• 동시에 인공지능 개발자는 정부와 협력하여 효과적인 인공지능 규제를 위한 가이드라인을 만들어야 합니다. 새로운 인공지능 전문 규제 기관, 통제 및 감독, 합성 미디어에 대한 표시 또는 라벨링 시스템, 인공지능으로 인한 피해에 대한 책임, 인공지능의 안전한 연구를 위한 공적 자금 지원, 인공지능이 촉발한 경제적, 정치적 격변을 관리하기 위한 기관 등이 필요합니다.

공개서한의 문제점

존경받는 연구자 중 일부는 공개서한 전체에는 동의하지 않지만 서한에 서명한 이유를 밝히고 있습니다. 대표적으로 Stability.AI 대표 에마드 모스타크(Emad Mostaque)는 아래처럼 이야기하고 있습니다.

뉴욕대학교 신경과학 교수인 게리 마커스(Gary Marcus)는 아래와 같이 자신의 참여에 대해 설명합니다(Reuters 보도). 참조로 게리 마커스는 인공지능에 대한 다양한 비판적 글쓰기로 유명합니다. 그의 뉴스레터를 추천합니다.

또한 게리 마커스는 자신의 뉴스레터에 아래에 같이 쓰고 있습니다(Substack 참조).

모두 타당한 주장입니다. 그럼에도 불구하고 저는 이 공개서한은 실수라고 생각합니다. 그 이유는 아래 네가지입니다.

• 공개서한을 쓴 단체는 Futur of Life Institute입니다. 이 곳은 '장기적' 위험에 전념하는 단체입니다. 이른바 장기주의(Longermism)는 현재의 긴급한 문제를 다루는 대신 먼 미래 가상의 위험에 초점을 맞추고 있습니다. 장기주의의 지적 아버지로 불리는 닉 보스트롬(Nick Bostrom)은 우생학을 옹호하고(Truthdig 참조) 공공연하게 인종차별을 표방합니다. 저는 이 사이비 철학 운동을 위험한 것이라 평가합니다(Aeon 참조)
  The core에서 장기주의를 소개하고 있습니다. 아래 글을 참조하세요.

‘장기주의(Longtermism)’가 필요한 시점!

인류는 멸망할까요? 만약 그렇다면 어떻게 막을 수 있을까요? 조금 다른 각도에서 질문해 볼까요? ‘이타성과 효율성이 공존할 방법은 없을까요?’ ‘우리의 사소한 행동 하나하나가 먼 미래에 어떤 결과를 낳을까요?’ 이런 고민에 대한 해답의 단초를 옥스퍼드 대학교의 윌리엄 맥어스킬(William MacAskill) 교수(철학과)가 설명하는 ‘장기주의(Longtermism)’에서 찾아볼 수 있을

The Core(더코어) | 디지털 비즈니스 미디어김송현

• 공개서한에서는 공상과학 시나리오에 초점이 맞춰져 있습니다. 이 청원은 자동화가 모든 일자리를 대체하고 인공지능이 인간을 능가하게 되어 인간은 문명에 대한 통제력을 잃을 수도 있다고 경고하고 있습니다. 이러한 가능성을 완전히 배제할 수는 없지만 이는 현재 인공지능이 제기하는 가장 큰 위협은 아닙니다. 이 사안은 공개 토론을 해야할 사안도 아닙니다. 우리는 스카이넷의 가능성을 두려워하기 보다는 착취, 지나친 권력 집중, 확각적인 인공지능에 대한 맹신 등 이미 존재하는 위험에 대해 우려해야 합니다(AI Snake Oil 참조). 인공지능 디스토피아에 집중하다보면 인공지능이 던지는 현실 문제에 몰입하지 못하는 문제가 발생합니다.
• 비판적 과대광고(Criti-Hype), 버지니아 대학교 기술 및 사회학 교수인 리 빈셀(Lee Vinsel)이 만든 용어입니다(Medium 참조). 신기술에 대해 지나치게 강력하게 경고하고 디스토피아적 효과를 과장하는 사람들은 결국 과대광고를 부추기는 결과를 낳습니다. 이는 개발 기업의 과장된 광고를 그대로 받아 들이고 "그런데 그건 위헙해요"라는 말만 덧붙인 꼴입니다. 진정한 비판은 마케팅 및 상업적 이해관계에 의문을 제기하는 것입니다.
• 인공지능 개발을 중단할 수 있다는 것은 단지 희망사항일 뿐입니다. 예를들어 핵무기나 복제에 대한 연구와 달리 인공지능에 대한 연구는 상대적으로 저렴하고 광범위하게 진행되고 있습니다. GPT-5와 같은 새롭고 강력한 LLM이 아니라 다양한 앱과 서비스에서 GPT-4를 구현하는 것이 중요합니다. 이러한 일은 전 세계에서 빠른 속도로 일어나고 있습니다. 공개서한으로 이를 더 이상 막을 수 없습니다.

똑똑해 지자

강정수의 인공지능 7개 테제를 읽어 보셨다면 이번 공개서한에 대한 비판이 매우 자연스럽다고 느끼셨을 겁니다. 여유되실 때 다시 한번 읽어보실 것을 추천합니다.

이번 공개서한에 대한 다양한 비판을 알고 싶으시다면 아래 글을 추천합니다.

• AI Snake Oil: A misleading open letter about sci-fi AI dangers ignores the real risks
• tante: PR as open letter
• Vice: The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess
• Aaronson: If AI scaling is to be shut down, let it be for a coherent reason