[브리핑] AI 기업 CEO들, '치명적 AI 사고 다음 날'을 비밀리에 시뮬레이션하고 있다

미국 AI 업계 최고 경영진들이 ‘AI발 대형 참사' 이후의 상황을 가정한 시나리오를 비공개로 점검중이라고 합니다. 악시오스(Axios)가 9일(현지시간) 단독 보도한 내용입니다.

"대형 사건은 온다"…가장 유력한 시나리오는 사이버 공격

앤트로픽과 오픈AI 등 주요 AI 기업 경영진이 상정하는 것은 금융 서비스와 인터넷 연결, 심지어 전력과 수도 공급까지 멈춰 세우는 대규모 사건이라고 합니다. 특히, 가능성이 가장 높은 유형으로는 사이버 공격이 손꼽히고 있습니다. 악시오스는 업계 관계자 다수가 앞으로 6~12개월 안에 대형 사건이 일어날 것이라고 믿는다고 전했습니다.

악시오스는 이런 사건이 현실이 되면 이미 AI에 경계심을 품고 있는 대중의 시선이 더욱 싸늘해질 것으로 내다봤습니다. 아울러, 비난의 화살은 다리오 아모데이(앤트로픽)와 샘 올트먼(오픈AI) CEO는 물론, AI 규제에 소극적이었던 트럼프 대통령에게도 향할 수 있다고 지적합니다.

대재앙 시나리오 점검 자체는 낯선 일은 아닙니다. 기업과 안보 분야에서는 흔하고, 미 국방부도 수십 년간 모의 전쟁 훈련을 해왔습니다. 하지만 이번에는 상당수의 AI 연구자와 경영진이 대형 사건의 발생을 '피할 수 없는 일'로 본다는 점이 다릅니다.

오픈AI 대변인은 "준비 태세 훈련을 통해 여러 잠재 시나리오를 논의하고 대응책을 마련한다"면서도 "이런 시나리오를 불가피한 것으로 여기는 것은 아니며, 다양한 상황에 대비하기 위한 것"이라고 밝혔습니다. 앤트로픽은 논평을 거절했다고 합니다.

책임 공방은 어떤 경우에도 불가피

악시오스는 사고가 난다면, 그 사고의 형태와 무관하게 책임 공방이 불가피하다고 강조합니다. 이는 에이전트 군집이 내부 테스트 환경을 벗어나 통제 불능 상태가 되는 경우든, 악의적 행위자가 시판 중인 모델을 예상 밖의 방식으로 악용하는 경우든 마찬가지입니다.

기사에서는 한국에서 최근 벌어진 사례도 소개됐습니다. 국내 금융기관을 노린 공격에서 은행 두 곳의 침해가 보고됐는데요. 단 한 명의 공격자가 얼마나 큰 피해를 일으킬 수 있는지 보여준다고 설명합니다. 사이버보안 업체 크라우드스트라이크에 따르면, 중국 출신으로 알려진 해커는 딥시크(DeepSeek)를 비롯한 중국산 모델의 AI 도구를 활용해 수만 명의 은행 고객 데이터를 훔쳤다고 합니다. 이 해커는 탈취한 데이터를 팔 곳을 찾는 데 클로드 코드(Claude Code)의 도움을 구한 것으로 전해졌습니다.

정치권 시나리오: 미국 민주당의 강경 대응, 그러나 넘어야 할 산

AI 업계 전략가들은 중간선거 이후 기세가 오른 민주당이 AI를 멈춰 세우기 위해 빠르게 움직일 것으로 가정합니다. 다만 여기에는 만만찮은 장애물이 있다고 전망합니다.

• 의회의 이해 부족: 고령화된 의회가 AI 혁명의 속도를 따라가지 못해 대응에 어려움을 겪을 수 있습니다.
• 경제적 파장: 세계 경제는 이미 AI 인프라 구축과 깊이 얽혀 있어, 속도를 늦추면 취약한 경기에 타격을 줄 수 있습니다.
• 오픈 웨이트 모델 문제: 누구나 내려받아 '나쁜 짓'에 쓸 수 있는 오픈 웨이트(Open-Weight) 모델이 이미 너무 많습니다. 사이버보안 전문가 상당수는 AI로 악성 AI에 맞서는 방법만이 해법이라고 보고 있습니다.
  

기업들의 준비: 최악의 시나리오 점검과 '의회 교육'
AI 기업들의 준비는 최악의 상황을 가정한 레드팀 훈련과 입법부 즉 국회 의원 대상 교육에 집중돼 있습니다. 당장 현 시점에서는 규제 입법이 통과될 가능성이 없다는 점을 경영진도 인정합니다. 하지만 첫 대형 사건 이후 미국 지도부가 꺼내 들 법안과 정책에는 영향력을 행사하겠다는 계획이라는게 악시오스의 전언입니다.

정치 지형은 복잡…’킬 스위치'엔 초당적 지지
기업들은 중간선거 이후 민주당이 상·하원을 모두 장악하더라도 정치 지형은 계속 분열된 상태일 것으로 내다보고 있습니다. 민주당 일각에서는 초지능 금지나 첨단 AI 개발 중단 같은 강경안이 거론되고 있습니다.

한편 초당적 지지와 일부 업계의 동의까지 얻은 방안도 있습니다. 첨단 AI에 '킬 스위치'(비상 정지 장치)를 의무화하는 방안입니다. 다만 모든 AI 시스템을 실제로 끌 수 있느냐는 근본적 의문을 제기하는 전문가들도 있습니다.

위기 앞에서는 여야 없다?
악시오스는 실제 위기가 닥치면 워싱턴이 정파적 차이를 접고 협력할 수 있다고 전합니다. 한 민주당 보좌관은 코로나19와 2008년 금융위기 때의 협력 사례를 들기도 했습니다.