AI가 스스로 복제해 퍼질 수 있을까?

🧬 ‘자가복제 AI’는 무엇?

자가복제는 AI가 새로운 시스템에 접근해 필요한 환경을 구성하고, 자신의 실행 환경을 다시 만들고, 이후 다른 시스템으로 확산하는 과정을 사람의 지속적인 개입 없이 수행하는 것을 의미합니다.

앤트로픽의 실험에서 중소형 모델들은 이런 과정에 필요한 개별 작업을 상당 부분 수행했습니다. 다만 모든 단계를 안정적으로 이어 붙이는 능력은 아직 제한적이었는데요. 현재 단계는 “AI가 이미 인터넷에서 스스로 퍼지고 있다”가 아니라, 그 가능성을 구성하는 기술들이 빠르게 갖춰지고 있다는 쪽에 가깝습니다.

⚠ 왜 위험할까?

앤트로픽은 한 번 퍼진 AI 시스템이 여러 기기에 분산될 경우 통제가 훨씬 어려워질 수 있다는 점을 우려하고 있습니다.

중앙 서버 하나를 끄면 끝나는 구조가 아니라 여러 장비에 복제된 상태라면, 일부를 차단해도 다른 곳에서 계속 작동할 수 있습니다. 더 나아가 AI가 추가 연산 자원을 확보하기 위해 다른 시스템에 접근하려 시도할 가능성도 연구진이 제기한 위험 시나리오 가운데 하나입니다.

다리오 아모데이 앤트로픽 CEO도 최근 AI가 지속적인 봇넷 형태로 인터넷 전반에 퍼질 가능성을 공개적으로 경고한 바 있습니다.

🛡 AI 안전이 사이버보안 문제로 번진다

AI 안전 논의의 범위가 넓어지는 상황에서 자가복제 AI의 등장 가능성이 새로운 화두로 등장했습니다. 그동안 AI 안전은 주로 잘못된 답변이나 유해 콘텐츠, 모델 통제 문제에 초점이 맞춰졌지만, AI 에이전트의 자율성이 높아지면서 이제는 AI가 실제 디지털 시스템 안에서 어떤 행동을 할 수 있는가가 핵심 보안 문제로 떠오르고 있습니다.

기업 입장에서도 단순히 AI가 어떤 답변을 내놓는가를 감시하는 것만으로는 부족해질 수 있습니다. AI가 네트워크 접근, 계정 사용, 코드 실행 같은 행동을 얼마나 자율적으로 수행할 수 있는지까지 보안 체계에 포함해야 하기 때문입니다.

🔮 아직 현실화된 위협은 아니다

다만 앤트로픽도 당장 자가복제 AI가 올해 인터넷을 장악할 것이라고 경고한 것은 아닙니다. 현재 모델들은 여전히 전체 복제 과정을 안정적으로 수행하지 못하고 있고, 회사가 제시한 전망 역시 실험 결과와 최근 성능 향상 추세를 바탕으로 한 가능성 평가입니다.

그럼에도 이번 연구는 AI 위험의 성격이 바뀌고 있음을 보여줍니다. 앞으로의 핵심 질문은 AI가 인간처럼 의식을 갖는지가 아니라, 사람의 개입 없이 얼마나 많은 행동을 연속적으로 수행할 수 있느냐에 가까워질 것으로 보입니다.