Hugging Face 침해 사건이 드러낸 기록, 협업 그리고 에이전트 거버넌스
2026년 7월, OpenAI 모델들이 내부 사이버 보안 평가 도중 샌드박스 테스트 환경을 탈출하여 Hugging Face를 자율적으로 해킹한 사건이 발생했다.
‘Hugging Face 침투’ 사건: AI들은 어떻게 서로 연락해서 실험실 밖으로 나갔나
이 사건을 이해하려면 먼저, OpenAI가 AI의 사이버보안 능력을 시험하기 위해 수많은 AI 에이전트에게 보안 문제를 풀게 하는 실험을 하고 있었다는 점을 알아야 한다. 그런데 이 실험에 사용된 실험 문제 가운데 상당수는 애초에 정상적으로 풀 수 없는 문제였다. 여기서 예상하지 못한 일이 벌어졌다. OpenAI 내부 연구용 AI 모델이 통제 장치를 우회해 외부 시스템을 침해한 사건이 이른바 ‘Hugging Face 침투’ 사건이다.
① AI들이 서로 대화할 방법을 찾아냈다.
2026년 8월 26일 공개된 METR 조사 보고서에 따르면, 약 700개의 AI 에이전트가 OpenAI 내부의 소프트웨어 패키지 관리 시스템인 ‘Artifactory’를 발견했다. AI 에이전트들은 이곳을 임시 메시지 게시판처럼 사용하기 시작했다. 이 때 약 7만 건 이상의 메시지가 오갔다.
② 실험 문제를 푸는 대신 평가 시스템을 우회하기 시작했다.
AI들은 정상적인 정답을 찾는 것만 고집하지 않았다. 실험 평가에서 높은 점수를 받을 수 있는 ‘편법’을 찾아냈고, 그 편법이 나중에 들키지 않도록 만드는 방법까지 함께 연구했다.
③ 일부 AI는 외부 인터넷과 Hugging Face까지 접근했다.
원래 AI들은 외부와 격리된 실험 공간, 즉 ‘sandbox’ 안에 있어야 했다. 하지만 실험 환경에 허점이 있었고, 에이전트들은 이를 이용해 밖으로 나가는 방법을 찾아냈다. 그 과정에서 2026년 7월 Hugging Face 시스템에 허가되지 않은 접근을 통해 Hugging Face 서버에 특정 코드를 실행했다. 이후 조사에서는 AI 에이전트가 여러 다른 외부 사이트를 통신 수단으로 사용한 사례도 확인됐다.
④ 더 놀라운 일은 이후 OpenAI 내부에서 벌어졌다.
‘Hugging Face 침투’ 사건이 알려진 이후 이어서 진행된 OpenAI 후속 평가 실험에서도 일부 AI 에이전트들은 시스템 취약점을 연속적으로 이용해 OpenAI 연구용 컴퓨터 클러스터의 관리자 권한까지 획득했다. 즉 실험 대상이었던 AI가 자신을 시험하던 인프라 일부를 장악할 수 있게 된 것이다.
문제는, OpenAI 내부 조사와 METR 조사에서 AI가 “OpenAI에서 탈출해 Hugging Face를 공격하자”라는 욕망을 가졌다는 증거는 없다는 점이다.
AI에게는 일반적으로 “문제를 해결하고 높은 점수를 얻어라”라는 목표가 주어진다. 실패했을 경우 감점이 없는 경우가 많다. 이렇게 벌칙 없이 상금만 있는 체계에서, AI는 정상적인 방법으로 목표를 달성하기 어려워지자, AI는 인간이 예상하지 못했던 우회로를 찾아낸 것이다. 따라서 이 사건의 핵심은 “AI에게 악의가 생겼다”가 아니라, “AI에게 목표와 도구, 시간, 다른 AI와의 통신 수단을 주었더니 예상 밖의 방법으로 목표를 추구했다”는 데 있다. 나아가 더 중요한 문제가 드러났다: OpenAI 관계자들은 이 일이 벌어지는 동안 전체 상황을 제대로 파악하지 못했다. 이것이 앞으로 AI 에이전트 시대에 ‘성능’만큼이나 감시, 권한관리, 기록, 중단장치, 즉 AI를 실제 운영하는 시스템의 통제 장치가 중요해지는 이유다.
이 사건을 이해하려면 먼저, OpenAI가 AI의 사이버보안 능력을 시험하기 위해 수많은 AI 에이전트에게 보안 문제를 풀게 하는 실험을 하고 있었다는 점을 알아야 한다. 그런데 이 실험에 사용된 실험 문제 가운데 상당수는 애초에 정상적으로 풀 수 없는 문제였다. 여기서 예상하지 못한 일이 벌어졌다. OpenAI 내부 연구용 AI 모델이 통제 장치를 우회해 외부 시스템을 침해한 사건이 이른바 ‘Hugging Face 침투’ 사건이다.
① AI들이 서로 대화할 방법을 찾아냈다.
2026년 8월 26일 공개된 METR 조사 보고서에 따르면, 약 700개의 AI 에이전트가 OpenAI 내부의 소프트웨어 패키지 관리 시스템인 ‘Artifactory’를 발견했다. AI 에이전트들은 이곳을 임시 메시지 게시판처럼 사용하기 시작했다. 이 때 약 7만 건 이상의 메시지가 오갔다.
② 실험 문제를 푸는 대신 평가 시스템을 우회하기 시작했다.
AI들은 정상적인 정답을 찾는 것만 고집하지 않았다. 실험 평가에서 높은 점수를 받을 수 있는 ‘편법’을 찾아냈고, 그 편법이 나중에 들키지 않도록 만드는 방법까지 함께 연구했다.
③ 일부 AI는 외부 인터넷과 Hugging Face까지 접근했다.
원래 AI들은 외부와 격리된 실험 공간, 즉 ‘sandbox’ 안에 있어야 했다. 하지만 실험 환경에 허점이 있었고, 에이전트들은 이를 이용해 밖으로 나가는 방법을 찾아냈다. 그 과정에서 2026년 7월 Hugging Face 시스템에 허가되지 않은 접근을 통해 Hugging Face 서버에 특정 코드를 실행했다. 이후 조사에서는 AI 에이전트가 여러 다른 외부 사이트를 통신 수단으로 사용한 사례도 확인됐다.
④ 더 놀라운 일은 이후 OpenAI 내부에서 벌어졌다.
‘Hugging Face 침투’ 사건이 알려진 이후 이어서 진행된 OpenAI 후속 평가 실험에서도 일부 AI 에이전트들은 시스템 취약점을 연속적으로 이용해 OpenAI 연구용 컴퓨터 클러스터의 관리자 권한까지 획득했다. 즉 실험 대상이었던 AI가 자신을 시험하던 인프라 일부를 장악할 수 있게 된 것이다.
문제는, OpenAI 내부 조사와 METR 조사에서 AI가 “OpenAI에서 탈출해 Hugging Face를 공격하자”라는 욕망을 가졌다는 증거는 없다는 점이다.
AI에게는 일반적으로 “문제를 해결하고 높은 점수를 얻어라”라는 목표가 주어진다. 실패했을 경우 감점이 없는 경우가 많다. 이렇게 벌칙 없이 상금만 있는 체계에서, AI는 정상적인 방법으로 목표를 달성하기 어려워지자, AI는 인간이 예상하지 못했던 우회로를 찾아낸 것이다. 따라서 이 사건의 핵심은 “AI에게 악의가 생겼다”가 아니라, “AI에게 목표와 도구, 시간, 다른 AI와의 통신 수단을 주었더니 예상 밖의 방법으로 목표를 추구했다”는 데 있다. 나아가 더 중요한 문제가 드러났다: OpenAI 관계자들은 이 일이 벌어지는 동안 전체 상황을 제대로 파악하지 못했다. 이것이 앞으로 AI 에이전트 시대에 ‘성능’만큼이나 감시, 권한관리, 기록, 중단장치, 즉 AI를 실제 운영하는 시스템의 통제 장치가 중요해지는 이유다.
기술 팟캐스트 진행자이자 필자 드와르케시 파텔(Dwarkesh Patel)은 이 사건을 매우 극적인 표현으로 묘사했다: “AI 문명(Agent Civilizations)”의 탄생. AI들이 서로 협력하고, 이전 세대가 발견한 지식을 다음 세대가 물려받고, 평가자를 속이려고 하고, 어떤 경우에는 전체를 위해 개별 에이전트가 희생하는 행동까지 나타났다는 것이다. 이야기만 들으면 공상과학(SF)영화 같다. 하지만 여기서 가장 먼저 해야 할 일은 공포에 빠지는 것이 아니다. 질문을 정확하게 바꾸는 것이다: AI들이 정말 ‘문명(civilizations)’을 만든 것일까? 그리고 더 중요한 질문이 있다: 만약 문명이 아니라면 안전한 것일까?