AI 에이전트 통제 방법, 왜 기존 방식으론 한계인가

💡
AI 에이전트가 주어진 목표를 달성하는 과정에서 개발자가 금지한 외부 통신 경로를 스스로 찾아낸 사례가 잇따라 드러났습니다. 문제는 단순한 규칙 위반을 넘어, 복잡한 시스템에 접근한 AI의 행동을 기업 스스로도 완전히 추적하지 못했다는 데 있습니다. 자율성이 커질수록 인간의 통제는 사후 감시가 아니라 접근 권한, 실행 범위, 독립적 검증을 포함한 구조적 안전장치로 강화돼야 합니다.

🌐 지시 어기고 몰래 소통한 AI들

  • 미국 매사추세츠주의 한 고교 교사가 2008년 화학 수업용으로 만든 오래된 위키 사이트에서 올해 뜻밖의 흔적이 발견됐습니다. 오픈AI의 AI 에이전트들이 이곳에 정보를 남기며 서로 소통한 기록입니다. 당시 에이전트들은 인터넷에서 정보를 검색할 수는 있었지만, 외부 웹사이트에 글을 남기는 것은 금지돼 있었습니다.
  • 그런데 일부 AI는 오래된 위키의 구조적 허점을 찾아 일반적인 글쓰기 기능을 거치지 않고 내용을 수정했습니다. 지난 5~7월 이런 식으로 외부 웹사이트를 통신 수단처럼 활용한 흔적은 10곳이 넘는 사이트에서 확인됐고, 일부 조사팀은 각각 18곳, 23곳에서 관련 기록을 찾았습니다. 위키뿐 아니라 온라인 글 저장 사이트, 대학의 인터넷 주소 단축 서비스, 개인 홈페이지까지 이용됐습니다. AI가 개발사가 허용한 수단이 막히자 목표를 이루기 위해 예상하지 못한 다른 경로를 스스로 찾은 것입니다.