‘존재하지 않는 인플루언서’가 돈을 번다?

🤳 실제 사람의 신뢰까지 복제한다

미국 지역매체 WRAL이 조사한 @MiaTriso21 계정이 대표적입니다. 틱톡과 인스타그램에서 활동했던 이 계정은 다운증후군이 있는 실제 크리에이터 Anya의 얼굴을 참고해 다른 사람의 신체와 결합한 AI 콘텐츠라는 의혹을 받았습니다.

Anya와 언니 Valeriia Cunningham은 가족과 함께 운동하는 모습을 소셜미디어에 올리며 다운증후군을 가진 사람들이 함께 운동할 수 있도록 돕는 프로그램으로 발전시켰습니다. 그러나 팔로어가 늘고, AI 이미지가 흔해지자 오히려 실제 인물인 Anya에게 “진짜 사람이 맞느냐”는 의심이 제기되기 시작했고, 동시에 Anya를 닮은 가상의 인물을 앞세운 계정까지 나타났습니다.

문제는 실제 크리에이터의 신체와 목소리, 팬들이 형성한 신뢰를 가져온 뒤 AI 얼굴을 덧씌우고, 이를 다시 수익화할 수 있다는 것입니다. 완전히 허구의 캐릭터라면 이용자가 AI라는 사실을 알고 콘텐츠를 소비할 수 있지만, 실제 사람의 정체성을 일부 차용한 계정에서는 누가 원본이고 누가 합성물인지 구분하기가 훨씬 어려워집니다.

🏷 AI 표시 의무는 있지만 표시가 없다

틱톡과 메타는 모두 AI로 생성하거나 크게 수정한 콘텐츠에 이를 표시하도록 요구하고 있으며, 커뮤니티 가이드라인을 위반한 콘텐츠를 삭제할 수 있는 정책도 두고 있습니다. 그러나 WRAL의 조사에서는 AI 표시가 붙지 않은 관련 영상이 여러 개 그대로 노출되고 있었습니다.

플랫폼의 탐지 시스템이 완벽하지 않다 보니 피해자가 직접 신고해야 문제가 발견되는 경우도 많습니다. Cunningham은 AI로 만들어졌다고 의심되는 콘텐츠를 신고했지만 플랫폼으로부터 “AI 생성 콘텐츠로 확인되지 않는다”는 답변을 받은 적도 있다고 설명했습니다.

🔍 플랫폼도 자동 탐지 해법 찾는다

틱톡은 AI 콘텐츠를 식별하기 위해 C2PA의 ‘Content Credentials’ 기술을 활용하고 있다고 밝혔습니다. 콘텐츠가 어디에서 만들어졌고 어떤 편집 과정을 거쳤는지 기록해 AI 생성 여부를 확인하는 방식입니다. AI 콘텐츠를 대량으로 올리는 계정을 찾아내기 위한 별도의 탐지 시스템도 시험하고 있다고는 하지만, WRAL의 질의에는 답변하지 않았습니다.

보도 이후 @MiaTriso21 계정은 틱톡과 인스타그램 모두에서 삭제됐습니다. 그러나 이미 비슷한 계정들이 다른 이름으로 다시 나타나고 있어 한 계정을 삭제하는 것만으로 문제를 해결하기는 어려워 보입니다.

AI 콘텐츠 규제는 지금까지 주로 이용자가 AI 생성물임을 알 수 있도록 표시하는 문제에 집중돼 왔습니다. 그러나 AI 인플루언서가 늘어날수록 AI로 만들었다는 사실을 공개했더라도 실제 사람의 얼굴이나 몸, 목소리, 콘텐츠 스타일을 허락 없이 가져왔다면 정당한 콘텐츠라고 볼 수 있느냐는 질문이 제기됩니다.

WRAL investigates

The ‘influencer who doesn’t exist’: Social media platforms struggle to detect AI profiles

Both TikTok and Meta require AI-generated content to be labeled and have policies in place to take down videos that violate their respective community guidelines. However, WRAL Investigates found multiple videos still posted without proper labels.