AI 빅테크에 대응할 수 있는 새로운 기술 표준 RSL(Really Simple Licensing)이 마침내 마련됐습니다. 규모가 크든 작든 라이언스 수익을 창출할 수 있는 기술적인 경로가 열린 셈입니다. 수많은 이해관계자들이 마주앉아 최소한의 합의안을 마련한 글로벌 기술 표준이라 할 수도 있습니다. 더이상 준수하지도 않는 robots.txt에 언론사들의 운명을 내맡길 필요도 없어졌습니다.

지난 30여 년간 인터넷의 트래픽 통제관 역할은 로봇 배제 표준(Robots Exclusion Protocol), 소위 robots.txt가 담당해 왔습니다. 이는 웹사이트 소유자가 검색 엔진 크롤러에게 '이 방에는 들어오지 마시오'라고 정중하게 요청하는 일종의 신사협정(Gentlemen's Agreement)이었죠. 검색 엔진은 이 규칙을 준수하는 대가로 콘텐츠를 인덱싱하고, 사용자 트래픽을 사이트로 보내주는 공생 관계가 유지되었습니다. 그러나 생성 AI의 등장은 이 시스템의 세 가지 치명적인 결함을 노출했습니다.

1. 의도의 세분화 부족(Lack of Granularity): robots.txt는 기본적으로 허용(Allow) 혹은 차단(Disallow)이라는 이분법적 신호만 보낼 수 있습니다. 언론사는 구글 검색엔진이 기사를 긁어가서 검색 결과에 노출해주기를 원하지만(인덱싱), 그 기사를 통째로 학습시켜 기사를 대체하는 AI 모델을 만드는 것(트래픽 미반환)은 원하지 않습니다. robots.txt는 이 두 가지 서로 다른 '의도'를 구분할 수 없습니다.
2. 법적 강제력의 부재: robots.txt는 기술적 권고일 뿐 법적 구속력이 있는 계약서가 아닙니다. 최근 New York Times v. Perplexity나 Ziff Davis v. OpenAI 소송에서 드러나듯, AI 기업들은 "공개된 웹 데이터는 공정이용(Fair Use) 대상"이라며 이 표준을 무시하거나 우회하는 경우가 빈번합니다.
3. 수익화 레이어의 부재: 가장 결정적으로, robots.txt에는 "내 콘텐츠를 쓰려면 돈을 내라"고 말할 수 있는 문법이 존재하지 않죠. 차단은 할 수 있어도 협상은 할 수 없는 구조적 한계가 존재했습니다.

이 빈틈은 가치 격차((Value Gap)라는 새로운 현상을 만들어냈습니다. 2024년과 2025년을 거치며 AI 기업들의 기업 가치는 수천 조 원 단위로 폭등한 반면, 그들의 학습 데이터가 된 언론사들은 수익이 정체되거나 하락하는 '가치 격차'(Value Gap)가 극에 달했습니다. 뉴스 기사, 전문 블로그, 학술 데이터 등 고품질 텍스트는 AI 모델의 성능을 좌우하는 핵심 자원임에도 불구하고, 이에 대한 보상은 부족했습니다. 개별 언론사들이 OpenAI나 Google과 맺는 양자 계약(Bilateral Deal)은 일부 대형사에만 국한되었고, 대다수의 중소형 언론사와 콘텐츠 창작자들은 '데이터 뷔페'의 재료로 전락할 위기에 처한 상황입니다.