다음은 그들이 공표한 대로 자사 포털에 게재된 언론사들의 뉴스를 차단했을까요? 결론부터 말씀드리면 일부는 맞고 일부는 틀렸습니다. 정확히는 여전히 글로벌 AI 검색에 언론사들의 학습 및 이용을 허락하고 있는 상황입니다. 그 근거를 하나씩 설명을 드리도록 하겠습니다.

다음은 여전히 AI 검색에 언론사들의 콘텐츠를 제공하고 있습니다.

AI 검색이 다음 내 뉴스를 인용하는 경로와 패턴

블루닷 인텔리전스는 B-PAICI(Bluedot Intelligence Publisher AI Search Citation Index)이라는 이름으로 언론사들의 인용률을 지속적으로 측정하고 있는데요. 여기서 daum.net으로 인용되는 기사를 확인해 봤습니다. 10월 초보다 전체적으로 인용률이 일부 낮아지긴 했지만, 여전히 중요한 인용 출처로 남아 있었습니다.

그 이유를 이해하기 위해서는 인용되는 링크의 패턴을 봐야 합니다.

• 1번 유형 : news.daum.net
• 2번 유형 : v.daum.net

보시다시피, AI검색이 다음 내 기사를 인용할 때에는 서브도메인으로 된 기사 페이지를 가져옵니다. www.daum.net 도 daum.net도 아닙니다.

다음 측이 지난 10월 7일을 기점으로 www.daum.net과 daum.net의 도메인에 robots.txt를 업데이트하고 차단 조치를 취했습니다. 하지만 뉴스가 인용되는 핵심 경로인 v.daum.net, news.daum.net에 대해서는 AI 크롤러를 차단하지 않았습니다. 따라서 계속 다음 내 언론사들의 기사가 AI 검색에 인용되는 건 자연스러운 결과입니다.

www.daum.net 차단한다고, v.daum.net이 차단되진 않는다

'이게 무슨 차이지?' 약간 복잡하시죠? 그러려면 robots.txt 규칙의 적용 범위를 이해해야 합니다. 쉽게 설명을 드리도록 하겠습니다.

daum.net에 robots.txt를 설치했다고 가정하겠습니다. 이때 robots.txt 규칙은 daum.net/~~~ 이 하위 폴더에만 영향을 미칩니다. www.daum.net, v.daum.net, news.daum.net에는 전혀 영향을 미치지 않습니다. 이는 서로 다른 호스트를 갖고 있기 때문입니다. 다음은 언론사들이 전송한 뉴스 콘텐츠에 v.daum.net 이라는 하위 도메인 체계를 적용하기 때문에, daum.net이나 www.daum.net에  적용된 robots.txt 규칙을 적용받지 않습니다. 한마디로 AI 크롤러에 여전히 개방된 상태라는 얘기입니다.

근거를 들어보도록 하겠습니다. 아래는 구글이 자신들의 크롤러 정책을 설명한 문서입니다. robots.txt가 어느 도메인에서만 유효한지를 쉽게 설명한 문서입니다.

구글만 그럴까요? 이번엔 Bing 검색을 보겠습니다. 마찬가지입니다.

여기서 호스트(host)는 contoso.com이나 www.contoso.com이 아니라 전체 서브도메인인 us.contoso.com을 의미한다는 점에 유의해야 합니다. 이는 여러 서브도메인을 운영하는 경우, 모든 robots.txt 파일의 내용이 동일하더라도 BingBot이 각 서브도메인의 루트 경로에서 robots.txt 파일을 가져올 수 있어야 한다는 뜻입니다. 특히 특정 서브도메인에 robots.txt 파일이 없는 경우, BingBot은 해당 도메인 내 다른 위치에 있는 robots.txt 파일을 대신 사용하지 않습니다. 즉, 해당 서브도메인에서는 모든 경로의 크롤링이 허용된 것으로 간주합니다. BingBot은 도메인과 관련된 다른 호스트에 robots.txt 파일이 존재하더라도, 그 파일에 명시된 지침이 현재 호스트에도 적용된다고 추정하지 않습니다. (Bing 공식 블로그. 2012)

이는 로봇배제 프로토콜을 정의를 관리하고 있는 인터넷 기술 표준을 개발하는 개방형 국제 기술 커뮤니티(IETF)가 공식 문서를 통해 RFC 9309: Robots Exclusion Protocol 그렇게 정의했기 때문입니다.

v.daum.net과 news.daum.net의 robots.txt는?

v.daum.net/robots.txt와 news.daum.net/robots.txt 화면을 캡처해 봤습니다. 둘 다 파일이 존재하지 않습니다. robots.txt 파일이 해당 도메인에 존재하지 않는다는 건 차단 규칙이 없다는 의미입니다. 들어와서 콘텐츠를 스크래핑한 뒤 자유롭게 사용할 수 있다는 선언이기도 합니다. (아래 RFC 9309 Robots Exclusion Protocol 설명처럼 파일이 없으면, 크롤러가 접근할 수 있는 상태로 간주됩니다)

표준 문서를 그대로 인용해 보겠습니다.

2.3.1.3. "Unavailable" Status

"Unavailable" means the crawler tries to fetch the robots.txt file and the server responds with status codes indicating that the resource in question is unavailable. For example, in the context of HTTP, such status codes are in the 400-499 range. If a server status code indicates that the robots.txt file is unavailable to the crawler, then the crawler MAY access any resources on the server.

다음은 10월 7일 www.daum.net와 daum.net 도메인에는 robots.txt 규칙을 선언해 모든 AI 크롤러들의 접근을 차단했지만 뉴스 콘텐츠가 포함된 하위 도메인은 이렇게 열어둔 상태입니다. 그래서 저희 블루닷 인텔리전스의 인용 목록에 다음 내 뉴스가 잡히고 있는 것입니다.

HTTP 레벨에서 차단하지도 않았다

robots.txt은 규정이고 선언입니다. 일종의 팻말입니다. 이 팻말을 무시하고 접근하는 것도 가능은 합니다. 상도덕에 반하긴 하지만 말이죠. 이를 물리적으로 차단하는 방식이 존재하는데요. HTTP 레벨에서 크롤러를 막는 거죠. 그래서 제가 다시 테스트를 해봤습니다.  v.daum.neet에 대한 HTTP 접근성 테스트를 진행한 결과는 아래와 같습니다.

robots.txt 파일로 차단하지 않았을 뿐 아니라 HTTP 레벨에서 크롤러의 접근도 허락하고 있습니다. 여전히 다음 내 언론사 기사가 주요 AI검색에서 인용되고 있는 이유입니다.

언론사들이 다음에 요구해야 할 사항

다음에 기사를 전송하고 있는 언론사들은 다음 측에 아래 2가지 사항을 지속적으로 요구해야 합니다.

• v.daum.net에 robots.txt 파일을 업로드해 AI 크롤러를 차단해야 한다
• news.daum.net에 robots.txt 파일을 업로드해 AI 크롤러를 차단해야 한다

이 두 가지가 관철되지 않는 이상, 언론사 개별 사이트 차원의 AI 학습봇 차단 등은 아무런 효과가 없을 겁니다. 허락을 구하지 않은 채 AI 검색 기업들이 여러분들의 기사를 마음껏 사용하게 될 것입니다.