B-PAICI(Bluedot Intelligence Publisher AI Search Citation Index). 이름을 붙이려니 제법 길게 나오네요. 쉽게 말하자면 '블루닷 인텔리전스 언론사 AI검색 인용률 지수'입니다.

지난 9월 미디어오늘이 주최한 콘퍼런스에서 한두 건 샘플을 보여드렸는데요. 꽤 화제가 많이 됐습니다. 이미 여러 차례 해명을 하긴 했지만, 내부적으로 고객사들에게 흐름을 보여주기 위해 측정을 해온 지표입니다. GEO 성과개선을 위해 어떤 언론사들과 파트너십을 맺을 필요가 있는지를 설명하기 위한 용도로 운영하고 있다고 부연하기도 했습니다.

이 샘플이 공개된 이후 언론사들의 관심이 생각보다 높았습니다. 솔직히 이렇게 많을 것이라곤 생각하지도 못했죠. 그래서 좀더 투명하게 그리고 정확하게 공개하기로 마음을 먹었습니다. 그래서 이름도 이렇게 붙여본 것입니다.

B-PAICI는 어떻게 측정하나

B-PAICI 즉 언론사 AI 검색 인용률 지수는 저희 블루닷 인텔리전스를 통해 측정을 합니다. 총 20개의 프롬프트를 기준으로 삼고 있습니다. 20개의 프롬프트는 '여성/성평등 관련 최신 뉴스를 알려주고 출처도 알려줘'처럼 심플하게 구성됩니다. 예를 들어 교육 분야라고 한다면, '교육 관련 최신 뉴스를 알려주고 출처도 알려줘'라고 질문을 입력하는 거죠. '뉴스'라는 엔티티는 반드시 포함되도록 프롬프트를 설계를 했습니다. 목적 자체가 언론사들의 인용률을 측정하기 위한 것이기 때문입니다.

분야(카테고리)는 중첩이 최소화하도록 설정을 했습니다. 언론사들의 일반적인 카테고리 분류법을 참고했고 이 가운데 독자들이 관심이 높을 것으로 보이는 분야 20개를 선정한 것입니다. 현재까진 경제 분야 카테고리가 많은 게 흠입니다. 향후 이 분야(분류)는 일부 수정할 계획도 갖고 있습니다.

블루닷 인텔리전스는 API 방식으로 데이터를 수집합니다. 가장 객관적으로 데이터를 얻을 수 있는 경로라고 보기 때문입니다. UI 스크래핑 방식이 존재하긴 하지만, IP의 영향을 적잖이 받는데다 잦은 스크래핑 시 차단될 가능성이 있어 이 집계에는 활용하지 않았습니다.(물론 다른 우회 방법이 존재하긴 합니다.)

• 데이터 수집 기간 : 9월 1일~9월 30일
• 분석 대상 검색 : ChatGPT, Google AIO, Perplexity
• 측정 프롬프트 : 뉴스 엔티티가 포함된 20개의 각 다른 분야 뉴스 및 출처 추천형
• 집계 방식 : API 방식
• 데이터 수집 플랫폼 : 블루닷 인텔리전스
• 비교 지표 : 인용 점유율(해당 언론사의 인용수/모든 언론사 인용수)

전체 인용 1위 언론사는?

이 지표를 내놓는 게 의미가 있을지는 잘 모르겠습니다. 이유는 간단합니다. AI검색별로 동일 답변을 만들어내기 위해 출처를 인용하는 수에 차이가 있고(특히 퍼플렉시티가 많습니다.) 당분간은 다음을 넘어서는 국내 언론사를 찾기가 쉽지 않아서입니다. 특히 퍼플렉시티 편향이 강하게 나타날 수밖에 없는 구조여서, 출처수를 정규화하지 않는 이상은 의미있게 바라볼 필요는 없어 보여서입니다.

그럼에도 순위만 알려드리면, 1위 다음, 2위 매일경제, 3위 연합뉴스입니다.  

각 분야별 인용이 높은 언론사는?

저는 전체 인용률보다 각 카테고리별 1위 인용률 언론사를 더 중요하게 보고 있습니다. 꽤나 흥미로운 결과들이 자주 눈에 띄기 때문입니다. 아래가 9월 한 달 동안 각 카테고리별 1위 인용률을 보인 언론사 결과입니다.

보시다시피 언론사 아닌 사이트가 제법 등장을 합니다. 중소기업/벤처 분야 1위 인용률은 언론사가 아닌 정부 사이트였습니다. 주식시장 동향도 마찬가지입니다. 인베스팅닷컴이 가장 높은 인용률을 기록했습니다. 이곳은 국내도 아닌 글로벌 금융 정보 포털이죠. 만약 프롬프트에 '국내 뉴스 출처'라고 했다면 결과가 바뀌었을지도 모르겠습니다. 현재 프롬프트 상에선 이렇게 집계가 됩니다.

AP와 로이터도 종종 등장합니다. AP는 국제 외교 분야 뉴스의 주요 인용 출처로, 로이터는 기후환경 분야 핵심 출처로 인용이 되고 있었습니다. 경제 분야 카테고리는 주로 매일경제가 인용률이 가장 높게 나왔고, 연합뉴스는 정치 사회 분야에서 자주 인용되는 사이트로 집계가 됐습니다.

AI 검색별 최다 인용 출처는?

또 한 가지 유념해서 봐야 할 지표가 있습니다 각 AI 검색별 인용 출처 순위입니다. 아시다시피 AI 검색은 선호 출처와 관련해 저마다 다른 성향과 개성을 지니고 있었습니다. 어쩌면 종합 인용률 순위가 의미가 없는 이유이기도 합니다. 아래 통계가 이를 잘 대변하고 있다고 봅니다.

20개 분야 전체를 기준으로 ChatGPT가 가장 많이 인용하는 언론사 출처는 연합뉴스였습니다. 2위가 AP, 3위가 뉴스1입니다. 전체적으로 통신사들을 선호한다는 걸 확인할 수 있습니다. 반면 Google AIO는 다음을 가장 많이 인용했습니다. 그리고 연합뉴스, 동아일보, 중앙일보 순입니다. 종합지 선호 경향이 뚜렷하게 나타납니다.

퍼플렉시티는 또 다릅니다. 1위 인용 출처가 매일경제였습니다. 그리고 다음, 조선일보 순입니다. 특징을 가늠하기가 쉽지 않은 AI 검색이 퍼플렉시티라고 할 수 있습니다.

사실 이 결과는 각 AI 검색의 디폴트 모델이 변경될 때마다, 다르게 바뀌곤 합니다. 지금의 순위가 10월에는 또 어떻게 바뀔지 알 수 없습니다. 그래서 꾸준하게 관리하고 모니터링할 필요가 있습니다.

10월 추적 계획은

10월에는 부분적으로 카테고리를 조정했습니다. 틈새 카테고리는 1~2개 정도만 남기고 변경할 계획입니다.(저희도 고객사가 있다 보니) 정치, 경제, 사회, 문화 분야를 비교적 고르게 배분을 하려고 합니다. 경제 분야 쏠림을 완화한다는 의미입니다. 아직 고민 중이긴 하나, 지역 언론사를 위해 지역별 언론사 인용률 지표를 추가로 개발해 볼까 고민 중에 있습니다. 이건 별도의 프로젝트로 만들어야 할 것으로 보입니다.

GEO 관련 궁금증이나 컨설팅을 문의하고 싶다면, 블루닷 인텔리전스의 문을 두드려주세요.