역정보의 패러독스(The Reverse Information Paradox) - 사티야 나델라

1. AI시대의 역설 - 지불하고도 빼앗기는 지식

• AI 시대의 기업들은 기술을 사용하기 위해 자신들의 가장 소중한 자산인 '독점적 지식(노하우)'을 모델 제공업체에 넘겨주어야 하는 위험에 직면해 있습니다.
• 마이크로소프트 CEO 사티야 나델라는 이를 노벨 경제학상 수상자 케네스 애로우의 '정보 패러독스'에 빗대어 '역정보 패러독스(The Reverse Information Paradox)'라고 정의합니다.

2. 왜 중요한가

• 이중 지불의 덫: 기업은 AI를 도입할 때 돈(구독료/사용료)을 지불할 뿐만 아니라, AI를 유용하게 만들기 위해 자사의 핵심 노하우(프롬프트, 피드백, 교정 데이터 등)를 입력값으로 제공하는 '두 번째 비용'을 치릅니다.
• 비대칭성의 심화: AI 모델을 더 잘 쓰려고 노력할수록 더 많은 고유 지식을 입력해야 합니다. 결국 빅테크(모델 제공사)는 기업에 대해 점점 더 많은 것을 배우는 반면, 기업은 빅테크가 자사 데이터를 통해 무엇을 학습하는지 알 길이 없습니다.
• 가치의 수렴: 학습의 흐름이 모델 제공업체로만 향한다면, 미래의 경제적 가치는 지식을 창조한 기업이 아니라 '학습 인프라를 소유한 빅테크'로만 집중될 것입니다.

3. 큰 그림 : '정보 패러독스' vs '역정보 패러독스'

• 애로우의 정보 패러독스 (기존): 판매자가 정보의 가치를 증명하려면 구매자에게 정보를 보여주어야 하지만, 보여주는 순간 구매자는 공짜로 정보를 얻게 됨 (판매자의 리스크).
• 역정보 패러독스 (AI 시대): 구매자(기업)가 구매한 AI 모델을 유용하게 쓰기 위해 데이터를 입력하는 순간, 판매자(AI 기업)가 그 지식을 흡수해 학습함 (구매자의 리스크).

"지능을 소비하는 과정에서, 당신은 지능을 창조하고 있습니다. 그리고 당신이 창조한 지능은 온전히 당신의 것이어야 합니다."

4. 심층 정보 : 기업이 취해야 할 5대 프레임워크 (5C)

나델라는 기업이 빅테크에 종속되지 않고 자체적인 '학습 루프(Learning Loop)'를 통제하기 위해 다음 5가지(5C)를 실행해야 한다고 강조합니다.

1. 통제 (Control): 무엇이 '좋은 결과'인지 정의하는 자체 평가 기준(Private Evals)을 만들고, 모델 사용 과정에서 발생하는 피드백과 결정(메모리)의 소유권을 지켜야 합니다.
2. 역량 (Capability): 기업 내부 경계(Tenant Boundary) 내에 독점적인 학습 환경을 구축하여, 자사 지식을 외부에 노출하지 않고 모델을 미세조정(Fine-tuning)해야 합니다.
3. 선택권 (Choice): 오케스트레이션(조율) 레이어를 특정 단일 모델로부터 분리해야 합니다. 특정 범용 모델이 사라지더라도 기업의 고유 노하우('베테랑' 역량)는 유지되어야 합니다.
4. 비용 (Cost): 오케스트레이션 레이어를 분리함으로써, 품질 저하 없이 컨텍스트, 모델, 작업을 가장 비용 효율적인 방식으로 조합해야 합니다.
5. 복리 효과 (Compound): 위의 4가지를 결합해 스스로 개선되는 '지속적인 학습 루프(Hill-climbing machine)'를 구축하여 AI 투자가 기업 가치의 복리 성장으로 이어지게 해야 합니다.

5. 시사점

• 과거 클라우드 시대의 핵심이 '데이터 축적'이었다면, AI 시대의 핵심은 '학습의 축적'입니다.
• 기업은 이제 단순히 데이터를 보호하는 것을 넘어, 조직이 학습하고 적응하며 지능을 진화시키는 '메커니즘' 자체를 보호하는 '신뢰 경계(Trust Boundary)'를 구축해야 합니다.
• 자사를 독보적으로 만드는 고유한 지식을 빼앗기지 않으면서 AI를 활용하는 법을 터득하는 기업만이 AI 시대의 진정한 승자가 될 것입니다.

The Reverse Information Paradox

I’ve been thinking a lot about what the net benefit of the AI platform wave is.

Satya NadellaSatya Nadella

[전문 번역] 역정보 패러독스 (The Reverse Information Paradox)

지능의 시대, 기업은 어떻게 핵심 IP를 보호해야 하는가?

노벨 경제학상 수상자인 케네스 애로우(Kenneth Arrow)는 정보 시장의 패러독스를 다음과 같이 유명하게 묘사한 바 있습니다.

“구매자는 정보를 얻기 전까지는 그 가치를 알 수 없지만, 정보를 얻고 나면 사실상 비용을 지불하지 않고 정보를 획득하게 된다.”

애로우의 ‘정보 패러독스(Information Paradox)’에서 판매자는 정보를 판매하기 위해 지식을 그냥 넘겨주어야 하는 위험을 감수합니다.

AI는 이와 정반대의 문제를 만들어냅니다. AI 시대에는 구매자가 자신이 구매한 제품을 사용하기 위해 자신의 지식을 넘겨주어야 하는 위험을 감수해야 합니다.

본질적으로 기업은 지능에 대해 두 번 비용을 지불하는 셈입니다. 한 번은 돈으로, 또 한 번은 그 지능을 유용하게 만들기 위해 반드시 드러내야 하는 훨씬 더 가치 있는 것, 즉 '독점적 지식'으로 지불합니다. 모델이 더 잘 작동하기를 원할수록, 더 많은 지식을 모델에 주입해야만 합니다!

시간이 흐를수록 정보의 비대칭성은 점점 더 한쪽으로 치우칩니다. 판매자는 당신이 구매한 제품을 사용하는 과정을 통해 당신에 대해 점점 더 많이 배우는 반면, 당신은 판매자가 그 대가로 무엇을 배우고 있는지 거의 알지 못합니다.

이것이 바로 제가 생각하는 '역정보 패러독스(Reverse Information Paradox)'입니다.

특허는 애로우의 패러독스 중 한 가지 측면을 해결해 줍니다. 특허 덕분에 발명가는 아이디어를 그냥 빼앗기지 않고 공개할 수 있습니다. 역정보 패러독스 역시 이에 상응하는 해결책이 필요합니다.

이는 단순한 데이터 보호 이상의 조치를 요구합니다. 모델은 사람들이 작성하는 프롬프트, 에이전트가 사용하는 도구, 그리고 특히 모델이 틀렸을 때 사람들이 내리는 교정(corrections)과 같은'배기가스(exhaust)'로부터 학습합니다. 모든 교정 사항은 기관의 노하우로 정제됩니다. 이는 경쟁사가 결코 돈으로 살 수 없는 종류의 지식이며, 흔적(trace) 하나하나, 교정 하나하나, 평가(eval) 하나하나를 통해 거의 알아차릴 수 없을 정도로 미세하게 유출되는 지식입니다.

지능을 소비하는 과정에서 당신은 지능을 창조하고 있습니다. 그리고 당신이 창조한 것은 당신의 것이어야 합니다. 이것이 바로 하이에크(Hayek)가 말한 의미에서의 '특수한 지능(particular intelligence)'입니다. 즉, 다른 누구도 가질 수 없는 시간, 장소, 상황에 대한 지식입니다. 그것은 당신이 무엇을 생각하고, 무엇을 가치 있게 여기며, 성공을 어떻게 측정하는지 알고 있습니다.

모델 제공업체가 공개 데이터를 학습할 수 있는 공정 이용(fair use) 권리를 가짐으로써 얻는 위대한 혁신도 물론 필요하지만, 정작 그들이 태도를 바꾸어 증류(distillation)에 제한적 조건을 부과하고 고객의 사용 및 상호작용 데이터로부터 학습할 권리를 독점하려는 현재의 상황은 아이러니하게 느껴집니다. 만약 학습이 한 방향으로만 흐른다면, 경제적 가치는 지식의 창조자가 아니라 학습 인프라의 소유자에게 수렴될 것입니다. 따라서 우리는 모든 기업이 스스로의 학습 루프를 통제할 수 있도록 학습 인프라를 분산시켜야 합니다.

알렉스 카프(Alex Karp, 팔란티어 CEO)가 말했듯, “기술적 고객들이 원하는 것은 자신들의 컴퓨팅, 모델, 데이터 스택, 그리고 자신들의 '알파(alpha)'에 대한 통제권입니다. 그들은 생산 수단을 스스로 소유하고 있으며, 그것이 다른 누군가에게 이전되지 않고 있음을 확인하고 싶어 합니다.”

현재의 체제는 카프와 기업들이 우려하는 바로 그 가치 이전을 고스란히 수행하고 있습니다.

이것이 바로 기업들이 인적 자본(human capital)과 토큰 자본(token capital)을 복리로 성장시키기 위해 실질적인 '신뢰 경계(trust boundary)'를 필요로 하는 이유입니다. 이 경계 안에서 조직의 데이터, 흔적(traces), 평가(evals), 조정된 가중치(adapted weights), 그리고 메모리가 함께 축적되고 개선됩니다. 그리고 이 경계는 동의 없이는 그 어떤 것도, 심지어 지능의 배기가스조차도 절대 넘어갈 수 없는 단단한 장벽이어야 합니다. 기업들은 모델의 출력물을 사용해 자신들의 모델을 미세조정(fine-tune)하거나 훈련할 권리를 요구할 것입니다. 저는 이를 모든 기업이 모델을 자신들의 기업적 책임 의무에 정렬시킬 수 있는 권리라고 생각합니다.

클라우드 시대에 기업들은 데이터를 축적했습니다. AI 시대에 기업들은 '학습'을 축적합니다. 따라서 신뢰 경계 역시 정보를 보호하는 것에서 조직이 학습하고, 적응하며, 지능을 복리로 성장시키는 '메커니즘'을 보호하는 방향으로 진화해야 합니다. 이를 확실히 하기 위해 모든 기업이 반드시 해야 할 몇 가지 사항이 있습니다.

• 통제(Control): 자체적인 평가(evals) 기준을 만드십시오. 평가는 조직 내부에서 무엇이 '좋은 것'인지를 정의하기 때문입니다. 또한 조직의 메모리, 흔적(traces), 피드백, 의사결정, 기관의 맥락에 대한 소유권을 유지하고, 자체 작업 및 쿼리에서 나오는 모델 출력물을 사용할 수 있는 능력을 보유하십시오.
• 역량(Capability): 테넌트 경계(tenant boundary) 내에 독점적인 학습 환경을 구축하여 모델을 훈련하거나 미세조정하십시오. 이곳에서 모델은 회사의 지식을 외부에 노출하지 않고 실제 워크플로우를 바탕으로 학습하게 됩니다.
• 선택권(Choice): 오케스트레이션(조율) 레이어가 특정 단일 모델로부터 분리되어 있는지 확인하십시오. 스스로에게 질문해 보십시오. "내가 사용 중인 특정 모델이 사라지더라도, 다른 모델을 사용해 자체 평가 기준에 맞춰 운영하고 최적화할 수 있는 능력이 여전히 있는가?", "특정 '범용(generalist)' 모델이 사라지더라도 우리 회사의 '베테랑(veteran)' 역량은 우리에게 그대로 남아 있는가?"
• 비용(Cost): 오케스트레이션 레이어를 분리함으로써, 품질을 희생하지 않으면서도 컨텍스트, 모델, 작업을 가장 효율적이고 비용 효과적인 방식으로 결합할 수 있습니다.
• 복리 효과(Compound): 이 네 가지를 하나로 결합하면 자신만의 지속적인 학습 루프(즉, 고지 점령 기계, hill climbing machine)를 만들 수 있으며, 이를 통해 AI 투자가 기업의 가치를 복리로 성장시키도록 만들 수 있습니다.

즉, 기업은 자신을 독보적으로 만드는 지식을 포기하지 않고도 모델을 사용할 수 있어야 합니다. 이것이 바로 우리가 맞서 싸워야 할 역정보 패러독스입니다.