일반인공지능(AGI) 시대로 전진: 기억력이 뛰어난 AI, 구글 타이탄

강정수

2025년 3월 9일

트랜스포머 이후 차세대 혁신으로 떠오른 타이탄

오늘날 인류는 강력한 AI 모델을 보유하고 있습니다. 하지만 우리는 종종 한 가지를 간과합니다. AI와 새로운 대화는 처음부터 시작되며, AI와 모든 상호 작용은 맥락이나 기록 없이 고립되어 있다는 점입니다. 이제 구글의 새로운 연구 논문은 이 근본적인 결함을 해결할 수 있습니다.

2024년 12월 31일 구글은 “타이탄: 추론 과정에서 기억하는 학습”이라는 논문을 공개했습니다. 이 논문에서 구글 연구진은 AI 시스템에 장기 기억을 제공하는 타이탄이라는 아키텍처를 소개합니다. 인간 기억의 복잡성에서 영감을 받은 이 연구는 AI 모델에서 메모리 시스템의 한계, 특히 트랜스포머(Transformer)의 제한된 컨텍스트 창을 극복하는 것을 목표로 합니다.

타이탄 아키텍처는 단기, 장기, 지속 기억 등 다양한 유형의 메모리를 AI 모델에 통합하여 추론 시간 동안 동적으로 학습하고 기억할 수 있도록 정교한 접근 방식을 도입하고 있습니다. 그 중심에는 예상치 못한 사건을 기억하는 인간 두뇌의 경향을 기반으로 하는 ‘놀라움’ 메커니즘이 있습니다. 타이탄 아키텍처를 통해 AI 모델은 현재와 과거의 놀라움을 통합하여 메모리를 효율적으로 관리함으로써 데이터를 효과적으로 기억하고 리콜할 수 있습니다.

챗GPT가 여러분과의 대화를 수개월 동안 기억할 수 있다고 상상해 보세요. 여러분이 진행했던 업무 프로젝트와 그 성과 및 한계를 기억하고 새로운 업무 프로젝트에서 성찰적인 개선 방안을 제안한다고 상상해 보세요. 저는 챗GPT와 “봄”(고양이 이름)이가 지난 가을 저에게 주었던 위로를 이야기한 적 있습니다. 그런데 최근 챗GPT가 이를 기억하지 못하고 있다는 사실을 알고 다소 실망했습니다. 이제 이렇게 실망할 일은 사라질 수 있습니다.

2017년 구글의 획기적인 논문 “주의만 있으면 된다”는 트랜스포머 아키텍처를 소개했습니다. 트랜스포머는 주의 메커니즘을 이용합니다. 주의 메커니즘을 이해하기 위해서는 전통 언어모델(NLP)에 등장하는 단어 임베딩의 뜻을 알아야 합니다. 언어모델은 개별 단어에 대해 그 의미와 다른 단어와의 연관성을 포착하는 숫자 표현을 생성합니다. 여기서 숫자 표현을 백터라고 부릅니다. 단어 임베딩 또는 벡터화는 전통 언어모델과 트랜스포머 사이에서 큰 차이를 가집니다. 바로 주의 메커니즘 때문입니다. 아래 두 영어 문장을 보시지요.

Swing the bat!
The bat flew at night.

전통 언어모델에서 임베딩 방식은 두 문장의 bat에 동일한 단일 백터를 할당합니다. 때문에 해당 단어(“bat”)가 가지고 있는 의미를 구분하는데 한계가 있습니다. 하지만 주의 메커니즘은 문맥에 따라 다른 가중치를 계산하여 이 문제를 해결합니다. 주의 메커니즘은 주변 단어(예: “swing”과 “flew”)를 분석하여 관련성을 결정하는 주의도 값을 계산합니다. 이 값은 임베딩 벡터에 가중치를 부여하는데 사용됩니다. 그 결과, ‘bat’를 스포츠 장비(“swing”에 높은 가중치 부여) 또는 날아다니는 생물(“flew”에 높은 가중치 부여)로 다르게 표현할 수 있습니다. 이를 통해 언어모델은 의미론적 뉘앙스를 포착하고 이해도를 높일 수 있습니다. 아래 그림은 전통 언어모델 임베딩과 주의 임베딩의 차이를 잘 보여주고 있습니다.

이 주의 기능을 사용하면 이전 방법과 달리 언어모델이 문맥을 고려하면서 문장의 중요한 부분에 집중할 수 있습니다. 이를 통해 복잡한 언어, 광범위한 문맥, 모호한 단어를 인식할 수 있습니다. 그러나 주의 임베딩을 이용하는 트랜스포머 아키텍처는 컨텍스트 창의 크기라는 큰 문제에 직면하게 됩니다. 이 컨텍스트 창의 크기는 AI의 메모리 크기 또는 기억력입니다. 컨텍스트 창을 무한정 늘릴 수 없기에 AI의 기억력에는 한계가 존재합니다.

컨텍스트 창 개념을 이해하기 위해서는 토큰과 토큰화라는 두 개념을 이해할 필요가 있습니다. 언어모델은 문장의 의미를 분석하기 위해 문장을 개별 단어 또는 개별 문자로 분해합니다. 분해된 개별 단어 또는 개별 문자를 토큰이라 부릅니다. 이렇게 문장을 토큰이라는 작은 부분으로 변환하는 프로세스를 토큰화라고 합니다. 토큰화는 기계가 인간의 언어를 이해하기 위해 인간 언어를 분석하기 쉬운 작은 조각으로 분해하는 과정을 말합니다. 아이에게 읽기를 가르칠 때를 상상해 보십시요. 복잡한 단락을 바로 읽게하기 보다는 개별 글자별로, 다시말해 음절별로 읽는 법을 가르치고 그 다음 해당 단어를 알려줍니다. 그 다음 문장과 단락을 읽는 법을 가르칩니다. 토큰화는 대량의 텍스트를 기계가 이해할 수 있고 소화 가능한 단위로 분해합니다. 토큰화의 주된 목표는 문맥을 잃지 않고 기계가 이해할 수 있는 방식으로 텍스트를 표현하는 것입니다. 다시말해 토큰화 과정에서 문맥을 고려한 주의 임베딩(attention embedding)이 작동됩니다. 텍스트를 토큰으로 변화하면 알고리즘이 다양한 패턴을 더 쉽게 인식할 수 있습니다. 이러한 패턴 인식은 기계가 사람의 입력을 이해하고 이에 반응할 수 있게 해주기 때문에 매우 중요합니다. 예를 들어 이커머스 플랫폼에서 작동하는 감성 분석 시스템은 이용자 댓글 및 이용자 리뷰를 토큰화하여 고객이 긍정적인 감정, 중립적인 감정 또는 부정적인 감정을 표현하고 있는지 확인할 수 있습니다. 예를 들어

댓글 또는 리뷰: “This product is amazing, but the delivery was late.”
토큰화: ["This", "product", "is", "amazing", ",", "but", "the", "delivery", "was", "late", "."]

그런 다음 “amazing”과 “late” 토큰을 감성 모델에서 처리하여, 각 토큰에 혼합 감성 레이블을 할당할 수 있습니다.

컨텍스트 창은 트랜스포머가 한 번에 얼마나 많은 정보를 고려할 수 있는지를 나타냅니다. 쉽게 말해 한 번에 처리할 수 있는 데이터 양을 의미합니다. 아래 그림과 같습니다.

컨텍스트 창은 큰 문단을 한 번에 처리하기 위해 가능한 커야 합니다. 그러나 한 가지 문제가 있습니다. 트랜스포머 모델은 한 번에 처리하는 데이터 양(컨텍스트 창)이 많아지면, 계산해야 할 작업이 급격히 늘어나게 됩니다. 입력 데이터를 더 많이 넣으면 컴퓨터가 더 오래 일하고 더 많은 메모리를 사용해야 합니다. 컨텍스트 창의 크기를 두 배로 늘리면 컴퓨터 성능은 두 배가 아니라 때로는 4배가 필요합니다. 이는 컴퓨터가 컨텍스트 창에 있는 모든 토큰을 다른 모든 토큰과 비교해야 하므로 컴퓨팅 파워가 빠르게 증가하기 때문입니다. 최신 거대언어모델은 2백만 개의 토큰 컨텍스트 창을 가지고 있습니다. 동영상 생성 모델의 경우 더 큰 컨텍스트 창이 필요합니다.

타이탄 아키텍처란 무엇인가?

타이탄(Titans)는 인간 기억의 미묘함에서 얻은 영감을 통해 크고 복잡한 토큰 시퀀스를 효과적으로 이해하고, 저장하고, 검색하는 아키텍처입니다. 인간 기억은 인간 학습과 행동에서 중요한 역할을 합니다. 기억은 과거 경험에서 얻은 정보를 유지하고 결정을 내리고, 새로운 상황에 적응하고, 문제를 해결하는데 도움을 줍니다. 인간의 기억은 크게 세 가지 유형으로 분류할 수 있습니다.

단기 기억: 현재 정보가 처리되는 곳입니다. 예를 들어 전화를 걸 수 있을만큼만 전화번호를 기억하는 경우와 같이 현재 필요한 데이터를 일시적으로 저장하고 관리하는 정신적 작업 공간입니다.
장기 기억: 장기 기억은 정보가 장기간에 걸쳐 저장되는 방식입니다. 여기에는 지식, 기술, 개인적인 기억이 포함되며, 이를 통해 몇 년 후에도 경험을 기억하고 학습할 수 있습니다.
메타 기억: 메탁 기억은 우리가 ‘무엇을 알고 있는지’에 관한 것입니다. 이는 우리가 얼마나 잘 기억하는지 또는 특정 작업을 수행할 수 있는지를 평가하는데 도움이 됩니다. 메타 메모리는 우리의 결정과 판단에 영향을 미칩니다.

인간 행동에서 이러한 세 가지 기억 유형은 함께 작용하며, 이를 통해 환경으로부터 학습하고 행동을 조정하며, 시간이 지남에 따라 행동을 개선할 수 있게 해줍니다. 이러한 기억이 없다면 우리는 기본적인 반사 신경과 정형화된 행동에 국한된 생활을 하게됩니다.

타이탄의 기억(memory) 구조

인간 기억 모델과 마찬가지로 타이탄 메모리 구조는 세 부분으로 구성됩니다.

단기 기억(코어): 이 모듈은 현재 작업을 처리하는데 집중하여 AI가 즉각적으로 데이터 또는 토큰을 정밀하게 처리할 수 있도록 합니다. 타이탄 단기 기억은, 인간 뇌의 단기 기업과 유사하게, 정보 및 데이터를 빠르게 처리할 수 있지만 무기한 저장하지는 않습니다. 단기 기업은 제한된 컨텍스트 창을 통한 주의 집중입니다.
장기 기억: 장기간에 걸쳐 정보 및 데이터를 저장하는 저장소 역할을 합니다. 이 모듈은 당장 필요하지는 않지만 미래에 중요할 수 있는 경험, 지식, 기억을 저장하는 인간의 장기 기억에 비유할 수 있습니다. 이를 통해 AI 모델은 과거 정보를 효과적으로 기억하고 접근할 수 있으며, 이는 시간이 지남에 따라 맥락을 이해해야 하는 작업에 매우 중요합니다.
지속 기억: 인간 뇌의 메타 기억처럼 작동하여 작업 관련 지식을 모델에 내장합니다. 이러한 유형의 기억 및 메모리는 현재 입력에 의존하지 않지만 특정 작업을 이해하고 수행하는데 중요한 매개변수가 포함됩니다. 지속 기억은 학습한 패턴과 프레임워크를 모델의 일부로 유지하여 새로운 상황에 과거 학습을 적용하는 능력을 향상시킵니다.

이 세 가지 유형의 기억 및 메모리를 통합함으로써 타이탄 아키텍처는 AI 모델이 인간의 뇌와 유사한 방식으로 정보를 동적으로 관리하고 즉각적인 처리와 과거 경험 및 지식의 저장을 결합할 수 있도록 지원합니다. 이 세 가지 유형 기억 및 메모리 구별 외에도 타이탄은 세 가지 혁신으로 구성되어 있습니다.

사용 중인 실제 메모리(기억)
메모리에 대한 “놀라운” 지표
지능적인 망각

“놀라움” 메커니즘

타이탄의 “놀라움” 메커니즘은 인간 기업의 근본적인 측면, 즉 놀라거나 예상치 못한 사건을 더 생생하게 기억하려는 경향을 모방합니다. 이 접근 방식은 AI 모델이 예상과 다른 데이터를 식별하여 어떤 정보 및 데이터를 저장할지 결정하는데 도움이 됩니다.

산책을 나가 길을 걷고 있는데 모든 것이 평범하고 일상적으로 보일 때가 있습니다. 몇 주가 지나면 더 이상 이 일상적인 산책을 기억하지 못할 수도 있습니다. 하지만 동일한 길을 이별 이후 걷는다든지 취업 합격 소식이 담긴 메시지를 받는 등 예상지 못한 일이 발생하면 이러한 놀라운 요소가 우리의 주의력을 사로잡아 특정한 순간이 더욱 기억에 남게 됩니다.

타이탄은 또한 이 놀라움의 효과를 사용하여 기억하고 싶은 정보의 우선 순위를 정합니다. 모델이 예상했던 것과 크게 다른 데이터를 발견하면, 이 데이터를 놀라움으로 표시합니다. 그러면 타이탄의 메모리 시스템은 이러한 예상치 못한 이벤트를 우선적으로 저장합니다. 이를 통해 중요하지만 비정상적인 데이터를 간과하지 않도록 합니다.

(수학 설명-이 부분은 읽지 마세요😊-: 타이탄 아키텍처에서 놀라움의 개념은 입력에 대한 손실 함수의 기울기로 정의됩니다. 이는 손실을 최소화하기 위해 새로운 입력에 대응하여 모델의 파라미터를 얼마나 변경해야 하는지를 측정합니다. 기울기를 놀라움의 척도로 사용하는 이유는 기울기가 크면 새로운 입력을 수용하기 위해 모델에 상당한 변경이 필요하다는 것을 의미하기 때문입니다. 이는 입력이 이전에 모델이 보았던 것과 다르거나 예상치 못한 것이므로 놀랍다는 것을 나타냅니다.)

지능적인 망각의 메커니즘

타이탄 아키텍처에는 망각의 메커니즘이 설계되어 있습니다. 망각 메커니즘은 장기 기억을 효과적으로 관리하고 모델이 관련 데이터를 유지하면서 더 이상 필요하지 않은 데이터를 폐기하도록 하는 역할을 합니다.

이 망각 메커니즘은 오래되거나 관련 없는 데이터로 인해 기억 및 메모리가 과부하될 수 있는 대량의 데이터를 처리할 때 중요합니다. 실제로 망각 메커니즘은 메모리 업데이트 규칙을 조정하여 추론 중에 동적으로 평가되는 놀라움 요소와 관련성에 따라 정보를 선택적으로 삭제하는 방식으로 작동합니다. 망각 메커니즘은 AI 모델이 불필요한 데이터 축적에 방해되지 않고 중요하고 새로운 입력에 집중할 수 있도록 해줍니다.

타이탄의 망각 메커니즘은 중요하지 않거나 오래된 기억은 시간이 지나면 희미해지는 인간의 인지 과정을 반영하여 보다 효율적인 인지 처리와 정보 검색을 가능하게 합니다.

타이탄 아키텍처는 AI가 지속적으로 사용하는 정보를 저장하고(“메모리”), 이 정보에 가중치를 부여하며(“놀라운” 새로운 정보), 이를 기반으로 가장 중요한 정보를 오랜 기간 유지하고(“장기 기억”), 덜 중요한 정보를 다시 “잊어 버리는” 메커니즘을 가지고 있습니다.

추론시 학습

지금까지 AI 모델은 (사전 및 사후) 학습 단계에서 학습이 이루어집니다. 타이탄 아키텍처는 테스트 시간(Test Time)이라고 하는 추론(inferencing & reasoning) 중에 AI 모델이 동적으로 학습할 수 있도록 합니다. 이 기능을 통해 타이탄은 입력되는 데이터가 얼마나 놀랍고 중요한지에 따라 메모리와 파라미터를 업데이트합니다.

추론 과정에서 학습할 수 있다는 점은 아래와 같은 이점을 제공합니다.

추론 중 학습을 통해 변화하는 패턴과 새로운 입력에 실시간으로 적응하여 변화하는 환경이나 예상치 못한 데이터에 직면했을 때 관련성과 정확도를 향상시킬 수 있습니다.
추론 중 지속적으로 메모리를 업데이트함으로써 타이탄은 놀랍거나 이전 지식과 다른 데이터에서 학습 우선순위를 지정할 수 있습니다. 이러한 동적 메모리 관리는 새롭거나 중요한 정보에 집중하고 기억하는 동시에 일상적인 정보는 배제하여 정보 과부하를 방지하는 인간 두뇌와 능력을 모방한 것입니다.
타이탄은 실시간 데이터를 기반으로 이해를 개선할 수 있으므로 원래 학습 데이터 세트에 포함되지 않은 데이터에 대한 일반화를 더 잘 수행할 수 있습니다. 이 기능은 입력이 학습 데이터와 크게 다른 실제 애플리케이션에서 중요합니다.
추론 중 학습함으로써 타이탄은 긴 텍스트나 동영상 이해와 같이 매우 긴 토큰 시퀀스를 처리해야 하는 작업에 특히 유리합니다.
추론 학습 메커니즘을 통해 타이탄은 새로운 패턴과 지식이 등장할 때마다 끊임없이 진화하고 학습할 수 있습니다.

타이탄의 스토리지 모드: MAC, MAG, MAL

(어렵습니다-이 부분은 읽지 마세요😊-)

타이탄 아키텍처는 인간 인지의 각기 다른 측면에서 영감을 얻은 세 가지 방식으로 메모리를 활용합니다. 간단한 비유를 통해 각 메모리 모드를 설명해 보겠습니다.

컨텍스트로서 메모리(MAC)

업무 회의 중에 여러분을 도와주는 개인 비서가 있다고 가정하죠. 이 개인 비서는 회의 대화 내용을 광범위하게 메모하고(장기 기억), 필요할 때 관련 정보를 여러분 귀에 대고 속삭입니다(상기/리콜).

MAC 모드에서 AI 모델은 위의 개인 비서와 유사한 방식으로 작동합니다. 과거 데이터의 상세한 이력을 저장하고 이를 현재 데이터와 통합하여 정보에 입각한 의사 결정을 내립니다. 개인 비서가 과거의 지식을 현재의 논의와 연결하여 의사 결정을 개선하는데 도움을 주는 것처럼, MAC은 장기 기억을 사용하여 처리 중인 즉각적인 정보에 대한 컨텍스트를 제공합니다.

게이트웨이로서 메모리(MAG)

여러분 머리 속에 두 명의 비서가 있습니다. 첫 번째 비서는 지금 일어나고 있는 일에만 집중하고 당면한 과제에 대한 통찰력을 제공합니다(단기 기억). 두 번째 비서는 수년간 축적된 경험과 지혜(장기 기억)를 활용합니다.

MAG 모드는 게이트키퍼처럼 작동하여 현재의 요구와 과거 학습에 따라 초점을 동적으로 조정하여 각 비서에게 얼마나 많은 주의를 기울일지 결정합니다. 이를 통해 작업에 즉각적인 정밀도가 필요한지, 과거 경험에서 얻은 인사이트가 필요한지에 따라 AI가 적응할 수 있는 균형 접근 방식을 제공합니다.

레이어로서 메모리(MAL)

MAL 모드는 각 계층(Layer)이 고유한 방식으로 정보를 처리하는 복합 계층으로 구성된 메모리라고 이해하시면 됩니다.

첫 번째 계층(Layer)은 장기적인 패턴과 기억에 초점을 맞춘 기록 필터 역할을 합니다.
두 번째 계층은 단기 관찰과 같은 즉각적인 컨텍스트를 다룹니다.
정보 및 데이터가 각 계층을 통과하면서 정제되고 변형됩니다. 이를 통해 모델은 의사 결정을 내리기 전에 광범위한 맥락과 세부적인 내용을 모두 이해할 수 있습니다.

이 계층화된 메모리 처리 방식은 복잡한 정보를 점진적으로 소화하여 단계별로 이해를 구축하고 구체화하는 방식을 반영합니다.

실제 적용 및 성공 사례

“타이탄: 추론 과정에서 기억하는 학습”이라는 논문에 소개된 성공 사례입니다.

건초더미에서 바늘 찾기와 같은 작업: 타이탄은 긴 (토큰) 시퀀스에서 특정 정보를 검색하는 작업, 이른바 건초더미 작업에서 특히 우수한 성능을 발휘합니다.
대규모 컨텍스트 처리: 타이탄은 정확도 저하없이 컨텍스트 창 크기를 2백만 토큰 이상으로 확장할 수 있으며, 이는 현재 기준 가장 앞선 AI모델보다 크게 향상된 성능입니다.
시계열 예측: 타이탄의 신경망 메모리 모듈은 예측 작업에서 트랜스포머 모델보다 더 뛰어난 성능을 발휘합니다.
DNA 모델링: 타이탄 아키텍처는 DNA 모델링 작업에서도 경쟁력 있는 성능을 보여줍니다.

전반적으로 타이탄은 메모리 관리에 대한 새로운 접근 방식을 활용하여 복잡하고 긴 컨텍스트 작업을 보다 효과적으로 처리하고 확장성 및 정확성 측면에서 AI 모델의 새로운 표준을 제시합니다.

타이탄의 장점

RAG와 같은 메모리 지원으로 작업하는 사람이라면 누구나 추가 정보가 너무 방대해지면 AI모델에 어려움이 있다는 것을 알고 있습니다. 추론 과정에서 학습 기능과 망각 기능을 가진 타이탄은 RAG에서 문제가 되는 ‘모든 것을 기억하기’와 거대언어모델에서 해결책이 부족한 ‘모든 것을 다시 잊어버리기’ 사이의 어딘가에 위치합니다.

이것이 왜 중요한지 살펴보죠. 거대언어모델(LLM)과 달리 타이탄은 아래와 같은 것을 할 수 있습니다. (참조: The Titans Paper: Google's Next Transformer Breakthrough)

기억해야할 내용을 즉시 학습할 수 있습니다.
수개월 동안 사용하면서 컨텍스트를 유지할 수 있습니다.
상호 작용에서 더 스마트합니다.
실제 경험을 통해 학습합니다.

이러한 차이는 트랜스포머 모델의 주요 한계를 극복할 수 있음을 의미합니다. 예를 들어 몇 주, 몇 달, 몇 년에 걸쳐 이용자가 어떤 작업을 하고 있는지, 어떤 것이 중요한지 학습하는 챗GPT를 상상해 보십시요. 그 결과, AI모델은 이용 측면에서 점점 더 개선될 뿐 아니라 이용자의 선호도에 따라 점점 더 개인화될 수 있습니다. 나를 더 잘 이해하고, 때문에 나를 더 잘 지원하는 AI모델, 한 편으론 너무 좋은 일이지만 개인정보 보호 측면에서는 이에 대한 거친 비판이 가능합니다.

메모리를 갖춘 AI는 실제로 무엇을 의미할까요? 몇가지 예를 들어 보겠습니다.

마치 오랫동안 여러분 회사에서 근무한 개발자처럼 여러분 회사의 모든 프로젝트와 심지어 여러분 회사 전체 IT 스택을 파악하고 있는 개발자 어시스턴트
환자의 최근 증상뿐만 아니라 환자의 전체 병력까지 지능적으로 통합하여 진단을 지원하는 의료 어시스턴트
기업의 최신 분기별 재무 보고서를 분석할 뿐 아니라, 이번 분기 성과를 과거 패턴이라는 맥락에 배치하여 기업 분기 성과를 분석하는 어시스턴트
프로젝트가 진행되는 몇 달 동안 전체 문헌 조사를 메모리 모듈에 보관하고, 이미 분석된 자료와 관련하여 새로운 자료를 자동으로 배치하는 연구 어시스턴트
학년 전체에 걸쳐 학생의 개별 학습 진도를 추적하고 그에 따라 수업을 조정할 수 있는 교육 어시스턴트

AI모델의 메모리 문제가 기술적으로 해결된다면, 새로운 유형의 활용을 가능하게 하는 수준의 개인화가 가능해질 것입니다. 이에 따른 결과 중 하나는 인간 이용자와 AI 사이에 정서적 유대감이 형성되는 것입니다.

타이탄의 한계

이 논문은 초안이며 아직 활발히 연구 중입니다. 테스트한 가장 큰 타이탄 모델에는 7억 6천만 개의 매개변수만 포함되었습니다. 이 접근 방식이 대규모 모델로 확장될 수 있을지는 아직 미지수입니다. 구글 연구진이 제시한 MAC, MAG, MAL라는 세 가지 메모리 모듈에서 알 수 있듯이 전체 아키텍처에 메모리를 최적으로 통합하는 방법도 아직 명확하게 밝혀지지 않았습니다. 또한 타이탄 아키텍처에서 아직 멀티모달리티에 대한 연구가 진행되지 않았습니다.

일부 AI 전문가는 타이탄을 차세대 트랜스포머 스타일의 혁신으로 보고 있습니다. 하지만 앞서 설명한 타이탄 아키텍처의 한계와 발표된 논문에 담긴 설명이 부족한 점 등으로 인해 현재 열띤 논쟁도 벌어지고 있습니다(Reddit 논쟁 스레드). 타이탄이 얼마나 많은 컴퓨팅 파워를 필요로 하는지도 아직 알 수 없습니다. 또한 타이탄 메모리 모듈은 몇 주, 몇 달 동안 지속적으로 사용해도 얼마나 안정적이고 신뢰할 수 있을까요? AI가 기억한 정보 중 일부가 이용자의 실수로 밝혀진다면 어떻게 될까요? 수정이 가능할까요? 데이터 보안 이슈 또한 여전히 풀어야할 숙제입니다. AI 모델이 개인 정보를 수개월 동안 저장하고 있다면 이를 얻어내고자 하는 헤커 공격의 가능성이 증가할 수 있습니다. 또한 이용자 개인 입장에서 볼 때 어떤 정보를 보관하고 있는지 또는 어떤 정보를 잊어버리는지 직접 제어할 수 있는 방법도 불분명합니다.

결론

2017년 구글 연구진이 트랜스포머 모델을 공개했지만 이를 처음으로 실현한 것은 구글이 아니라 OpenAI였습니다. 2018년 GPT-1을 통해 트랜스포머 모델은 첫 번째 실용화를 경험하게 됩니다. 그 이후 5년이 지난 2022년 11월에야 채팅 애플리케이션에 맞게 조정된 GPT-3 버전으로 오늘날 AI 열풍이 시작되었습니다.

트랜스포머 연구 논문에서 챗GPT까지 비교적 긴 시간이 걸렸습니다. 그러나 이 과정이 타이탄 연구 논문에 그대로 적용되지는 않을 것입니다. OpenAI뿐 아니라 미국 빅테크 기업들, 중국 기술 기업들이 AGI를 향해 달려가고 있습니다. 거대언어모델의 가장 큰 단점이 메모리입니다. 이를 극복할 수 있는 가능성을 보여주고 있는 타이탄 연구논문에 대한 실증 검증은 빠른 시간내로 진행될 것입니다.

OpenAI는 2024년 2월 초보적 수준이지만 챗GPT 메모리 부분을 강화했습니다. 구글은 2025년 2월 Gemini Advanced 이용자를 대상으로 과거 대화를 참조할 수 있는 채팅 저장 기능을 선보였습니다. 메모리 기능의 확장은 AI모델의 주요한 경쟁 대상입니다.

메모리 기능을 타이탄 아키텍처처럼 AI모델에 내재화할 경우, AI모델 시장 경쟁은 새로운 국면으로 진화할 수 있습니다. 개인 정보 보호 이슈를 제외한다면 메모리 기능이 우수할 수록 네트워크 효과가 강화될 수 있기 때문입니다. 현재 챗GPT를 이용하다 구글 Gemini 또는 클로드로 이동하는데 걸림돌은 없습니다. 이용자의 과거 데이터가 잠금 효과(Lock-In effect)를 제공하지 않기 때문입니다. 그러나 타이탄 아키텍처가 현실화된다면 특정 AI모델 서비스를 오랫동안 이용할 수록 이 AI모델을 떠나기는 쉽지 않아집니다. 이러한 이용자 종속성을 선점하기 위한 AI모델 경쟁이 2025년 치열해질 가능성이 높습니다. 따라서 타이탄 수준의 메모리를 갖춘 첫 번째 AI모델이 2025년 하반기에 시장에 출시될 수 있습니다.

인류 사회는 이렇게 AGI 시대로 향해 전진하고 있습니다. 이 때 ‘모든 것이 바뀐다’는 표현이 무엇을 의미하는지 우리는 경험하게 될 것입니다. AGI 시대를 어떻게 준비해야할지, 저는 아직 모르겠습니다. The Core를 통해 이 문제를 지속적으로 다루도록 하겠습니다.