오랫동안 기다려온 구글의 언어모델은 더 크고, 더 빠르고, 더 좋아졌지만 혁명은 아닙니다. 앞으로 인공지능 개발이 기하급수적으로 발전할 것이라는 생각을 버려야할지도 모릅니다.

이 글은 구글 제미나이 그리고 이후 언어모델 발전에 대한 단상을 담고 있습니다. 이 글을 관통하는 질문은 제미나이의 성능은 왜(!) GPT 4.0 수준 밖에 이르지 못했는가입니다. 제미나이의 혁신은 아이폰의 탄생이 아니라 아이폰 카메라의 픽셀이 개선된 수준일 수 있습니다. 거대언어모델의 진화가 한계에 도달했을 수 있기 때문입니다.

구글 발표 내용

구글이 새로운 거대언어모델 제미나이를 공개했습니다. 이를 소개한 블로그 게시물에서 구글 CEO 순다르 피차이와 딥마인드 대표 데미스 하사비스는 제미나이의 기술적 성과에 대해 열광합니다. 최상급 등으로 표현된 스스로 극찬하는 표현을 잠깐 살펴보시죠.

• "our largest and most capable AI model(가장 크고 유능한 AI 모델)"
• "This new era of models represents one of the biggest science and engineering efforts(이 새로운 모델의 시대는 가장 큰 과학 및 엔지니어링 노력 중 하나입니다)."
• "the most capable and general model we’ve ever built(가장 유능하고 일반적인 모델입니다)"
• "(Gemini) help deliver new breakthroughs at digital speeds in many fields from science to finance(제미나이는 과학부터 금융에 이르기까지 다양한 분야에서 디지털 속도로 새로운 돌파구를 마련하는 데 도움이 될 것입니다)"

제미나이 (울트라)는 대부분의 표준 테스트에서 GPT-4.0보다 성능이 뛰어나고, 많은 인간 프로그래머보다 더 잘 코딩하며, 텍스트, 이미지, 오디오 및 비디오 정보를 동시에 이해, 처리 및 결합할 수 있다고 합니다. 의심할 여지 없이 이 모든 것이 인상적이며 1년 전만 해도 센세이션을 일으켰을 것입니다. 하지만 2023년 12월에는 더 이상 센세이션이 아닙니다. 하지만 이는 구글과 AI 개발의 일반적인 현황에 대해 시사하는 바가 있습니다.

제미나이가 진화(evolution)에 불과한 이유

• 제미나이는 나노(Nano), 프로(Pro), 울트라(Ultra)의 세 가지 크기로 제공됩니다.
• 나노(Nano)는 가장 작고 효율적인 모델입니다. 예를 들어 스마트폰에서 사용하기 위한 것으로, 기기에서 직접 처리가 가능합니다.
• 프로(Pro)는 많은 구글 제품-gmail, google doc 등-에 직접 통합될 예정이며, 이용자들이 가장 많이 접하는 모델이 될 것입니다. 현재 구글 바드에 결합되어 있어 약 170개국에서 제미나이 프로를 경험할 수 있습니다. 참고로 규제 문제로 유럽연합은 제외되었습니다.
• 울트라(Ultra)는 아직 공개되지 않았으며 2024년 초에 개발자와 기업 고객을 위해 출시될 예정입니다. 이후(!)에는 '바드 어드밴스드(Bard Advanced)'로 출시될 것으로 예상됩니다. 제미나이가 ChatGPT와 유사하게 무료 버전과 유료 버전으로 출시될지 여부는 알려지지 않았습니다.
• 구글이 이번 발표에서 광고하는 모든 벤치마크는 울트라(Ultra), 즉 지금까지 소수의 테스터 그룹만 사용해 볼 수 있었던 모델을 의미합니다.
• 프로(Pro) 모델은 대략 GPT-3.5 수준이 될 것으로 예상됩니다. 이 수준의 거대언어모델은 2022년 11월  30일 OpenAI가 발표한 ChatGPT의 기반이었습니다.
• 따라서 1년이 넘는 개발 기간 끝에 구글은 OpenAI와 겨우 동등한 수준에 도달했습니다. 수년 동안 AI 개발의 선두주자로 여겨졌던 회사로서 구글은 이 결과를 냉정하게 받아들여야 합니다.

AI 개발이 알려주는 것

• GPT-3.0에서 GPT-3.5로의 도약은 실로 엄청났습니다. ChatGPT는 많은 사람들의 열정을 불러일으키고 상상력을 자극했습니다.
• 실제로 AI 모델의 성능 향상이 기하급수적인 곡선을 그리는 것은 당연한 일이었습니다. 이제부터는 모든 새로운 거대언어모델이 이전 모델을 뛰어넘을 것입니다.
• 기술 기업들의 홍보와 일반인공지능에 대한 종말론적 경고는 자사 거대언어모델과 AI 개발 능력에 대한 과대광고의 성격도 가지고 있습니다. 가속화론자(Accelerationist)은 무한한 생산성 증가와 인류의 모든 문제에 대한 해결책으로 인공지능을 극찬하고 있으며, 회의론자(Doomer)는 인류 종말을 떠올리고 있습니다(참조: Regretful Accelerationism by Ben Thompson).
• 지금까지의 현실은 훨씬 덜 화려합니다. GPT-4.0도 샘 올트만과 OpenAI가 약속했던 것처럼 획기적인 발전은 아니었습니다.
• GPT-4.0은 더 빨라졌고 헛소리(hallucination)도 줄었습니다. 하지만 이 또한 혁명이 아닌 발전으로 느껴질 뿐입니다.
• 지난 몇 달 동안 GPT-5.0에 대해 추측과 기대를 어렵지 않게 만날 수 있었습니다. OpenAI의 영리한 홍보에 힘입어 그 기대감은 이미 하늘을 찌르고 있습니다.
• 하지만 다른 목소리도 있습니다. 빌 게이츠, 얀 르쿤(Yann LeCun), 게리 마커스(Gary Marcus) 같은 전문가들은 생성 AI가 정점에 도달했을 수 있다고 생각합니다.
• GPT-4.0과 제미나이는 이미 상상할 수 없을 정도로 많은 양의 데이터와 컴퓨팅 파워 그리고 비용으로 학습을 마쳤습니다. 구글이나 마이크로소프트와 같은 수조 달러 규모의 기업도 무한한 자원을 가지고 있지 않으며, 적절한 학습 데이터도 한정되어 있습니다.
• 거대언어모델 개발에 투입되는 자원을 두 배로 늘릴 수 있다고 해서 거대언어모델이 두 배로 좋아지는 것은 아닙니다.
• AI 개발에도 한계효용(marginal utility)이 존재합니다. 현재의 방법으로는 한계에 도달하는 시점이 곧 올 수도 있습니다. 그러면 진정한 혁신을 위해서는 더 많은 리소스가 아닌 새로운 방법이 필요할 것입니다.
• 마테오 웡(Matteo Wong)은 The Atlantic에서 AI 개발의 현재와 스마트폰의 반복적인 업그레이드를 비교합니다(탁월한 분석글입니다).

• (빅)테크 기업은 황금빛 미래를 시각화하는 데 능숙합니다: "제품 X와 기술 Y는 우리가 여행하고, 읽고, 놀고, 일하고, 생활하는 방식을 영원히 바꿔놓을 것입니다."
• 딥마인드 CEO 데미스 하사비스는 케이시 뉴턴(Casey Newton)과의 인터뷰에서다음과 같이 말하고 있습니다:

• 하사비스의 말은 정말 환상적으로 들립니다. 하지만 과거의 경험에 따르면 이러한 약속 중 상당수가 이행되지 않았거나 제한된 범위에서만 이행되었습니다. 생성 AI가 얼마나 빨리 발전할지 아무도 모르기 때문에 적어도 생성 AI가 무엇이 될 수 있는지가 아니라 생성 AI가 무엇인지로 판단하는 것이 합리적일 것입니다.

제미나이가 그럼에도 구글에게 중요한 이유

• ChatGPT의 출시는 구글을 놀라게 했습니다. 내부적으로 적색 경보(Code Red)를 발령하고 비슷한 수준의 거대언어모델을 시장에 출시하기 위해 구글은 모든 노력을 다했습니다.
• LaMDA 및 PaLM 모델에 기반한 제미나이 이전의 바드(Bard)는 시장의 요구 사항을 충족하지 못했습니다. OpenAI의 ChatGPT는 여전히 챗봇의 표준입니다.
• 제미나이 울트라(Ultra)는 구글의 발표대로면 GPT-4.0과 대등한 수준이 될 것입니다.
• 이는 특히 마이크로소프트를 고려할 때 구글에게 매우 중요합니다. 경쟁사 MS는 이미 코파일럿(CoPilot)이라는 형태로 많은 MS 서비스에 GPT-4.0을 통합시키고 있습니다. MS 입장에서 볼 때 OpenAI에 대한 130억 달러 투자는 구글이 유튜브를, 메타가 인스타그램을 인수한 것만큼이나 큰 성공을 거두고 있습니다.
• 구글은 기업 고객이 클라우드 비즈니스 등에서 대규모로 마이크로소프트로 이전하는 것을 절대적으로 막아야 합니다. 여기서 결정적인 요소는 어느 기업이 더 설득력 있게 AI를 통합하는지가 될 것입니다.
• 결국 중요한 것은 어떤 챗봇이 가장 좋은 답변을 내놓느냐가 아닙니다. 프롬프트(prompt)에 텍스트를 입력하는 방식은 이용자가 챗봇과 상호작용하는 방식이 될 수 없을 것입니다. (참고로 제가 속한 회사 Bluedot AI는 다양한 Promptless AI 서비스를 개발하고 있습니다.)

Be Smart

2008년 저는 독일에서 생활하고 있었고 아이폰을 접할 수 있었습니다. 당시 지인 중 한 명이 첫 번째 아이폰을 건네며 "동영상 제작을 영원히 바꿔놓을 것"이라고 말했습니다. 하지만 막상 사용해 보니 아이폰으로 동영상을 만들 수 없었습니다. 사진만 찍을 수 있었죠. 그리고 사진의 품질도 꽤나 형편없었습니다.

여기에 두 가지 선택이 있습니다:

• 칩과 처리 능력이 점점 더 강력해지고 동시에 더 저렴해지는 미래에 이런 종류의 스마트폰 카메라가 무엇을 의미할 수 있을지 상상합니다.
• 아니면 "이 카메라는 동영상을 찍을 수 없어"라고 말하고 아이폰의 미래는 생각하지 않습니다.

이 선택을 AI로 이전시킬 수 있습니다. 동영상을 촬영할 수 있게된 아이폰 6는 유료 GPT-4.0과 같습니다. 아이폰 6가 1세대 아이폰에 비해 얼마나 좋은지 그리고 아이폰 6가 일상 생활에 어떻게 도움이 되는지 설명할 수 있는 것처럼 GPT-4.0의 가치를 저는 다음과 같이 설명할 수 있습니다.

이 것이 최근 제가 유료 GPT-4.0을 이용하며 느끼는 것입니다. GPT-4.0에 작지 않은 비용을 매달 지불하고 있지만, GPT-4.0이 제 일상에 필수적인 기능이라기보다는 있으면 좋은 기능이라고 생각합니다. 그러나 AI의 가능성에 대해 꾸준히 생각하는 습관이 생기고 있습니다.

AI가 가져올 가능성을 (정당하게) 과소 평가하는 분들을 종종 만납니다. 이 분들 중에 유료 GPT-4.0을 이용하시는 분은 거의 없습니다.  일상 생활과 업무에서 GPT-4.0을 직접 이용해 볼 때만 인공지능의 부가가치를 느낄 수 있습니다.

구글의 제미나이가 실망스럽다는 것은 과장이 섞인 표현입니다. 거대언어모델 또는 트란스포머 모델이 한계에 도달했을 수 있습니다. 그러나 인공지능은 다른 방법론을 통해 다시 크게 성장할 것이라고 저는 확신합니다. 이제 우리는 1세대 아이폰을 만났을 뿐입니다.