기업의 새 숙제 'AI 원가관리'

📈 마구 쓰라더니...

• 얼마 전까지만 해도 미국 기업들의 화두는 ‘토큰맥싱(tokenmaxxing)’이었습니다. 직원들에게 비용을 아끼지 말고 AI를 최대한 많이 사용하라고 독려하는 흐름입니다. AI를 빨리 써본 기업일수록 생산성 경쟁에서 앞설 수 있다는 판단이었습니다.
• 그런데 AI 사용이 일상화되자 문제가 생겼습니다. 비용을 예측하기가 생각보다 훨씬 어려웠던 겁니다. AI 사용량을 측정하는 ‘토큰’이 늘어날수록 비용이 붙는데, 약 400개 기업을 조사한 최근 연구에서 AI 지출을 정확히 예측할 수 있다고 답한 곳은 11%에 불과했습니다.
• 기존 소프트웨어는 직원 수나 라이선스 수에 따라 비용을 비교적 쉽게 계산할 수 있습니다. 하지만 AI는 다릅니다. 같은 일을 시켜도 어떤 모델을 쓰느냐, 몇 번의 추론을 거치느냐, 중간에 얼마나 시행착오를 겪느냐에 따라 사용량이 크게 달라집니다. AI가 소프트웨어라기보다 일하는 시간과 방식에 따라 비용이 달라지는 직원에 가까워진 것입니다.

💰 싼 모델이 더 비쌌다?

• 여기서 기업들이 빠지기 쉬운 함정이 있습니다. 토큰당 가격이 싼 AI 모델을 쓰면 전체 비용도 싸질 것이라는 생각입니다.
• 스탠퍼드대·카네기멜런대·UC버클리와 마이크로소프트리서치 연구진이 수학·프로그래밍·과학 등 6800개가 넘는 작업을 여러 AI 모델에 맡겨봤습니다. 그 결과 32%에서는 가격이 싼 모델이 오히려 비싼 모델보다 총비용이 더 많이 들었습니다.
• 이유는 간단합니다. 고성능 모델은 토큰 하나의 가격은 비싸더라도 문제를 빨리 이해하고 짧은 과정으로 해결할 수 있습니다. 반대로 저렴한 모델에 능력 밖의 일을 맡기면 같은 작업을 반복하거나 엉뚱한 길로 빠지면서 토큰을 계속 소모합니다. 즉, 연구진의 결론도 명확합니다. 모델의 가격표만 보고 실제 비용을 판단해서는 안 된다는 것입니다.

🤯 1달러 vs 14달러

• 극단적인 사례도 있습니다. 연구진은 유튜브 영상의 한 장면을 분석하는 동일한 작업을 구글의 ‘제미나이 3.1 프로’와 더 가볍고 저렴한 ‘제미나이 3 플래시’에 맡겼습니다.
• 비싼 프로 모델은 85단계 만에 작업을 성공적으로 끝냈고 비용은 약 1달러였습니다. 반면 저렴한 플래시 모델은 무려 952단계를 돌고도 답을 내지 못했습니다. 동영상을 내려받고, 봇 탐지 장벽에 부딪히고, 야후와 빙 등을 오가며 해결책을 찾다가 결국 허용된 토큰 한도를 초과했습니다.
• 그 과정에서 발생한 비용은 14달러였습니다. ‘싼 모델’을 선택했는데 실제로는 14배의 비용을 쓰고 결과물마저 얻지 못한 겁니다. 물론 하나의 극단적인 사례이지만 연구진은 이런 일이 실제 AI 사용에서도 발생할 수 있다고 지적합니다. AI 비용에서 중요한 것은 토큰당 가격이 아니라 하나의 일을 성공적으로 끝내는 데 드는 총비용인 셈입니다.

🎲 같은 AI도 비용이 다르다

• 더 까다로운 문제도 있습니다. 같은 AI에 똑같은 일을 시켜도 매번 비용이 달라질 수 있다는 점입니다. 연구진은 오픈AI·구글·앤트로픽의 여러 모델에 동일한 프로그래밍 작업을 각각 다섯 번씩 시켰습니다. 그런데 같은 모델, 같은 명령인데도 매번 사용한 토큰과 비용이 달랐습니다. 어떤 경우에는 빠르고 저렴한 모델이 예상 밖으로 많은 비용을 발생시키기도 했습니다.
• 실패한다고 돈을 돌려주는 것도 아닙니다. AI가 오랫동안 추론한 끝에 틀린 답을 내놓거나 아예 작업에 실패해도 그 과정에서 사용한 토큰 비용은 그대로 청구됩니다.
• 잔디를 깎는 사람에게 시간당 20달러를 준다고 생각하면 쉽습니다. 첫 주에는 2시간 만에 끝내 40달러를 냈는데, 다음 주에는 같은 잔디를 깎는 데 8시간이 걸려 160달러가 나올 수 있습니다. 심지어 세 번째 주에는 5시간 일하고 잔디 절반만 깎을 수도 있는 셈입니다.

🏢 기업의 새 숙제 ‘AI 원가관리’

• 기업 입장에서는 AI 모델을 고르는 기준부터 달라져야 합니다. 무조건 가장 저렴한 모델을 전 직원에게 쓰게 하는 것도, 모든 작업에 최고급 모델을 사용하는 것도 정답이 아닙니다. 업무별로 어떤 모델이 가장 효율적인지를 찾아야 합니다.
• 간단한 요약이나 반복 작업에는 저렴하고 빠른 모델이 적합할 수 있지만, 복잡한 코딩이나 추론처럼 시행착오가 많은 업무에서는 처음부터 강력한 모델을 사용하는 편이 오히려 싸게 먹힐 수 있습니다. 직원들에게 업무별 모델 선택법을 교육해야 하는 이유입니다.
• AI 기업들도 사용 한도와 다양한 요금제를 제공하며 비용 통제 기능을 강화하고 있습니다. 하지만 AI가 더 많은 업무에 들어갈수록 기업의 IT 예산은 과거보다 예측하기 어려워질 가능성이 큽니다. 결국 기업의 AI 경쟁은 “얼마나 많이 쓰느냐”에서 “같은 일을 얼마나 적은 비용으로 끝내느냐”로 이동하고 있습니다. AI 시대에는 가장 싼 모델을 찾는 것보다, 어떤 일을 어떤 모델에게 맡겨야 하는지 아는 능력이 새로운 비용 경쟁력이 될 수 있습니다.

https://www.wsj.com/tech/personal-tech/ai-token-spending-businesses-431ee94a?mod=tech_lead_story