기업의 새 숙제 'AI 원가관리'

📈 마구 쓰라더니...

• 얼마 전까지만 해도 미국 기업들의 화두는 ‘토큰맥싱(tokenmaxxing)’이었습니다. 직원들에게 비용을 아끼지 말고 AI를 최대한 많이 사용하라고 독려하는 흐름입니다. AI를 빨리 써본 기업일수록 생산성 경쟁에서 앞설 수 있다는 판단이었습니다.
• 그런데 AI 사용이 일상화되자 문제가 생겼습니다. 비용을 예측하기가 생각보다 훨씬 어려웠던 겁니다. AI 사용량을 측정하는 ‘토큰’이 늘어날수록 비용이 붙는데, 약 400개 기업을 조사한 최근 연구에서 AI 지출을 정확히 예측할 수 있다고 답한 곳은 11%에 불과했습니다.
• 기존 소프트웨어는 직원 수나 라이선스 수에 따라 비용을 비교적 쉽게 계산할 수 있습니다. 하지만 AI는 다릅니다. 같은 일을 시켜도 어떤 모델을 쓰느냐, 몇 번의 추론을 거치느냐, 중간에 얼마나 시행착오를 겪느냐에 따라 사용량이 크게 달라집니다. AI가 소프트웨어라기보다 일하는 시간과 방식에 따라 비용이 달라지는 직원에 가까워진 것입니다.

💰 싼 모델이 더 비쌌다?