주간경향에 기고하는 기술 비평 칼럼. 오늘에서야 공개가 됐네요. 꾸준히 관심가지고 있는 언어모델 이야기입니다. 뭐랄까요 일종의 'AI 울타리치기' 흐름이랄까요? 인클로저 맞습니다. 그런 경향들이 뚜렷해지고 있다는 인상을 받게 됩니다. 이를 닉 다이어 위더포드는 AI 자본주의라고도 부르더군요. 컴퓨팅 부자와 컴퓨팅 빈자로 계층화하는 이 흐름에 우리가 어떤 도전할 수 있을 것인지 상상해보기 위해 화두만 꺼낸 칼럼입니다.

언어모델의 진화는 필연적으로 기술 산업을 ‘컴퓨팅 부자’와 ‘컴퓨팅 빈자’로 계층화한다. 조 단위로 뻗어가고 있는 파라미터수의 증가가 이를 유도하고 강화한다. 확보 가능한 데이터의 양만큼이나 컴퓨팅 파워, 즉 하드웨어의 연산 역량이 중요해지면서 기업 간 양극화의 정도는 더욱 극단화한다.

반대 방향으론 대규모 언어모델이 오픈소스와 결별하고 클라우드 시스템과 결합하며 상품화하는 과정이 진행 중이다. 오픈소스를 표방하던 GPT-3가 폐쇄형으로 전환되면서 더 이상 소스코드에 대한 보편적인 접근이 불가능해졌다. 클라우드와 결합한 대규모 언어모델에 가격표가 붙기 시작하면서 컴퓨팅 빈자들의 고민은 깊어지고 있다. 언어모델 연구자들도 컴퓨팅 부자 기업에 취업하거나 시혜를 받지 않는 이상, 새롭고 혁신적인 연구성과를 낼 수조차 없는 상황이 오고 있다. 오픈소스 데이터로 학습한 언어모델이 다시 울타리 안으로 들어가면서 가진 자와 빈자의 격차를 급격히 키우는 형국이다.

전문을 읽어보세요👇