OpenAI o1: 새로운 패러다임의 시작 (AI 브리핑 #23)

거대언어모델은 GPU로 대표되는 컴퓨팅 파워를 필요로 하는 두 가지 시기를 가지고 있다. 첫 번째 시기는 일반적으로 모델 학습이라고 알려진 모델 구축 시기다. 이 기간동안 대량의 데이터를 처리하여 거대언어모델 내부 토큰-단어 또는 단어 덩어리- 구조가 만들어진다. 이 토큰 구조는 거대언어모델이 언어의 패턴과 상관관계를 인식하고 언어를 생성할 수 있는 기반을 형성한다. 두 번째 시기는 소위 추론(inference) 단계다. o1의 의미를 이해하기 위해 추론이라 불리는 인퍼런스(inference)와 추리로 해석할 수 있는 리즈닝(reasoning)의 차이를 구별할 필요가 있다. 인퍼런스는 거대언어모델이 학습 중에 구축된 내부 구조를 적용하여 이용자 입력에 대한 출력을 생성하는 실행과정을 의미한다. 바로 결과물을 도출하는 순간이다. 지금까지 인퍼런스에서 중요한 것은 이용자 입력에 빠르게 반응하는 속도와 실행과정에서 가능하다면 컴퓨팅 파워를 적게 쓰는 자원 효율성이다. 리즈닝은 거대언어모델