오픈AI 쿠데타 이후 8개월: 거대언어모델 진화와 특징 분석

2022년 11월 30일 오픈AI가 챗GPT를 공개한 이후 8개월의 시간이 흘렀습니다. 이 글은 지난 8개월 동안 거대언어모델 흐름을 정리하고 있습니다. 1. 블랙박스: LLM은 블랙박스라는 구조성을 가지고 있습니다. 이 특성은 인터페이스에서 강화될 수도 있고 약화될 때도 있습니다(인터페이스에 대해서는 글 마지막에서 설명하겠습니다). 챗GPT는 채팅 출력/결과에 추론 및 합성의 단서를 제공하지 않습니다. 이는 챗GPT 인터페이스에 대한 오픈AI의 의도적 결정입니다. 채팅 인터페이스가 반드시 지금처럼 보일 필요는 없습니다. 2. 이러한 블랙박스 특성 때문에 채팅 결과는 훨씬 더 마법처럼 보입니다. 오픈AI는 챗GPT가 이용자 규모가 폭발적으로 확대될지 예상하지 못했을 겁니다. 그러나 마법처럼 보이려는 것은 오픈AI의  의도적 (마케팅) 결정이었습니다. 3. LLM에 번호를 매기는 것을 얼마나 유용할까요? 챗GPT는 GPT-3을 RLHF(인간 피드백을 통한