제가 대규모 언어모델에 관심이 많은 건 잘 아실 겁니다. 앞으로 기자의 업무 향상 등에 가장 영향을 미치게 될 관련 기술이라고 보기 때문인데요. 최근 들어 규모 측면에서나 성능 측면에서나 괄목할 만한 성과가 계속 발표되는 중인 듯합니다.
구글 I/O 2022에서 소개된 구글의 LaMDA2(이하 람다2, 테스트 키친 포함)나 지난 4월 공개된 오픈AI의 DALE2 등도 계속 유심히 살펴보는 중인데요. 특히 람다2는 기존 언어모델에 자체 도구 학습 모델을 적용한 것이 눈에 띌 정도였습니다. 언어모델이 자체 검색을 하고 이 결과값을 반영해 가는 과정이 제법 검색을 통한 '팩트체크'와 닮은 듯했습니다. 아직 갈 길이 멀지만요.
다름 아니라 언어모델이 가져올 몇 년 뒤의 모습을 제법 구체적으로 설명한 글이 있어서 여기 번역했습니다. 러셀 캐플란 Scale AI 엔지니어링 디렉터가 트위터에 쓴 글입니다. 이 분은 테슬라에서 오토파일럿 개발에 참여한 경력도 가지고 있습니다. 제법 훌륭한 통찰을 제공하고 있기에 소개할 만해서 이렇게 가져왔습니다.