벌써 두 번째 런치 스터디가 다가오네요. 지난번 스터디를 통해 격주로 진행하기로 확정했습니다. 이번주 유독 제 일정이 너무 빡빡해서 1시간만 당겼습니다. 참석률이 저조해질 것을 알면서도 불가피했습니다. 이번주만 양해를 해주세요.
지난번엔 저널리즘과 관련한 주제로 스터디를 진행했는데요. 이번주엔 미디어 기술과 관련한 주제로 잡아봤습니다. 언론사가 가장 관심 가질 만한 AI 기술, 언어모델입니다. GPT-3 많이 들어보셨죠? 한국의 GPT-3라면 단연 네이버 AI랩의 하이퍼클로바를 꼽을 겁니다. 이미 많은 발표 등을 통해서 접해 보시긴 했지만 정작 네이버 쪽이 공개한 논문을 읽어보신 적은 없으시죠? 공학 쪽 논문이긴 하지만 워낙 잘 정리가 돼 있어서 읽어 볼 만합니다.
제가 초벌 번역은 완료했습니다. 조금더 다듬어서 유료 구독자님들껜 곧 보내드리도록 하겠습니다. 도서관에도 올려둘 것이고요. 번역이 완료되면 다시 발제문으로도 재구성해 보겠습니다. 이 또한 늦지 않게 보내드릴 예정입니다. 제가 이해 못하는 부분도 많아서, 최대한 쉽게 설명하면서 발제하겠습니다.
한 가지 확인드릴 수 있는 건, 이 논문을 읽는 것만으로도 GPT-3와 같은 초대규모 언어모델과 그것의 활용, 한계 등을 어느 정도는 이해할 수 있게 될 것이라는 겁니다. 길지 않습니다. 그러니 함께 공부해 보시죠. 저도 준비 잘해보도록 할게요. 금요일에 뵈어요.
- 텍스트 : What Changes Can Large-scale Language Models Bring? - Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers
- 분야 : 미디어 기술, AI
- 텍스트 선정 이유 : 네이버 AI랩이 개발한 초대형 언어모델 '하이퍼클로바'(HyperCLOVA)는 향후 언론사들이 AI 기술을 내부에 도입할 때 가장 우선적으로 검토하게 될 기술적 대상일 겁니다. 한국어를 중심으로 학습된 초대 규모 언어 모델이기 때문입니다. 하이퍼클로바가 발표됐을 때 많은 언론사들이 GPT-3와 비교하며 기사를 쏟아냈지만 정작 하이퍼클로바가 어떤 식으로 구성됐는지 무엇을 학습했는지, 어떤 용도로 언론사에서도 활용될 수 있는지 잘 살피지 않았습니다. 때마침 지난 9월 10일 하이퍼클로바 논문이 정식으로 발표가 됐습니다. 이 논문에는 연합뉴스 토픽 분류 모델(YNAT)과의 비교 결과도 언급되고 있습니다. 적어도 이 논문을 함께 공부하고 나면 초대규모 언어모델이 어떻게 만들어지고, 작동하고, 활용할 수 있는지 이해할 수 있게 될 것입니다. 그리고 그것의 한계가 무엇인지도 대략적으로 파악할 수 있을 것입니다. 특히 로봇 저널리즘의 가능성을 조금이나마 짐작해 보는데 도움을 얻을 수 있을 것이라고 생각합니다.
- 일시 : 2021년 10월 15일 금요일 11시~12시(개인 사정으로 이번만 1시간을 당겼습니다. 이해해주세요.)
- 방식 : 구글 미트(유료 구독자에게만 링크가 제공됩니다)
- 발제문 공유 : 이틀 전까지.
- 논문 번역문 공유 : 사흘 전까지
- 참여 제한 : 유료 구독자만 참여하실 수 있습니다. 가입하신 이메일로 내일까지 초대장을 보내드립니다. 참석하실 분은 Yes를 클릭해주세요. 참여하고 싶으시다면 미디어고토사에 '유료 구독'해주세요.
Newsletter
디지털 시대, 새로운 정보를 받아보세요!