기사 잘쓰는 GPT-3, '가짜뉴스 만드는' GPT-2와 무엇이 달라졌을까

언어모델의 경쟁구도가 BERT [https://arxiv.org/abs/1810.04805]와 GPT-3 [https://arxiv.org/pdf/2005.14165.pdf]의 대결로 압축이 되는 흐름입니다. BERT의 우위로 굳어지던 분위기가 GPT-3의 등장으로 다시 역전이 됐습니다. 제가 표지 포함 72페이지나 되는 공학계 영어 논문 [https://arxiv.org/pdf/2005.14165.pdf]을 모두 이해했다는 건 거짓말일 겁니다. 이해하기 위해 애썼다는 말을 넘어서면 과장일 겁니다. 제가 이해한 만큼만 썼으니 정확한 내용은 저보다 더 훌륭한 분께 재확인하시길 부탁드립니다. 이 글을 읽기에 앞서 GPT-2 모델을 소개한 제 글을 먼저 읽어주시면 감사하겠습니다. 사전 이해가 필요한 개념들이 뒤섞여 있어서요. > 글 잘쓰는 AI 'GPT-2'와 저널리즘 역할론 [https://thecore.media/geul-jalsseuneun-ai-gpt-2wa-jeoneolri