주간경향에 기고하는 기술 비평 칼럼. 오늘에서야 공개가 됐네요. 꾸준히 관심가지고 있는 언어모델 이야기입니다. 뭐랄까요 일종의 'AI 울타리치기' 흐름이랄까요? 인클로저 맞습니다. 그런 경향들이 뚜렷해지고 있다는 인상을 받게 됩니다. 이를 닉 다이어 위더포드는 AI 자본주의라고도 부르더군요. 컴퓨팅 부자와 컴퓨팅 빈자로 계층화하는 이 흐름에 우리가 어떤 도전할 수 있을 것인지 상상해보기 위해 화두만

제가 대규모 언어모델에 관심이 많은 건 잘 아실 겁니다. 앞으로 기자의 업무 향상 등에 가장 영향을 미치게 될 관련 기술이라고 보기 때문인데요. 최근 들어 규모 측면에서나 성능 측면에서나 괄목할 만한 성과가 계속 발표되는 중인 듯합니다. 구글 I/O 2022에서 소개된 구글의 LaMDA2(이하 람다2, 테스트 키친 포함)나 지난 4월

벌써 두 번째 런치 스터디가 다가오네요. 지난번 스터디를 통해 격주로 진행하기로 확정했습니다. 이번주 유독 제 일정이 너무 빡빡해서 1시간만 당겼습니다. 참석률이 저조해질 것을 알면서도 불가피했습니다. 이번주만 양해를 해주세요. 지난번엔 저널리즘과 관련한 주제로 스터디를 진행했는데요. 이번주엔 미디어 기술과 관련한 주제로 잡아봤습니다. 언론사가 가장 관심 가질 만한 AI 기술, 언어모델입니다. GPT-3 많이

추출 요약 중심이라면 AI 요약 모델 도입을 검토하는 것도 대안이 될 수 있을 듯

하이퍼클로바의 성능 평가 목표는 '모델이 작성한 문장은 얼마나 유창한가'에 맞춰져 있었습니다.

자동팩트체킹 기술에 대한 관심이 높아지고 있습니다. 얼마전 정부가 발표한 미디어 소통 역량 강화 종합 계획에도 이 프로젝트는 포함돼 있었죠. 새로 시작하는 사업이어서가 아니라 이미 진행되고 있는 사업이기에 새롭다고 볼 순 없을 겁니다. 하지만 정부가 허위조작정보에 대응하기 위해 관심을 기울이고 있는 영역이라는 사실만큼은 분명해 보이긴 합니다. 자동팩트체킹 기술에 대한 높은 기대는

https://www.academia.edu/42907575/The_Nooscope_Manifested_Artificial_Intelligence_as_Instrument_of_Knowledge_Extractivism 2018년 어딘가에서 발표했던 자료인데, 기억이 잘 나질 않네요. 일단 미디어고토사에도 올려둡니다. 알고리즘의 정의 로렌스 레식 하버드 로스쿨 교수는 “코드는 사이버 공간의 법”이라고 했다. 인터넷이 코드에 의해 건축되고 코드의 통제를 받으며 코드에 의해 인터넷의 일상이

언어모델의 경쟁구도가 BERT와 GPT-3의 대결로 압축이 되는 흐름입니다. BERT의 우위로 굳어지던 분위기가 GPT-3의 등장으로 다시 역전이 됐습니다. 제가 표지 포함 72페이지나 되는 공학계 영어 논문을 모두 이해했다는 건 거짓말일 겁니다. 이해하기 위해 애썼다는 말을 넘어서면 과장일 겁니다. 제가 이해한 만큼만 썼으니 정확한 내용은 저보다 더 훌륭한 분께 재확인하시길 부탁드립니다. 이

언어 모델은 비지도 복합작업 학습자(Language Model are Unsupervised Multitask Learners) 논문 원문 링크 도입 우리는 개별 작업을 위해 트레이닝 데이터 세트를 라벨링하거나 수동으로 만드는 작업 없이 다양한 작업을 수행할 수 있는 보편 시스템을 만들고 싶었다. 멀티태스크 러닝은 보편적인 작업수행(성과)를 개선하기 위한 유망한 프레임워크다. 현재 언어 관련 작업을