트랜스포머가 자율주행의 미래를 앞당긴다

우리에게 필요한 것은 트랜스포머입니다 생성 AI 시대의 시작은 2017년 구글 연구원들의 역사적 논문 “주의만 있으면 된다(Attention Is All You Need) [https://arxiv.org/abs/1706.03762]”입니다. 이 논문은 인간 감독없이도 대량의 데이터로 고품질 AI 모델을 학습시킬 수 있는 새로운 머신러닝 기법을 담고 있습니다. 이 기법을 트랜스포머(Transformer) 모델이라고 부릅니다. 이 트랜스포머 모델을 (상용) 서비스에 최초로 적용한 것은 구글이 아니라 ChatGPT를 사용하는 OpenAI였습니다. 오늘날 가장 잘 알려진 트랜스포머 모델은 GPT-4o부터 Claude 및 Gemini에 이르는 거대언어모델(LLM)입니다. 트랜스포머는 토큰(Token)으로 구성됩니다. 토큰은 트랜스포머 모델에서 가장 작은 처리 단위입니다. 토큰은 의미의 가장 작은 단위이며, 입력 데이터를 분할하여 만들어집니다. 거대언어모델에서 이러한 작은 의미 단위는 단어,