AI는 이제 화면 안에서 텍스트와 이미지를 만드는 단계를 넘어, 현실을 보고 다음 상태를 예측하고 직접 행동하는 단계로 이동하고 있다. The Core는 세 차례에 걸쳐 월드모델과 피지컬 AI의 작동 원리, 로봇 경험 데이터의 희소성, 그리고 제조 강국 한국이 이 경쟁에서 가질 수 있는 기회와 한계를 살펴본다. 첫 글은 이미지와 현실이 벡터와 텐서로 바뀌고, 이 데이터의 이동이 왜 메모리와 대역폭의 문제로 이어지는지를 설명한다.

(무료) ① 벡터의 마법: AI는 어떻게 픽셀을 행동으로 바꾸는가
(유료) ② 몸보다 비싼 데이터: 인터넷에는 로봇의 경험이 없다
(유료) ③ 제조 강국은 피지컬 AI 강국이 될 수 있는가

한 장의 이미지를 만들기 위해 AI는 왜 1TB 가까운 데이터를 읽을까

농장 한가운데 로봇이 무릎을 꿇고 있다. 한 손으로 소의 몸을 짚고, 다른 손으로 체온계를 들었다. 카우보이 모자까지 쓴 모습이 꽤 그럴듯하다. 생성 AI로 만든 이미지다.

사람은 이 장면을 보는 즉시 이야기를 읽는다. 배경은 목장이고, 로봇은 수의사 역할을 맡았으며, 소의 체온을 재려는 듯하다. 조금 우스꽝스럽지만 무엇을 보여주려는 이미지인지는 안다.

컴퓨터가 처음 마주하는 것은 이야기가 아니다. 숫자다.

이 이미지의 해상도는 908×499픽셀이다. 모두 45만 3,092개의 픽셀이다. 픽셀마다 빨강, 초록, 파랑 세 값을 기록하면 135만 9,276개의 숫자가 필요하다. 각 값을 8비트, 즉 1바이트로 표현하면 비압축 RGB 데이터는 약 1.36MB다.

여기서 구분해야 할 것이 있다. 1.36MB는 PNG나 JPEG 같은 실제 이미지 파일의 크기가 아니다. 압축하기 전 RGB 픽셀 배열의 크기다. 실제 파일 크기는 압축 방식과 화질, 알파 채널 유무에 따라 달라진다. 지금부터는 AI가 처음 계산해야 하는 숫자의 규모를 이해하기 위해 비압축 RGB 데이터를 기준으로 삼겠다.

우리가 한눈에 이해한 ‘로봇 수의사와 소’라는 장면이 컴퓨터 안에서는 일단 136만 개에 가까운 숫자로 시작한다.

벡터는 현실을 계산 가능한 숫자로 바꾼다

여기서 벡터(vector)가 등장한다.

벡터라는 말은 어렵게 들리지만 본질은 단순하다. 순서가 정해진 숫자의 묶음이다. 서울의 오늘 날씨를 [기온, 습도, 풍속]이라는 세 숫자로 표현한다면 그것도 벡터다. 사람의 얼굴을 눈의 위치, 입꼬리 각도, 표정의 강도 같은 수백 개의 특징으로 표현해도 벡터다.

벡터가 그 자체로 의미를 갖는 것은 아니다. 숫자 세 개를 아무렇게나 모았다고 의미가 생기지는 않는다. 그러나 AI가 대규모 데이터를 학습하면 벡터는 대상의 특징과 관계를 표현하는 좌표가 될 수 있다. 이런 학습된 벡터 표현을 흔히 임베딩(embedding)이라고 부른다.

임베딩 공간에서는 비슷한 개념이 가까운 위치에 놓이는 경향이 있다. ‘소’와 ‘송아지’는 ‘소’와 ‘노트북’보다 가까울 수 있다. ‘체온계’와 ‘진료’는 특정 방향에서 연결되고, 프롬프트 안의 ‘로봇’과 ‘수의사’는 새로운 관계를 맺는다. AI는 단어와 이미지의 특징을 숫자 공간의 거리와 방향으로 다룬다.

엄밀히 말하면 오늘날 AI가 실제로 다루는 것은 벡터보다 더 큰 텐서(tensor)다. 벡터가 숫자의 한 줄이라면 행렬은 숫자로 된 표다. 텐서는 숫자로 된 표가 여러 층으로 쌓인 상자에 가깝다. 이미지의 가로·세로·색상, 영상의 시간, 로봇 관절의 위치와 속도처럼 차원이 늘어나면 텐서가 된다.

벡터와 텐서가 어렵다면 이렇게 이해해도 충분하다.

AI는 픽셀 공간이 아니라 잠재공간에서 그림을 만든다

많은 최신 이미지 생성 모델은 수백만 개의 픽셀 값을 매 단계에서 직접 고쳐가며 그림을 만들지 않는다. 픽셀보다 작은 잠재공간(latent space)에서 작업한다.

텍스트로 이미지를 만드는 경우에는 압축할 원본 이미지가 먼저 존재하지 않는다. 모델은 압축된 잠재공간에서 노이즈로 시작해 프롬프트에 맞는 특징을 점차 만들어낸다. 마지막 단계에서 디코더가 잠재표현을 픽셀 이미지로 복원한다. 입력 이미지가 존재하는 이미지 변환 작업에서는 반대로 원본 이미지를 잠재공간에 먼저 압축할 수 있다. 이것이 잠재 확산 모델(Latent Diffusion Model)의 기본 발상이다.

(생성 AI가 압축된 잠재공간에서 장면의 특징을 다루는 과정을 설명하기 위한 예시. 수치는 특정 최신 모델의 실제 내부 구조가 아니다.)

계산을 쉽게 하기 위해 이미지를 912×504픽셀로 맞춰 보자. 비압축 RGB 데이터는 912×504×3바이트, 약 1.38MB다. 가로와 세로를 각각 8분의 1로 줄이고 각 위치를 네 개의 FP16 숫자로 표현한다고 가정하면 잠재표현은 4×63×114가 된다.

숫자 하나가 2바이트이므로 전체 크기는 57,456바이트다. 약 56KiB, 십진법으로는 약 57KB다. 비압축 RGB 데이터 약 1.38MB가 설명용 잠재표현 약 57KB로 줄어든 셈이다.

이 계산은 잠재공간의 원리를 보여주기 위한 예시다. 모델마다 공간 압축률과 채널 수, 숫자 형식이 다르다. 압축 과정에서는 세부 정보가 사라질 수도 있다. 따라서 “픽셀은 줄지만 의미가 더 선명해진다”고 단정해서는 안 된다.

중요한 점은 따로 있다. AI는 현실의 모든 세부를 같은 무게로 들고 다니지 않는다. 다음 계산과 이미지 복원에 필요한 특징을 더 압축적인 형태로 표현한다. 로봇의 금속 표면을 이루는 수천 개의 픽셀은 ‘금속 팔’과 관련된 특징으로 묶일 수 있다. 소의 눈과 귀, 머리의 움직임은 ‘불편함’이나 ‘경계’와 관련된 상태 표현으로 바뀔 수 있다.

벡터와 텐서는 압축인 동시에 추상화다. 그러나 데이터가 압축됐다고 해서 AI가 움직여야 할 데이터까지 작아지는 것은 아니다. 오히려 정반대의 일이 일어난다.

결과는 작지만, 생성 과정의 데이터 이동은 크다

공개 이미지 생성 모델인 FLUX.1-dev 공식 모델 카드를 보자. 이 모델은 120억 개의 파라미터를 가진다. 각 파라미터를 BF16, 즉 2바이트로 저장한다고 단순화하면 주요 모델 가중치의 크기는 약 24GB다.

공식 사용 예제는 이미지를 생성할 때 50번의 추론 단계를 사용한다. 매 단계에서 24GB의 가중치를 메모리에서 단 한 번씩 읽는다고 가정하면 다음과 같은 계산이 나온다.

• 24GB × 50단계 = 약 1.2TB

이 1.2TB는 실제 장비에서 측정한 값이 아니다. 메모리 용량도 아니다. BF16 가중치를 사용하고, 각 추론 단계에서 전체 가중치를 한 번 읽는다고 가정한 누적 가중치 읽기량의 개념적 추정치다.

실제 데이터 이동량은 양자화, 캐시, 연산 융합, 모델 병렬화와 샤딩, 하드웨어 구조에 따라 달라진다. 가중치를 8비트나 4비트로 줄이면 이보다 작아질 수 있다. 반대로 중간 활성값, 텍스트 인코더, 디코더, 장치 간 통신까지 포함하면 추가 데이터 이동이 발생한다.

따라서 비압축 RGB 데이터 약 1.38MB와 누적 가중치 읽기량 약 1.2TB는 서로 다른 물리량이다. 하나는 한 시점의 데이터 크기이고, 다른 하나는 생성 과정 전체에서 반복해 읽는 데이터의 합계다. 두 숫자를 직접 비교해 실제 효율을 계산할 수는 없다.

그럼에도 이 비교가 보여주는 사실은 분명하다.

AI를 ‘계산하는 기계’라고만 보면 이 흐름을 놓친다. 곱셈기가 아무리 많아도 가중치와 활성값이 늦게 도착하면 연산 장치는 기다릴 수밖에 없다. 대규모 AI는 계산 장치가 필요한 숫자를 필요한 순간에 공급받아야 작동한다.

그래서 AI는 계산 산업인 동시에 데이터 이동 산업이다.

용량은 창고, 대역폭은 도로다

메모리를 이해하려면 세 개념을 구분해야 한다.

• 용량(capacity)은 얼마나 많은 데이터를 보관할 수 있는가다. 창고나 주차장의 크기에 가깝다.
• 대역폭(bandwidth)은 1초에 얼마나 많은 데이터를 옮길 수 있는가다. 고속도로의 차선 수에 가깝다.
• 지연시간(latency)은 요청한 데이터가 도착하기까지 얼마나 걸리는가다. 목적지까지의 거리와 신호등 수에 가깝다.

AI 가속기는 엄청난 속도로 행렬 곱셈을 수행한다. 문제는 계산할 숫자가 끊임없이 들어와야 한다는 점이다. 이 때문에 GPU 가까이에 여러 개의 DRAM 다이를 수직으로 쌓고 넓은 인터페이스로 연결한 HBM(High Bandwidth Memory)이 AI 시대의 핵심 부품이 됐다.

SK하이닉스가 COMPUTEX 2026에서 공개한 수치를 보면 변화의 방향이 선명하다. 널리 사용되는 HBM3E는 스택당 약 1.2TB/s의 대역폭을 제공한다. HBM4는 입출력 통로를 1,024개에서 2,048개로 늘렸다. 공개된 최대 사양 기준으로 HBM4E는 핀당 16Gbps, 스택당 약 4.0TB/s의 대역폭을 제시한다. HBM4E는 현재 널리 배치된 제품의 실측 평균이 아니라 공개·샘플 단계의 최대 사양이라는 점은 구분해야 한다.

이 변화는 단순히 저장 공간을 키우는 경쟁이 아니다. 같은 시간에 더 많은 가중치와 활성값을 로직 반도체로 공급하는 경쟁이다. 연산 성능이 엔진의 마력이라면 메모리 대역폭은 엔진으로 들어가는 연료관의 굵기다. 연료관이 좁으면 큰 엔진을 달아도 제 성능을 낼 수 없다.

한 장의 이미지는 끝나지만, 로봇의 현실은 끝나지 않는다

지금까지는 이미지 한 장을 만드는 과정을 살펴봤다. 이제 이미지 속 로봇을 실제 목장에 배치해 보자.

이미지 생성 AI는 결과물을 만들고 멈출 수 있다. 로봇은 그럴 수 없다. 로봇은 작동하는 동안 다음 과정을 계속 반복해야 한다.

• 관찰한다 → 예측한다 → 행동한다 → 다시 관찰한다

오른손은 체온계를 소에게 천천히 접근시킨다. 왼손은 소의 몸에 닿아 미세한 움직임을 느낀다. 얼굴을 보는 카메라는 눈과 귀, 머리의 방향을 통해 불편함을 추정한다. 손목의 힘·토크 센서는 저항을 감지한다. 관절 센서는 팔의 위치와 속도를 기록한다. 체온계는 측정값을 보낸다.

이 데이터는 따로 존재해서는 안 된다. 모두 같은 시간축 위에서 결합돼야 한다. 소가 귀를 뒤로 젖힌 순간, 왼손에 힘이 들어온 순간, 오른팔의 진입 각도를 바꾼 순간이 정확히 연결돼야 한다. 그래야 모델이 “이 상태에서 이 행동을 하면 다음 순간에 무엇이 일어나는가”를 배울 수 있다.

가상의 센서 구성을 계산해 보자.

• 1080p RGB 카메라 2대, 초당 30프레임
• 720p 16비트 깊이 카메라 1대, 초당 30프레임
• 양손의 6축 힘·토크 센서, 1kHz
• 40개 관절의 위치·속도·토크, 1kHz

RGB 카메라 두 대의 비압축 데이터는 초당 약 373MB다. 깊이 카메라는 초당 약 55MB다. 힘·토크와 관절 값을 FP32로 기록한다고 가정하면 전체는 초당 약 0.43GB가 된다. 8시간 동안 계속 기록하면 로봇 한 대에서 약 12.4TB가 나온다. 로봇 1,000대라면 한 번의 8시간 작업에서 약 12.4PB다.

이 역시 실제 저장 용량을 예측한 수치가 아니다. 현실의 시스템은 영상을 압축하고, 중요하지 않은 구간을 버리고, 이벤트 중심으로 샘플링한다. 센서의 해상도와 프레임 속도도 작업에 따라 달라진다.

핵심은 12.4TB라는 숫자 자체가 아니다. 현실과 상호작용하는 AI는 인간이 프롬프트를 보낼 때만 데이터를 만드는 것이 아니다. 작동하는 매 순간 데이터가 생긴다.

이미지 생성 AI의 수요는 요청 단위로 끊긴다. 피지컬 AI(Physical AI)의 수요는 작동 시간에 따라 이어진다.

로봇의 센서 데이터가 곧바로 HBM 수요는 아니다

여기서 한 가지 오해를 피해야 한다. 초당 0.43GB의 센서 입력이 곧바로 로봇 한 대의 HBM 수요를 의미하지는 않는다.

대표적인 온로봇 컴퓨터인 NVIDIA Jetson AGX Thor는 HBM이 아니라 273GB/s 대역폭의 LPDDR5X를 사용한다. 모든 휴머노이드에 HBM이 들어갈 것이라고 주장하면 과장이다.

그렇다면 HBM은 어디에서 중요해질까.

센서에서 들어온 원시 데이터는 AI 모델을 통과하면서 여러 층의 특징 지도와 중간 활성값, 주의 계산, 잠재 상태, 행동 후보로 변환된다. 모델 가중치도 추론 단계마다 반복해서 읽힌다. 원시 입력보다 모델 내부에서 이동하는 데이터가 훨씬 커질 수 있다.

로봇이 만드는 데이터의 생애주기를 보면 메모리의 역할이 층별로 나뉜다.

1. 로봇 위에서는 LPDDR 같은 저전력 메모리가 실시간 센서 처리와 추론을 담당한다.
2. 현장에서 생성된 영상과 행동 궤적은 로봇이나 엣지 장치의 SSD에 임시 저장된다.
3. 중앙으로 전송된 데이터는 대규모 스토리지에 축적되고, 정제와 검색 과정에서는 서버 DRAM이 사용된다.
4. 대규모 학습과 고성능 추론, 대규모 병렬 시뮬레이션은 HBM을 탑재한 데이터센터 가속기의 주요 영역이 된다.

모든 추론과 모든 시뮬레이션에 HBM이 필요한 것은 아니다. 모델 크기와 실시간성, 병렬 처리 규모에 따라 LPDDR나 GDDR, HBM을 비롯한 서로 다른 메모리가 사용된다. 중요한 점은 피지컬 AI의 메모리 시장을 “휴머노이드 한 대에 HBM이 몇 개 들어가는가”로만 계산해서는 안 된다는 것이다.

로봇에는 LPDDR가 실릴 수 있다. 그러나 로봇이 수집한 데이터를 학습하고, 수많은 가상환경을 병렬로 시뮬레이션하고, 개선된 모델을 다시 배포하는 학습 공장은 HBM을 사용할 수 있다.

로봇 한 대는 하나의 기계이면서 데이터 수집기이고, 동시에 AI 학습 공장의 말단이다.

월드모델은 ‘다음 토큰’이 아니라 ‘다음 상태’를 예측한다

LLM은 문장에서 다음에 올 단어 조각, 즉 토큰(token)을 예측한다. 피지컬 AI에서 사용하는 행동 조건부 월드모델(world model)을 가장 단순하게 표현하면 현재 상태와 행동을 바탕으로 다음 상태의 확률분포를 예측하는 모델이다.

P(st+1⎪st,at)

현재 상태 st에서 행동 at를 했을 때 다음 상태 st+1가 어떻게 될지를 예측한다는 뜻이다.

현대의 월드모델은 다음 영상 프레임이나 잠재 상태를 여러 단계에 걸쳐 예측하기도 한다. 모든 월드모델이 명시적인 행동 입력을 필요로 하는 것도 아니다. 그러나 로봇의 행동을 설명하는 데는 위의 단순한 전이 모델이 가장 유용하다.

소에게 체온계를 가까이 가져가면 소는 가만히 있을 수도 있고, 몸을 틀 수도 있고, 뒷발을 움직일 수도 있다. 로봇은 정답 문장을 생성하는 것이 아니다. 여러 가능한 미래를 아주 짧은 시간 안에 예측하고, 그중 안전한 행동을 골라야 한다.

그래서 언어만으로 물리 세계를 충분히 설명하기는 어렵다. “체온계를 천천히 넣어라”라는 문장에는 표면의 마찰, 소의 근육 긴장, 손목에 전달되는 힘, 접근 각도와 속도가 담겨 있지 않다. 영상도 모든 것을 주지는 못한다. 힘, 질량, 마찰, 유연성, 접촉 감각은 직접 상호작용해야 얻을 수 있다.

월드모델의 핵심은 관찰과 행동을 함께 학습하는 데 있다. 행동 전의 상태, 실제 행동, 행동 뒤의 상태가 한 묶음이 돼야 한다.

피지컬 AI는 메모리 시장의 시간을 바꾼다

생성 AI의 메모리 수요는 대체로 인간이 질문하거나 이미지와 영상을 요청하는 순간 발생한다. 피지컬 AI는 다르다. 로봇과 자율 시스템은 사람이 질문하지 않아도 계속 보고, 예측하고, 행동한다.

이 변화는 AI 수요의 단위를 바꾼다.

• 질문 수에서 작동 시간으로
• 생성된 토큰 수에서 관찰과 행동의 연속 궤적으로
• 한 번의 추론에서 실시간 폐쇄 루프(closed loop)로
• 단일 모델에서 학습·시뮬레이션·현장 추론의 전체 시스템으로

NVIDIA는 이 구조를 ‘세 대의 컴퓨터’로 설명한다. DGX는 모델을 학습하고, Omniverse와 Cosmos가 작동하는 서버는 시뮬레이션과 합성 데이터를 담당하며, Jetson AGX Thor는 로봇 위에서 실시간 추론을 수행한다. 이는 NVIDIA가 제시하는 산업 구조이지만, 피지컬 AI를 로봇 몸체 한 대의 부품표만으로 이해해서는 안 된다는 점을 잘 보여준다.

피지컬 AI는 로직 반도체만의 시장이 아니다. 현실을 벡터와 텐서로 바꾸고, 저장하고, 필요한 순간에 이동시키는 전체 메모리 계층의 시장이다. 로봇 위의 LPDDR, 데이터 수집과 보관을 위한 NAND 기반 SSD, 데이터 정제와 검색을 위한 서버 DRAM, 대규모 학습과 시뮬레이션을 위한 HBM이 하나의 흐름으로 연결된다.

물론 로봇 수가 늘어난다고 메모리 수요가 같은 비율로 늘어나는 것은 아니다. 영상 압축과 데이터 선별, 모델 경량화, 더 효율적인 학습 기술이 데이터와 연산량을 줄일 것이다. 반대로 더 큰 모델과 더 많은 시뮬레이션, 더 높은 센서 해상도는 수요를 늘릴 수 있다.

확실한 것은 피지컬 AI가 기존의 요청형 생성 AI에는 없었던 상시 작동 워크로드를 만든다는 점이다. AI가 현실 속에서 움직이기 시작하면 데이터는 한 번 생성되고 끝나는 결과물이 아니라 계속 순환하는 생산요소가 된다.

로봇은 벡터가 흐르는 강이다

다시 수의사 로봇 이미지로 돌아가 보자.

이미지 속 로봇 수의사는 908×499픽셀이다. 알파 채널을 제외한 비압축 RGB 데이터로 계산하면 약 1.36MB다. 그러나 실제 로봇 수의사는 매초 수억 바이트의 센서 데이터를 받아들이고, 모델 내부에서 그보다 훨씬 큰 텐서를 움직이며, 행동 결과를 다시 새로운 데이터로 남긴다.

한 장의 그림은 벡터의 한순간이다. 로봇은 벡터가 흐르는 강이다.

피지컬 AI 시대에 우리가 물어야 할 질문은 “로봇이 얼마나 많은 계산을 하는가”만이 아니다.

그 질문의 중심에 메모리와 대역폭이 있다.

그러나 또 다른 질문이 남는다. 언어 모델은 인터넷에서 텍스트를 배웠다. 로봇은 어디에서 행동을 배울까. 인터넷에는 로봇이 특정 몸으로 특정 물체를 만지고, 실패하고, 교정한 경험이 거의 없다.

다음 글에서는 왜 로봇 몸체의 제조 비용은 내려갈 수 있지만 로봇 경험의 비용은 쉽게 내려가지 않는지 살펴본다. 시뮬레이션, 인간의 1인칭 영상, 텔레오퍼레이션, 현장 배치 데이터가 어떤 데이터 피라미드를 이루는지, 그리고 왜 로봇 산업에서 “Bodies are Cheap, Data is Not”이라는 말이 등장하는지를 분석할 예정이다.