영상으로 로봇을 학습시키는 월드 모델: V-JEPA 2

영상만 보고도 로봇이 물건을 집어 옮겨요. Meta의 V-JEPA 2는 인터넷 영상 100만 시간으로 행동 라벨 없이 학습한 뒤, 로봇 영상 62시간 미만만 더해 두 곳의 Franka 로봇 팔에서 로봇 데이터도 보상도 없이 제로샷으로 집고 놓기를 해냈어요 ^[1]. 핵심은 다음 장면을 픽셀로 그리는 대신, 학습된 표현 공간에서 예측한다는 점이에요. 그 덕분에 한 번의 행동을 고르는 계획이 영상 생성 방식보다 10배 넘게 빨랐어요 ^[1].

이 글은 arXiv 원문 v1의 초록과 본문 3-4절, Table 2-3, Figure 1을 2026년 11월에 읽고 수치를 대조해 정리했어요 ^[1]. 논문은 2025년 6월 공개본이고, 코드와 모델은 공개 저장소에, 결과 요약은 Meta 블로그에 있어요. 우리는 로봇 실험을 재현하지 않았고, 로봇 성공률 표는 물체별 수치의 열 대응이 추출에서 모호해서 논문이 본문에 명시한 값만 썼어요. 저자와 이해관계는 없어요.

AI 월드 모델이란 무엇인가요

월드 모델은 지금 상태에서 어떤 행동을 하면 다음 상태가 어떻게 바뀌는지 예측하는 내부 모델이에요. 사람이 눈으로 들어온 정보를 모아 다음을 예측하고, 그 예측으로 계획을 세우는 방식에서 따온 개념이에요 ^[1].

문제는 이걸 어떻게 배우느냐예요. 로봇이 직접 움직이며 모은 상호작용 데이터는 양이 적고, 반대로 인터넷 영상은 넘치지만 거기엔 "어떤 행동을 했다"는 라벨이 없어요. 기존 접근은 두 갈래였어요. 상호작용 데이터로만 예측 모델을 만들면 데이터 부족에 막히고, 영상을 통째로 생성하는 모델을 쓰면 로봇 제어에 성공한 사례가 제한적이었어요 ^[1]. V-JEPA 2는 "많은 일반 영상으로 세상의 변화를 먼저 배우고, 적은 로봇 데이터로 행동과 잇는다"는 쪽을 택했어요.

영상만 보고 무엇을 배우나요

두 단계로 나눠요. 1단계는 행동 라벨이 없는 영상 100만 시간과 이미지 100만 장으로 자기지도 사전학습을 해요. 이때 쓰는 목표는 픽셀을 복원하지 않고, 가려진 부분의 표현을 예측하는 거예요 ^[1].

그림 1. V-JEPA 2는 인터넷 영상으로 먼저 학습하고, 로봇 영상 62시간을 더해 행동조건부 월드 모델을 만들어요. 예측은 픽셀 대신 표현 공간에서 일어나요 ^[1].

이 목표를 수식으로 보면, 보이는 입력 $x$를 인코더 $E_{\theta }$로 표현으로 바꾸고, 예측기 $P_{\varphi }$가 가려진 미래 부분 $y$의 표현을 맞히도록 학습해요.

여기서 $\mathrm{sg}$는 목표 쪽으로 기울기를 흘리지 않는다는 뜻이고, $E_{\bar{\theta }}$는 천천히 따라오는 목표 인코더예요. 손실이 픽셀 차이가 아니라 표현 차이라서, 모델은 배경의 모든 질감을 복원하는 대신 예측에 쓸모 있는 부분에 집중해요 ^[1]. 인코더는 3억 파라미터(ViT-L)에서 10억 파라미터(ViT-g)까지 키웠고, 학습 반복과 해상도를 늘리면 다운스트림 성능이 더 올랐어요 ^[1].

로봇 데이터 없이 어떻게 로봇을 움직이나요

1단계만으로는 로봇을 움직일 수 없어요. 영상에는 행동이 없으니까요. 그래서 2단계에서 얼어붙은 V-JEPA 2 인코더 위에 3억 파라미터짜리 예측기를 붙여 행동조건부 월드 모델 V-JEPA 2-AC를 만들어요. 이 예측기만 Droid 데이터셋의 로봇 영상으로 학습하는데, 성공과 실패를 섞은 23,000개 궤적, 62시간 미만이에요 ^[1].

로봇을 움직일 때는 목표 이미지를 주고 모델 예측 제어로 계획해요. 모델이 "이 행동을 하면 표현이 이렇게 바뀐다"를 내다보고, 목표 표현에 가까워지는 행동을 고르는 거예요. 7축 Franka Panda 팔과 2지 그리퍼, 단안 RGB 카메라만 쓰고, 두 곳의 서로 다른 랩에서 그 환경의 로봇 데이터 없이 제로샷으로 돌렸어요 ^[1].

무엇을 얼마나 잘했나요

이해와 예측 쪽부터 보면, 과제특화로 따로 만든 기존 모델을 넘었어요.

표 1. V-JEPA 2의 이해·예측·질의응답 성능. 행동 예측은 기존 과제특화 모델을 넘은 최고 기록이에요 ^[1].

로봇 쪽에서 눈에 띄는 건 속도와 성공률의 균형이에요. 순수하게 팔을 목표 위치로 뻗는 reaching은 비교한 모델이 모두 잘했어요. 물체를 쥐고 옮기는 과제에서 차이가 벌어졌고, 논문은 V-JEPA 2-AC가 모든 과제에서 가장 높은 성공률을 보였다고 밝혀요 ^[1]. 영상 생성 기반 베이스라인인 Cosmos는 reaching에서 80% 성공률을 냈지만 물체 상호작용은 약했어요.

계획 비용의 차이가 커요. Cosmos는 픽셀을 생성해서 한 번의 행동을 고르는 데 4분이 걸렸고, 집고 옮기는 한 궤적을 끝내는 데 한 시간이 넘었어요. V-JEPA 2-AC는 표현만 예측해서, 한 단계에 10배 많은 후보를 뽑고도 행동 하나에 16초가 걸렸어요 ^[1].

영상 생성 모델과 월드 모델의 차이는 무엇인가요

같은 "미래 예측"이라도 무엇을 출력하느냐가 달라요. 영상 생성 모델은 다음 장면의 픽셀을 전부 만들어요. 보기엔 그럴듯하지만 계산이 비싸고, 제어에 쓰려면 매 단계 영상을 그려야 해요. V-JEPA 2 같은 공동 임베딩 예측 방식은 픽셀 대신 압축된 표현만 예측해서, 계획에 필요한 비교를 빠르게 해요 ^[1].

더 근본적인 질문은 "영상을 잘 그리는 것과 물리를 이해하는 것이 같은가"예요. 이건 다른 연구가 따로 다뤄요. Physics-IQ 벤치마크는 Sora, Runway, Pika 같은 생성 모델을 유체·광학·역학 같은 물리 원리로 평가했는데, 시각적 사실성과 물리 이해가 서로 무관하고 물리 이해는 아직 많이 부족하다고 보고했어요 ^[2]. 영상 학습이라는 방향을 부정하는 결과라기보다, 어떤 평가를 통과해야 실제 로봇 지능이라 부를 수 있는지 기준을 보여 주는 쪽이에요.

규모로 일반화를 끌어내려는 흐름도 있어요. GR-2는 인터넷 영상 3,800만 클립으로 세상의 변화를 먼저 배운 뒤 로봇 조작으로 전이했어요 ^[3]. V-JEPA 2가 표현 예측과 적은 로봇 데이터로 가는 길이라면, GR-2는 영상 생성과 규모로 가는 길이라, 같은 목표를 향한 다른 경로로 읽을 수 있어요.

한계

논문이 스스로 밝힌 한계가 분명해요.

• 카메라 위치에 민감해요. 모델은 명시적 캘리브레이션 없이 단안 RGB 영상에서 행동의 좌표축을 암묵적으로 추론해요. 로봇 베이스가 화면 밖에 있으면 축이 모호해져 예측이 틀려요. 저자들은 실험 전에 여러 카메라 위치를 수동으로 시도해 하나를 골랐어요 ^[1].
• 장기 계획이 어려워요. 여러 단계를 자기회귀로 예측하면 오차가 쌓여요 ^[1].
• 집기 중심이에요. 이미지 목표로 지정할 수 있는 prehensile 과제를 다뤘고, 보상이나 과제특화 학습은 쓰지 않았어요. 그게 장점이자 범위예요 ^[1].

여기에 우리가 보기에 남는 의문을 더하면, 물체별 성공률의 편차가 카메라와 그리퍼 제어 정밀도에 함께 묶여 있어서, 성공률 숫자 하나만으로 모델의 물리 이해 수준을 가늠하긴 어려워요.

실무로 보면

TRAIL이 하는 일과 직접 겹치는 논문은 아니에요. 다만 설계 원리 하나는 같은 계열로 볼 수 있어요. 이 모델이 픽셀을 다 만드는 대신 표현 공간에서 예측해 계획을 빠르게 한 것처럼, 콘텐츠 생성에서도 결과물을 통째로 흉내 내기보다 브랜드의 특징을 압축한 공간에서 다루는 쪽이 일관성과 효율을 잡기 쉬워요.

더 넓게 보면, 생성 모델이 글과 이미지를 만드는 단계를 지나 행동과 제어로 넓어지는 지형을 보여 주는 논문이에요. 영상으로 세상을 먼저 배우고 적은 상호작용으로 행동과 잇는다는 비대칭은, 데이터가 적은 쪽에서 많은 쪽의 지식을 빌려 오는 설계라 콘텐츠 자동화에서도 되짚어 볼 지점이에요.

다음 글

이 글은 TRAIL 논문 리뷰 시리즈에서 영상과 생성 모델을 다루는 라인의 첫 글이에요. 영상을 이해해 검색에 쓰는 방법은 영상 RAG 논문 리뷰에서, 검색이 사용자 질문을 어떻게 다루는지는 AI 검색 검색어 분석에서, 표현과 특징을 콘텐츠에 쓰는 방식은 구조적 특징 공학 글에서 이어 읽을 수 있어요.