작은 LLM을 직접 만드는 법: 3% 컴퓨트로 깎는 Sheared-LLaMA

큰 모델을 깎아 만든 작은 모델이, 처음부터 학습한 같은 크기 모델들을 3% 미만의 컴퓨트로 넘었어요. Sheared-LLaMA는 공개된 LLaMA2-7B를 1.3B와 2.7B로 깎고 약 50B 토큰만 계속 사전학습해서, 300B에서 3T 토큰으로 학습된 Pythia·OPT·TinyLlama·OpenLLaMA를 다운스트림 평균 성능에서 앞섰어요 ^[1]. 자체 LLM이 없는 회사가 작은 LLM을 직접 만드는 경로 중 가장 싼 길이 이 논문에 있어요.

이 글은 arXiv 2310.06694 ICLR 2024 카메라레디판의 초록, 2장(방법), 표 2·5, 알고리즘 1을 2026년 11월 기준으로 원문 대조해 썼고, 코드와 모델은 공개 저장소와 Hugging Face에 있어요 ^[1]. 에이전트 업무 구성에 대한 주장은 NVIDIA 연구진의 포지션 페이퍼에서 가져왔는데, 이쪽은 실험 논문이 아니고 대체 가능 비율도 저자 추정치예요 ^[2]. 두 논문 모두 우리가 재현하지 않았고, 저자들과 이해관계가 없어요.

작은 LLM을 왜 처음부터 만들지 않나

같은 크기의 모델이라도 어디서 출발하느냐에 따라 비용이 수십 배 갈려요. 처음부터 학습한 공개 소형 모델들의 토큰 예산은 Pythia 300B, INCITE 800B, OpenLLaMA 1T, TinyLlama 3T까지 올라가 있었어요 ^[1]. 반면 이미 수조 토큰을 먹은 공개 모델에는 그 학습이 압축해 둔 지식이 들어 있으니, 그걸 깎아서 출발하면 지식을 물려받은 채로 작게 시작해요. 문제는 기존 프루닝이 성능을 크게 떨어뜨리고, 떨어진 성능을 복구할 방법이 정리돼 있지 않았다는 점이에요 ^[1].

Sheared-LLaMA의 답은 두 단계예요. 결과 모델의 구조를 미리 정해 놓고 그 모양으로 깎는 표적 구조 프루닝, 그리고 깎인 모델을 적은 토큰으로 효율적으로 복구하는 동적 배치 로딩. 프루닝은 초기화일 뿐이고, 컴퓨트 대부분은 복구(계속 사전학습)에 써요 ^[1].

그림 1. Sheared-LLaMA의 2단계: 표적 구조 프루닝(0.4B 토큰)으로 7B를 목표 구조로 깎고, 동적 배치 로딩으로 도메인 비율을 조정하며 약 50B 토큰을 계속 사전학습한다 ^[1].

LLM 프루닝이란: 표적 구조 프루닝

LLM 프루닝은 레이어·어텐션 헤드·히든 차원 같은 구조 단위를 제거해 모델을 줄이는 기법이에요. Sheared-LLaMA의 변형은 "어디를 얼마나 깎을지"를 모델이 스스로 고르게 하되, 결과가 정확히 목표 구조가 되도록 제약을 건다는 점이 달라요. 구조 단위마다 남길지 지울지를 나타내는 마스크 $z$를 두고, 마스크가 걸린 모델의 언어모델링 손실을 최소화해요.

$\theta$는 모델 가중치, $z$는 레이어·헤드·중간 차원·히든 차원에 걸린 프루닝 마스크, $\varphi$와 $\lambda$는 마스크가 목표 구조(예: 1.3B는 Pythia-1.4B, 2.7B는 INCITE-Base-3B의 구조)로 정확히 수렴하도록 강제하는 라그랑주 항이에요 ^[1]. 임의 모양으로 깎는 기존 방식과 달리 결과 구조를 통제하니, 추론 효율이 검증된 아키텍처를 그대로 물려받아요. 이 단계에 쓰는 토큰은 0.4B뿐이에요. 저자들은 고정 예산 안에서 프루닝 토큰을 늘리면 복구 후 손실이 좋아지지만 프루닝 단계가 계산상 비싸서 0.4B가 실용적 절충이라고 적어요 ^[1].

동적 배치 로딩: 어떤 데이터를 더 먹일지 손실이 정한다

깎인 모델은 도메인마다 손실이 회복되는 속도가 달라요. 저자들은 LLaMA2 시리즈에 스케일링 법칙을 맞춰 "이 크기 모델을 처음부터 학습했다면 도달했을 도메인별 손실"을 기준점 ${\ell }_{\mathrm{ref}}$로 삼고, 기준점에서 멀리 떨어진 도메인의 데이터 비율을 올려요 ^[1]. $m$ 스텝마다 도메인 $i$의 격차를 재고 비율을 갱신해요.

${\ell }_t[i]$는 현재 모델의 도메인 $i$ 검증 손실, $w_t$는 다음 구간에서 각 도메인을 배치에 담을 비율이에요. 격차가 큰 도메인일수록 지수적으로 더 뽑히고, 합이 1이 되도록 정규화해요 ^[1]. 고정 비율로 RedPajama를 그대로 먹이면 도메인별 회복이 불균형해 데이터가 낭비되는데, 이 조정이 같은 토큰 예산에서 다운스트림 성능을 끌어올렸어요 ^[1].

결과: 50B 토큰이 300B에서 3T 토큰을 이겼다

약 50B 토큰(프루닝 0.4B + 계속 사전학습)으로 만든 두 모델이 같은 크기 공개 모델들을 다운스트림 평균에서 넘었어요 ^[1]. 논문 표 2의 평균값만 옮기면 이래요.

표 1. 같은 크기 공개 모델들과의 다운스트림 평균 비교. 괄호는 학습 토큰 수. Sheared-LLaMA는 두 체급 모두에서 가장 적은 토큰으로 가장 높은 평균을 기록했다 ^[1].

비용으로 환산하면 저자들은 OpenLLaMA-3B-v2와 같은 수준에 도달하는 데 그 모델 예산의 1/32, 약 3%만 들었다고 보고해요 ^[1]. 명령 따르기(instruction tuning) 평가에서도 같은 크기 공개 모델보다 높은 승률을 보였어요 ^[1]. 이 레시피는 이후 NVIDIA가 Minitron에서 프루닝+지식 증류 조합으로 Llama 3.1 8B를 4B로 줄이는 실무 절차로 이어 갔어요 ^[3].

AI 에이전트에 작은 모델로 충분한가

"만들 수 있다"와 별개로 "그걸로 충분한가"가 남아요. NVIDIA 연구진의 포지션 페이퍼는 에이전트 시스템이 복잡한 목표를 모듈형 서브태스크로 분해하고, 그 서브태스크 대부분이 좁고 반복적이며 대화형이 아니라서 작은 모델로 충분하고 더 경제적이라고 주장해요 ^[2]. 수치로는 7B급 서빙이 70B에서 175B급 대비 지연·에너지·연산에서 10배에서 30배 싸다고 인용하고, 공개 에이전트 3종을 뜯어 LLM 호출 중 작은 모델로 대체 가능한 비율을 MetaGPT 약 60%, Open Operator 약 40%, Cradle 약 70%로 추정해요 ^[2]. 전부 저자 추정이고 포지션 페이퍼라는 한계는 있지만, 방향은 AI 검색 에이전트의 질의 분석에서 본 것과 같아요: 에이전트가 실제로 던지는 작업의 다수는 분류·추출·포맷 변환 같은 좁은 일이에요.

두 논문을 겹치면 결론이 나와요. 에이전트 워크로드의 다수가 작은 모델 수준이고(능력 명제 ^[2]), 그 작은 모델을 소유하는 비용이 from-scratch의 3% 수준으로 내려왔다면(비용 명제 ^[1]), 자체 LLM이 없는 회사도 자기 오케스트레이션 레이어의 모델을 소유하는 선택지가 열려요.

한계

논문과 이 글이 못 본 것부터 적어요.

• 아티팩트는 2023년 기준이에요. 1.3B·2.7B 모델 자체는 이후 세대 소형 모델(수십 T 토큰 학습)에 뒤처져요. 지금 유효한 건 모델이 아니고 방법이에요. 오늘 적용한다면 최신 오픈 가중치 모델을 깎는 쪽이고, 그 실무 레시피가 Minitron이에요 ^[3].
• 50B 토큰도 공짜가 아니에요. from-scratch의 3%라는 말은 수십억 토큰 규모의 학습 인프라가 여전히 필요하다는 뜻이기도 해요. 처음부터 학습한 SmolLM2 1.7B가 11T 토큰을 쓴 것과 비교하면 작지만, GPU 클러스터 없이 되는 일은 아니에요 ^[4].
• 원본 모델의 라이선스를 물려받아요. LLaMA2를 깎으면 LLaMA2의 라이선스 조건 안에 있어요. 상용 배포 전에 베이스 모델 라이선스 확인이 선행돼야 해요.
• 동적 배치 로딩의 기준점은 스케일링 법칙 추정이에요. LLaMA2 시리즈에 맞춘 함수로 가상의 소형 모델 손실을 예측하는데, 이 추정이 틀리면 비율 조정도 틀려요 ^[1].
• 에이전트 과제 직접 평가는 없어요. 표 2는 상식·독해·지식 벤치마크고, 도구 호출·구조화 출력 같은 에이전트 핵심 능력은 이 논문의 평가 범위 밖이에요. 그 공백을 포지션 페이퍼의 추정이 메우고 있을 뿐이라, 실제 도입은 자기 워크로드에서 재야 해요.

실무로 보면: sLLM 구축 비용의 기준선

이 논문이 실무에 주는 건 build-vs-buy 판단의 기준선이에요. 에이전트 파이프라인에서 프런티어 모델 호출을 전수 분류해 보면, 복잡한 생성과 코딩을 제외한 다수가 분류·추출·검증·포맷 변환 같은 반복 서브태스크예요 ^[2]. 그 구간은 ① 호출량이 많고 ② 지연에 민감하며 ③ 출력 형식이 좁을수록, API 청구서 대신 소유한 작은 모델이 유리해져요. 반대로 호출량이 적거나 롱테일 추론이 섞인 구간은 여전히 API가 이겨요. 우리가 콘텐츠 생성 파이프라인을 운영하며 보는 패턴도 같아요. 생성 단계보다 그 앞뒤의 좁은 단계들이 호출 수의 다수를 차지해요.

같은 비대칭을 다른 영역에서 본 적이 있어요. 영상으로 로봇을 가르치는 월드 모델은 데이터가 많은 쪽(인터넷 영상)에서 세계를 배우고 데이터가 적은 쪽(로봇 행동)을 얇게 이었는데, 프루닝 경로도 구조가 같아요. 지식이 많은 쪽(7B가 압축한 수조 토큰)에서 출발해 부족한 쪽(작은 구조)을 적은 토큰으로 잇는 거예요. 압축된 특징 공간에서 작업하는 쪽이 유리하다는 원리는 구조화 특징 설계에서 본 것과도 이어져요.

다음에 읽을 글

프루닝+증류의 실무 절차는 Minitron 논문이 정리했고 ^[3], from-scratch 소형 모델의 비용 기준점은 SmolLM2가 공개했어요 ^[4]. 에이전트가 실제로 어떤 질의를 던지는지는 AI 검색 에이전트 질의 분석에서, 영상 이해가 검색에 쓰이는 방식은 비디오 RAG 논문 리뷰에서 다뤘어요.