LLMO 체크리스트의 함정: 훈련 데이터 심기와 AI 답변 인용은 달라요

LLM 훈련 데이터에 브랜드를 심는 것과 AI 답변에 출처로 인용되는 것은 서로 다른 메커니즘이고, 이 둘을 한 덩어리로 묶은 AI 검색 체크리스트는 처방도 검증 방법도 잘못 고르게 만들어요. 훈련 경로는 학습 시점에 모델 가중치로 들어가 다음 학습 전까지 고정되고, 밖에서 움직였는지 확인할 수 없어요. 검색 경로는 질문이 들어온 순간 문서를 가져와 답을 만들고 출처를 달아서, 지금 작동하고 질의마다 바뀌고 인용된 URL 을 셀 수 있는 경로예요. 지금 GEO 연구가 재는 것은 거의 전부 두 번째예요.

이 글의 근거 범위와 방법을 먼저 밝혀 둘게요. 출발점은 2024년 초에 널리 읽힌 한 LLMO 가이드의 설명이에요. 그 가이드의 일부 기술 서술은 사실과 달라서 인용하지 않았고, 조작 기법은 나열하지 않았어요. 두 메커니즘의 구분은 RAG 원 논문의 파라메트릭·비파라메트릭 메모리 정의와 OpenAI 크롤러 문서로 교차 확인했어요 ^[1][2]. 삭제 문서 인용 사례는 벤더 연구자의 LinkedIn 게시물이라 동료심사가 없는 1차 자료이고, 우리 기준으로 근거 등급 중간 이하예요 ^[6]. 2026년 10월 기준으로 정리했고, 우리가 AI 검색 측정 제품을 운영한다는 이해관계도 함께 밝혀요.

AI 검색 최적화 체크리스트는 두 경로를 한 덩어리로 묶어요

AI 검색 최적화 체크리스트의 항목 자체는 익숙해요. 위키백과와 레딧에 브랜드를 올려라, 데이터베이스형 사이트에 등재하라, 대형 매체에 기고하거나 보도자료를 돌려라. 대체로 해볼 만한 일들이에요.

걸리는 건 그 목록이 왜 듣는지를 설명하는 대목이에요. 2024년 초에 널리 읽힌 한 가이드는 이렇게 설명해요. 특정 브랜드를 러닝화 맥락에서 언급한 글 100만 건을 훈련 데이터에 넣을 수 있다면, 모델이 그 연결을 학습하게 만들 수 있다고요. 이 설명은 서로 다른 두 가지를 한 덩어리로 묶어요. 하나는 훈련 코퍼스이고, 다른 하나는 검색과 인용이에요.

LLMO, GEO, AIO 같은 이름은 업계마다 정의가 조금씩 달라서, 어느 이름을 쓰느냐로는 이 문제가 풀리지 않아요. 이름 대신 각 항목이 어느 메커니즘을 거쳐 효과를 낸다고 가정하는지를 봐야 해요. 같은 "위키백과에 올려라"도 훈련 데이터에 들어가라는 뜻으로 읽으면 확인할 수 없는 지시가 되고, 지금 답변이 인용하는 문서에 들어가라는 뜻으로 읽으면 세어서 확인할 수 있는 지시가 돼요.

그림 1. 경로 A(훈련 코퍼스)와 경로 B(검색과 인용)를 작동 시점, 변동, 필요 규모, 외부 관측 네 항목으로 비교하고, 각각이 이끄는 처방("어디든 많이 뿌려라"와 "답변이 가져가는 문서를 고쳐라")을 적은 TRAIL Labs 도식이에요.

훈련 경로: 연결이 모델 가중치에 들어가요

훈련 코퍼스 경로에서 브랜드와 주제의 연결은 학습 시점에 모델 가중치로 들어가요. RAG 원 논문은 이렇게 모델 파라미터 안에 저장된 지식을 파라메트릭 메모리라고 부르고, 외부 문서 색인에서 꺼내 쓰는 지식인 비파라메트릭 메모리와 구분해요 ^[1].

이 경로에는 세 가지 성질이 있어요. 첫째, 효과는 다음 학습 전까지 고정돼요. 오늘 쓴 글이 내일 답변을 바꾸는 경로가 아니에요. 둘째, 한 회사가 웹 규모 코퍼스를 의미 있게 움직이려면 필요한 규모가 비현실적이에요. 셋째, 움직였는지 밖에서 확인할 방법이 없어요. 학습 데이터 구성과 가중치는 공개되지 않고, 답변 하나를 보고 그 내용이 어느 학습 문서에서 왔는지 셀 수도 없어요.

검색 경로: 질문 시점에 문서를 가져와 출처를 달아요

검색과 인용 경로는 질문이 들어온 순간 작동해요. 엔진이 문서를 가져오고, 그 문서를 근거로 답을 만들고, 일부를 골라 출처로 달아요. RAG 의 비파라메트릭 메모리가 이 경로의 원형이에요 ^[1].

이 경로의 성질은 훈련 경로와 정반대예요. 지금 작동하고, 질의마다 바뀌고, 측정돼요. 어떤 URL 이 출처로 달렸는지는 답변 화면에 그대로 남으니까요. 필요 규모도 문서 한 편 단위예요. 답변이 실제로 가져가는 문서를 고치면 다음 질의부터 그 변화가 결과에 들어갈 기회가 생겨요.

표 1. 두 경로의 성질 비교. 그림 1의 분류를 효과 검증 항목까지 넓혀 TRAIL Labs 가 정리한 표예요.

가져온 문서 가운데 무엇이 출처로 달리는지, 그리고 수집과 인용이 어떻게 갈리는지는 AI 검색에서 수집과 인용은 어떻게 다른가? ChatGPT와 유튜브 사례에서 따로 다뤘어요.

AI 업체 문서도 학습과 검색을 따로 다뤄요

이 구분은 우리가 만든 분류가 아니에요. AI 업체의 공식 문서에도 이미 들어 있어요. OpenAI 는 ChatGPT 검색 결과에 웹사이트를 띄우는 OAI-SearchBot 과, 생성형 AI 기반 모델 학습에 쓰일 콘텐츠를 수집하는 GPTBot 을 따로 운영해요 ^[2]. 그리고 각 설정이 서로 독립적이라서, 검색 결과에는 나타나도록 OAI-SearchBot 은 허용하고 GPTBot 은 막을 수 있다고 적어요.

선을 긋는 위치는 회사마다 달라요. Google 의 Google-Extended 설정은 Gemini 모델 학습뿐 아니라 질문 시점에 Google 검색 색인의 콘텐츠를 모델에 넘기는 그라운딩까지 함께 다루고, Google 검색 포함 여부나 순위에는 영향을 주지 않는다고 적혀 있어요 ^[3]. 원문은 Google 의 공통 크롤러 문서에 있어요. 한 회사의 문서로 다른 회사의 경계를 추정하면 안 된다는 뜻이고, 그래도 두 메커니즘을 별개로 다룬다는 점은 공통이에요.

GEO 연구가 재는 것은 거의 전부 검색 경로예요

지금 GEO 연구가 재는 관측량은 거의 전부 검색 경로에서 나와요. 인용 점유율, 출처 분포, 같은 질문을 다시 물었을 때의 변동이 전부 그래요. GEO 라는 이름을 붙인 원 논문도 검색된 출처 문서를 고쳤을 때 생성 답변 안에서 그 출처가 얼마나 보이는지를 쟀어요 ^[4].

변동 측정도 검색 경로의 성질이에요. Don't Measure Once 연구는 같은 날 같은 질문을 즉시 다시 물어도 인용 출처의 겹침(Jaccard)이 0.32–0.43에 그쳤다고 보고했어요 ^[5]. 논문 실험 기준이고, 원문은 arXiv에 있어요. 질의마다 바뀌는 경로이니 재실행마다 결과가 흔들리는 것이 자연스러워요. 훈련 경로는 애초에 밖에서 관측할 수 있는 양이 못 돼요.

처방은 '많이 뿌려라'와 '가져가는 문서를 고쳐라'로 갈려요

두 경로를 구분하는 이유는 처방이 갈리기 때문이에요. 훈련 경로를 가정하면 지시는 "어디든 많이 뿌려라"가 돼요. 양이 지렛대니까요. 검색 경로를 보면 지시는 "답변이 실제로 가져가는 문서를 찾아 그걸 고쳐라"가 돼요. 같은 체크리스트가 전혀 다른 분기 계획으로 번역돼요.

흥미로운 건 그 가이드가 고른 타깃들이 실제로 효과가 있을 법하다는 점이에요. 다만 이유가 달라요. 위키백과와 대형 매체가 듣는다면 그건 그 문서들이 지금 인용 가능한 문서이기 때문이에요. 훈련 코퍼스를 움직여서 듣는다는 설명은 확인할 길이 없어요.

이 구분이 되면 검증도 돼요. 검색 경로라면 그 페이지가 실제로 출처로 달리는지 엔진별, 질문별로 세어 보면 돼요. 훈련 경로라면 셀 수 있는 게 없어요. 체크리스트 항목마다 "이게 들었는지 무엇을 세어 확인하나"를 붙여 보면 어느 경로를 가정한 항목인지 바로 드러나요. 가져간 문서를 고르게 만드는 구체적인 방법은 ChatGPT는 어떤 글을 인용할까에 정리했어요.

학습용 크롤러를 막아도 인용은 일어나요

두 경로가 별개라는 점은 크롤러 설정에서 가장 실무적으로 드러나요. OpenAI 문서대로라면 사이트 운영자는 학습용 GPTBot 을 막고 검색용 OAI-SearchBot 만 허용해서, 학습 데이터 제공은 거절하면서 ChatGPT 검색 답변에는 계속 나타날 수 있어요 ^[2]. 반대로 검색용 크롤러를 막으면 학습 쪽 설정과 무관하게 ChatGPT 검색 답변에서 빠져요.

관측 쪽에서도 같은 그림이 나와요. 한 벤더 연구자가 미국 한정으로 여러 AI 검색 엔진의 3,000만 출처를 분석한 결과에서 페이스북은 가장 많이 인용된 도메인 8위였는데, 관측자 본인이 페이스북은 학습 크롤러를 대부분 차단한다고 함께 적었어요 ^[6]. 학습 데이터 경로를 닫아 둔 사이트가 답변 인용에서는 상위권에 있는 셈이에요. 이 분석은 전 산업 합산이고 퍼센트와 건수가 공개되지 않았다는 한계도 저자가 직접 밝혔어요.

그래서 "AI 에 잘 보이려면 학습 데이터에 들어가야 한다"는 전제로 크롤러 정책을 정하면 순서가 꼬여요. 답변 인용을 원한다면 먼저 검색용 크롤러 접근을 확인하고, 학습용 크롤러 허용 여부는 콘텐츠 사용에 대한 회사 정책으로 따로 판단하는 편이 두 메커니즘에 맞는 결정 구조예요.

자동완성 예시가 보여 주는 층위는 따로예요

같은 가이드가 드는 예 하나는 짚고 넘어갈 만해요. 자동완성이 어떤 회사명 뒤에는 whistleblower 를, 다른 회사명 뒤에는 whistle 을 잇는다는 관찰이에요. 이건 그 단어들이 학습 데이터에서 함께 많이 등장했다는 흔적이에요. 동시출현이 모델에 남는다는 것까지는 보여 줘요.

답변 안에서 어느 출처가 인용되는가는 다른 층위예요. 앞의 현상을 보여 주고 뒤의 효과를 주장하면 건너뛴 칸이 생겨요. 연결이 가중치에 남는다는 것과, 그 연결 때문에 우리 페이지가 출처로 달린다는 것 사이에는 검색이라는 단계가 끼어 있어요.

두 경로가 섞이는 지점도 있어요

경계가 늘 깨끗한 것은 아니에요. 한 벤더 연구자는 삭제된 위키백과 문서를 ChatGPT 가 삭제 4개월 뒤에도 정기적으로 인용하는 사례를 관측했어요 ^[6]. 같은 문서에 대해 Google, Bing, DuckDuckGo, Brave 는 결과가 없었고, Perplexity, Gemini, Copilot 도 인용하지 않았어요. 댓글에서 나온 유력한 설명은 라이브 검색이 아닌 학습으로 남은 파라메트릭 기억이라는 것이었는데, 이건 추정이에요.

이 사례가 맞다면 훈련 경로에서 남은 기억이 출처 표기의 모양으로 답변에 다시 나타날 수 있다는 뜻이에요. 그래도 결론은 그대로예요. 어느 쪽이든 우리가 셀 수 있는 것은 답변에 달린 출처예요. 원인을 훈련 쪽으로 돌리는 해석은 가능하지만, 그 해석을 확인할 수단은 여전히 밖에 없어요. 원문은 Malte Landwehr 의 LinkedIn 게시물에 있어요.

체크리스트를 할 일 목록 대신 감시 목록으로 읽어요

구분해 놓고 보면 더 불편한 쪽이 드러나요. 검색 경로는 측정 가능한 만큼 개입도 가능해요. 답변의 출처가 되는 문서는 대개 우리 사이트가 아니고, 그 문서의 기준을 우리가 통제하지 않아요. 페이지 몇 줄로 LLM 추천을 뒤집은 연구들은 AI 추천은 조작될 수 있을까에 정리했어요.

그래서 우리는 이런 목록을 할 일 목록보다 감시 목록으로 읽어요. 우리 카테고리에서 어떤 출처가 답변에 올라오는지, 그 구성이 바뀌는지를 봐요. 기법을 따라 하는 것과 기법이 쓰이고 있는지 지켜보는 것은 다른 일이에요.

TRAIL 에서는 측정 대상을 검색 경로로 명시해요. 어떤 URL 이 출처로 달렸는지를 엔진별로, 질문별로, 확인 시각별로 기록하고, 그 숫자가 몇 번 재서 나온 값인지를 함께 적어요. 훈련 경로에 대해서는 아무 주장도 하지 않아요. 잴 수 없는 것을 재는 척하지 않는 것이 측정을 파는 쪽의 최소 조건이라고 봐요.

한계

이 글은 두 메커니즘의 구분을 다루고, 각 경로의 효과 크기를 재지 않았어요. 훈련 코퍼스를 움직이는 데 필요한 규모를 정량으로 제시하지 않았고, 체크리스트 항목별 효과도 시험하지 않았어요.

출발점이 된 가이드는 2024년 초 글이라 그 뒤의 엔진 변화는 반영하지 않은 글이에요. 크롤러 문서의 내용은 2026년 10월에 확인한 것이고 업체가 언제든 고치는 문서예요. 삭제 문서 인용 사례는 벤더 연구자의 단일 관측이고 원인 설명은 추정이며, 우리는 재현하지 않았어요 ^[6]. 페이스북 사례가 나온 3,000만 출처 분석도 미국 한정, 전 산업 합산이라 한국어 질의나 특정 업종에 그대로 옮길 수 없어요. 크롤러 차단 여부와 인용 순위를 나란히 놓은 것은 우리 해석이고, 관측자가 둘의 관계를 분석한 것은 아니에요. Don't Measure Once 의 변동 수치는 스위스 독일어권 4개 캠페인과 4개 엔진에서 나온 값이에요 ^[5].

다음 단계

여러분이 보고 있는 AI 검색 체크리스트가 둘 중 어느 경로를 가정하고 있는지 항목마다 표시해 보세요. 검색 경로 항목은 해당 페이지가 우리 카테고리의 질문에서 엔진별로 출처로 달리는지 여러 번 재서 확인하고, 훈련 경로 항목은 확인할 방법이 그 문서 안에 있는지부터 물어보세요. 확인 방법이 없는 항목에 분기 예산을 걸기 전에, 셀 수 있는 항목부터 처리하는 순서가 안전해요. 검색 경로 항목도 손대기 전에 기준선을 먼저 재 두고, 바꾼 뒤 같은 질문으로 여러 번 다시 재야 변화가 그날의 변동과 구분돼요.