AI 답변 가시성은 어떻게 정의하고 측정하나: 세 가지 정의

AI 답변에 우리 브랜드가 '보였다'는 말을 수식으로 옮기면 최소 세 가지 서로 다른 값이 나와요. 답변 안에서 얼마나 많이, 얼마나 앞에 나왔는가(노출), 그 출처가 실제로 답을 만들었는가(기여), 한 번 잰 값을 믿을 수 있는가(안정성)예요. 세 값은 서로를 대신하지 못해요. 노출이 높아도 기여는 낮을 수 있고, 두 값 모두 한 번만 재면 다음 측정에서 크게 흔들려요. "GEO가 잘 되고 있다"는 한 문장 아래에는 서로 다른 세 질문이 겹쳐 있어요.

이 글의 근거 범위부터 밝혀 둘게요. 세 정의는 각각 GEO 원전 논문 ^[1], RAG 출처 귀속 논문 ^[2], Don't Measure Once 논문 ^[3]에서 가져왔고, 수식과 수치는 세 논문의 원문을 직접 대조해 옮겼어요. 수치는 모두 논문 실험 기준이에요. 우리는 AI 검색 가시성을 재는 TRAIL Search를 운영하는 회사라는 이해관계가 있어요. 그래서 마지막에 우리 제품이 세 정의 중 무엇을 재고 무엇을 재지 않는지를 함께 밝혀요.

세 논문은 각각 따로 해설했어요. 노출 지표와 9가지 기법은 GEO 원전 논문 해설에서, Shapley 값으로 출처 기여를 나누는 방법은 RAG 출처 귀속 해설에서 자세히 다뤘어요. 이 글은 개별 논문의 요약을 반복하지 않고, 세 정의를 나란히 놓았을 때 보이는 것에 집중해요.

생성형 검색 가시성 지표의 세 가지 정의

생성형 검색 가시성 지표는 크게 노출, 기여, 안정성 세 정의로 나뉘어요. 세 정의는 같은 대상을 다른 단위로 재요. 노출은 하나의 답변 안에서 출처가 차지한 몫을, 기여는 답이 만들어지는 과정에서 문서가 한 역할을, 안정성은 여러 번의 답변 사이에서 결과가 유지되는 정도를 봐요. 어느 하나만 보고 "보였다"고 말하면 나머지 두 질문은 답하지 않은 채 남아요.

표 1. AI 답변 가시성의 세 가지 정의와 각 정의가 혼자서는 답하지 못하는 질문이에요 ^[1][2][3].

노출: 답변 안에서 얼마나 많이, 얼마나 앞에

노출은 답변 안에서 출처가 차지한 분량과 위치로 가시성을 재는 정의예요. GEO 논문은 순위 대신 이 값을 생성형 엔진의 임프레션 지표로 제안했어요 ^[1]. 가장 단순한 형태는 출처를 인용한 문장들의 단어 수를 응답 전체 단어 수로 나눈 값이에요.

$S_c$는 출처 $c$를 인용한 문장들, $S_r$은 응답 $r$의 전체 문장, $|s|$는 문장 $s$의 단어 수예요. 원문에는 규칙이 하나 더 있어요. 한 문장을 여러 출처가 함께 인용하면 그 문장의 단어 수를 인용들끼리 똑같이 나눠요 ^[1].

단어 수만으로는 인용이 앞에 나오든 뒤에 나오든 똑같이 세요. 그래서 논문은 문장의 위치를 응답의 문장 수로 정규화해 지수적으로 감쇠시키는 위치 보정 단어 수를 함께 둬요 ^[1].

$\mathrm{pos}(s)$는 응답 안에서 문장 $s$의 위치이고, 지수 항의 분모 $|S|$는 응답의 문장 수예요. 앞에 놓인 인용일수록 더 쳐준다는 뜻이에요. 논문은 이 선택의 근거로 검색 결과 클릭률이 순위에 따라 멱법칙을 따른다는 선행 연구들을 들었어요. 모든 임프레션 지표는 한 응답 안 인용들의 합이 1이 되도록 정규화하고, 기법의 효과는 원래 응답 대비 수정 응답의 상대 개선율로 비교해요 ^[1]. 이 기준으로 통계 추가, 인용문 추가, 출처 인용 같은 상위 기법은 위치 보정 단어 수에서 30–40%의 상대 개선을 보였어요(논문 실험 기준) ^[1]. 코드와 벤치마크는 GEO 프로젝트 저장소에 공개돼 있어요 ^[5].

노출의 장점은 답변 텍스트만 있으면 계산할 수 있다는 점이에요. 모델 내부에 접근할 필요가 없어요. 한계도 같은 자리에서 나와요. 인용 표시가 붙은 문장의 길이와 위치만 볼 뿐, 그 출처가 실제로 답의 내용을 만들었는지는 묻지 않아요.

노출에는 상대성도 있어요. C-SEO Bench는 같은 최적화 기법을 채택하는 문서의 비율을 바꿔 가며 인용 순위의 이득을 쟀고, 채택률이 오를수록 앞선 채택자의 이득이 0에 가깝게 줄어드는 제로섬 구조를 보였어요 ^[4]. 한 출처의 노출이 오르면 같은 답변 안 다른 출처의 몫이 줄어들기 때문이에요. 벤치마크 데이터는 Hugging Face 데이터셋으로 공개돼 있어요 ^[6]. 자세한 결과는 C-SEO Bench 해설에서 볼 수 있어요.

기여: 인용된 출처가 답에 실제로 기여했나

기여는 그 출처가 답을 만드는 데 얼마나 기댔는지로 가시성을 재는 정의예요. Source Attribution in RAG 논문은 검색된 문서들을 협력 게임의 참가자로 보고, 문서 $j$의 몫을 Shapley 값으로 계산해요 ^[2].

$D$는 검색된 문서 전체, $S$는 $j$를 뺀 문서들의 부분집합이에요. 문서 $j$의 몫은 가능한 모든 부분집합에 $j$를 더했을 때 효용이 얼마나 늘어나는지의 가중 평균이에요. 효용은 질문 $Q$와 문서 부분집합 $S$만 줬을 때 모델이 원래의 전체 문맥 답변 $R$을 생성할 로그가능도로 정의해요 ^[2].

특정 문서 묶음이 있을 때 원래 답이 더 그럴듯해질수록 그 묶음의 효용이 높아요. 노출이 "보였는가"를 잰다면 기여는 "기댔는가"를 재요.

이 정의는 이론적으로 깔끔하지만 실제 모델에서는 그대로 성립하지 않아요. Shapley 값은 똑같이 기여하는 참가자에게 같은 점수를 주는 대칭성 같은 공리를 만족하는데, 논문은 로그가능도 효용이 가법적이지 않아서 RAG 환경에서는 이런 공리가 대체로 성립하지 않는다고 적었어요 ^[2]. 실험에서도 그 틈이 드러났어요. 거의 같은 내용의 두 문서를 넣으면 앞에 놓인 쪽이 일관되게 더 높은 점수를 받았고, 순서를 바꾸면 점수도 따라 뒤집혔어요. 한 문서에서 사실을 끌어내 다른 문서로 답을 완성하는 다단계 추론 상황에서는, 직접 답을 담은 문서에 점수가 몰리고 종합에 필요한 문서가 과소평가됐어요(논문 실험 기준) ^[2].

비용 문제도 있어요. 효용을 한 번 평가할 때마다 모델을 호출해야 하고, 정확한 Shapley 값은 문서 부분집합 전부를 평가해야 해요. 논문은 이 때문에 Kernel SHAP, ContextCite 같은 근사법을 비교했고, 대리 선형 모델을 학습하는 두 방법이 정확한 Shapley 순위를 가장 잘 재현했어요 ^[2]. 또 효용이 모델의 토큰 확률로 정의되기 때문에, 이 값은 답변 텍스트만 보고는 계산할 수 없어요.

안정성: AI 검색 가시성을 한 번만 재면 안 되는 이유

AI 검색 가시성을 한 번만 재면 안 되는 이유는 같은 질문을 반복해도 인용 출처가 크게 바뀌기 때문이에요 ^[3]. 안정성은 같은 측정을 반복했을 때 결과가 얼마나 유지되는지로 가시성을 재는 정의예요. Don't Measure Once 논문은 두 관측의 인용 출처 집합이 얼마나 겹치는지를 Jaccard 유사도로 쟀어요 ^[3].

$A$와 $B$는 두 번의 실행에서 인용된 출처 집합이에요. 값이 1이면 두 번 모두 같은 출처를, 0이면 전혀 다른 출처를 인용했다는 뜻이에요.

결과는 검색 엔진에 익숙한 감각과 거리가 멀어요. 스위스 독일어권 4개 업종에서 업종당 8개 질문을 ChatGPT, Gemini, Google AI Mode, Perplexity에 넣었을 때, 24시간 안에 반복한 실행끼리의 인용 출처 Jaccard는 업종별 평균 0.32–0.43이었어요. 날짜를 바꿔 비교한 일간 값 0.34–0.42와 같은 범위예요 ^[3]. 흔들림의 대부분이 시간에 따른 변화보다 모델의 확률성에서 온다는 뜻이에요. 브랜드 단위로 보면 일간 Jaccard가 0.45–0.59로 출처 단위보다 높아서, 개별 URL보다 브랜드 등장 여부가 더 안정적인 지표였어요 ^[3].

반복은 분산을 줄여요. 브랜드별 검출률의 표준오차는 2회 반복에서 0.246이었고, 7회에서 0.081로 0.10 아래로 내려갔어요 ^[3]. 엔진마다 인용 집중도도 달라서, 출처 인용의 지니계수 평균은 0.715였고 Google AI Mode가 0.782로 가장 집중적, Perplexity가 0.671로 가장 고르게 분산됐어요 ^[3]. 연구진은 그래서 엔진별로 기준선을 따로 두라고 권했어요.

안정성은 값의 크기를 말하지 않아요. 노출이 0.3인지 0.1인지, 기여가 큰지 작은지는 안정성 지표가 답하지 않아요. 대신 다른 두 정의로 잰 값이 다음 측정에서도 살아남을지를 알려 줘요.

GEO 성과는 어떤 지표로 봐야 하나: 세 정의를 겹쳐 읽기

GEO 성과는 노출·기여·안정성 중 어느 정의로 잰 지표인지 밝히고, 세 정의를 겹쳐서 읽어야 해요. 세 정의를 함께 놓으면, 하나의 가시성 숫자가 무엇을 숨길 수 있는지가 분명해져요. 노출이 높은데 기여가 낮은 출처가 있을 수 있어요. 답변 앞쪽에 긴 인용 문장으로 표시됐지만, 그 문서를 빼도 답이 거의 바뀌지 않는 경우예요. 반대로 기여가 큰데 노출이 작은 출처도 있어요. 다단계 추론에서 답의 재료를 대 준 문서가 인용 표시는 짧게 받는 경우예요. 그리고 어느 쪽이든 한 번만 재면, 다음 측정에서 인용 출처의 절반 넘게가 바뀔 수 있어요.

표 2. 세 정의를 겹쳤을 때 나타나는 대표적인 조합과 읽는 법이에요. 각 정의의 성질은 세 논문을 기준으로 정리했어요 ^[1][2][3].

세 정의는 계산에 필요한 접근 수준도 달라요. 노출과 안정성은 답변 텍스트와 인용 목록만 있으면 바깥에서 잴 수 있어요. 기여는 모델의 토큰 확률이 필요해서, 내부에 접근할 수 없는 상용 엔진에서는 같은 방식으로 계산할 수 없어요. 그래서 실무 리포트의 "가시성"은 대부분 노출 계열 값이고, 그 사실 자체를 리포트가 밝혀야 해요.

TRAIL Search는 측정할 수 있는 것부터 나눠요

TRAIL Search는 세 정의 중 바깥에서 잴 수 있는 것부터 정직하게 나눠서 기록해요. 답변 안의 언급, 인용, 점유율은 엔진별로 따로 기록하고 엔진을 합친 값은 그 뒤에 보여 줘요. 반복 횟수에 따라 각 칸을 예비 추정(3회 미만), 중간 신뢰(3–6회), 고신뢰(7회 이상)로 표시해서, 안정성을 값보다 먼저 보이게 해요. 이 구간은 앞에서 본 Don't Measure Once 논문 실험의 표준오차 수치를 기준으로 삼은 우리 규칙이에요 ^[3]. 측정하지 못한 칸은 0이 아닌 측정 불가로 남겨요.

두 번째 정의인 출처의 실제 기여는 TRAIL Search가 지금 재는 값에 들어 있지 않아요. 우리 리포트의 가시성은 노출 계열 값이고, 안정성 라벨이 그 값의 신뢰 수준을 알려 주는 구조예요. 측정 불가와 0을 왜 나눠야 하는지는 AI 가시성 리포트의 0과 측정 불가를 구분하는 법에서 따로 정리했어요.

한계

세 정의는 각자의 실험 조건 안에서 나왔어요. GEO 논문의 노출 지표는 연구진이 구성한 생성형 엔진 설정과 GEO-bench 질의에서 검증됐고, 논문 스스로 엔진이 진화하면 기법의 효과도 바뀔 수 있고 블랙박스 접근이라 인과가 완전히 규명되지 않는다고 밝혔어요 ^[1]. 출처 귀속 논문은 LLaMA-3.2-8B, Mistral-7B, Qwen-3B 같은 공개 모델과 BioASQ, Natural Questions, 직접 만든 가상 시나리오에서 실험했어요 ^[2]. 이 결과가 상용 생성형 검색 엔진의 실제 동작을 그대로 설명한다고 볼 근거는 없어요.

Don't Measure Once의 수치는 스위스 서버에서 수집한 스위스 독일어권 4개 업종, 2026년 1–3월 데이터예요 ^[3]. 한국어 질문이나 국내 검색 표면에서 같은 변동 폭이 나오는지는 이 논문이 답하지 않아요. C-SEO Bench도 영어 콘텐츠와 두 태스크에 한정된 벤치마크예요 ^[4].

이 글은 세 정의를 나란히 놓는 정리이고, 어느 정의가 옳다고 판정하지 않아요. 세 값은 서로 다른 질문에 답해요. 그래서 리포트가 "가시성"이라고 쓸 때는 그게 어느 정의로 잰 값인지, 몇 번 잰 값인지를 함께 적어야 읽을 수 있어요.