AI 검색 노출만 늘리면 될까요? 우리가 측정 질문을 바꾼 이유

AI 검색에서 노출(가시성)은 셀 수 있지만, 노출이 늘었다는 것과 브랜드가 가진 정확한 정보가 답변에 실제로 들어갔다는 것은 다른 사실이에요. 이 글은 논문 리뷰가 아니라 우리 이야기예요. AI 검색 가시성을 재는 엔진을 만들고 관련 논문을 읽는 동안 계속 같은 질문으로 돌아왔고, 그 질문이 지금 진행 중인 연구의 출발점이 됐어요.

이 글의 근거 범위를 밝혀 둘게요. 수치는 모두 공개 자료인 논문 원문에서 확인해 가져왔고, 각 수치에 "논문 실험 기준"임을 표시했어요 ^[1][2][3][4]. 링크와 수치는 2026년 10월 기준으로 원문과 다시 대조했어요. 제품 이야기는 우리가 직접 운영하는 TRAIL Search 에 이미 구현돼 있는 측정 규칙만 적었어요. 우리는 AI 검색 측정 제품을 운영하는 회사라서 "측정을 더 정교하게 해야 한다"는 결론에 이해관계가 있어요. 우리 연구의 세부와 결과는 학회 심사가 진행 중이라 이 글에 담지 않았어요.

AI 검색 가시성 측정을 만들며 세 가지에 먼저 부딪혔어요

같은 질문을 여러 AI 엔진에 던지고, 답변에서 브랜드 언급과 인용을 뽑고, 점유율을 계산하는 일은 생각보다 함정이 많았어요. 숫자가 나오는 것과 그 숫자를 믿을 수 있는 것 사이에 규칙이 여럿 필요했어요.

첫째, 같은 질문을 같은 날 다시 돌려도 인용되는 출처가 크게 바뀌어요. 이 변동을 따로 잰 Don't Measure Once 연구는 4개 AI 검색엔진과 4개 캠페인을 45–46일 관측했고, 같은 날 최대 10회 연속 재실행한 출처 집합의 겹침(Jaccard)이 0.32–0.43이었다고 보고했어요(논문 실험 기준) ^[1]. 하루 간격 겹침(0.34–0.42)과 거의 같은 범위라서, 저자들은 불안정성의 상당 부분이 시간이 지나며 생기는 변화보다 모델 생성 자체의 확률성에서 온다고 해석했어요. 같은 논문에서 브랜드 등장률 추정의 표준오차는 2회 반복에서 0.246이었고, 7회 반복에서야 0.10 아래로 내려갔어요. 한 번 잰 숫자로는 아무것도 단정할 수 없다는 뜻이에요.

둘째, 질문에 브랜드 이름이 들어가면 점유율이 부풀려져요. "A 브랜드 어때?"라고 물으면 답변에 A 가 나오는 것은 당연하고, 이런 질문이 섞이면 실제 경쟁 상황과 다른 점유율이 나와요. 그래서 이런 질문은 점유율 분모에서 빼야 했어요.

셋째, 측정을 못 한 것과 0이 나온 것은 달라요. 엔진 응답을 받지 못한 칸과 브랜드가 한 번도 나오지 않은 칸을 같은 0으로 두면, 리포트가 사실과 다른 이야기를 해요.

표 1. 측정 엔진을 만들며 부딪힌 문제와 TRAIL Search 에 구현한 대응. 신뢰 배지 기준은 Don't Measure Once 의 반복 횟수 분석을 참고했어요 ^[1].

이런 규칙을 하나씩 세우면서 숫자는 매일 나왔어요. 그런데 만들수록 질문 하나가 남았어요. 인용 순위가 오르면, 고객이 받는 답은 정말 더 나아지는가 하는 질문이에요.

현장에서 들은 GEO 이야기는 맞는 이야기예요

GEO·AEO 를 다루는 세미나를 여러 곳 찾아가 들었어요. 이야기는 대체로 비슷했어요. 콘텐츠의 E-E-A-T 와 권위를 쌓고, AI 가 자주 참고하는 플랫폼에 글을 쓰고, 홈페이지의 기술적 세팅을 잘 갖추고, 이를 꾸준히 하면 노출된다는 거예요. 결과는 매일 혹은 매주 확인하고, 고객 여정에 맞춰 프롬프트를 짜서 추적하라는 조언도 함께 나왔어요.

다 맞는 이야기예요. 실제로 필요한 일들이고, 우리도 TRAIL Search 로 고객 여정에 맞춘 질문을 설계하고 정기적으로 추적해요. 다만 듣는 내내 한 가지가 궁금했어요. 이 일들이 실제로 무엇을 바꿨는지는 어떻게 확인할까요. 어떤 변화가 노출을 만들었고, 그 노출이 고객이 받는 답을 어떻게 바꿨는지에 대한 설명은 상대적으로 적었어요.

측정이 어렵다는 건 누구보다 잘 알아요. 같은 질문에도 AI 의 답은 매번 달라져요. 그래서 더욱, 무엇을 바꿨고 무엇을 쟀고 무엇이 관측됐는지를 함께 말할 수 있어야 한다고 생각했어요. 효과가 좋을 때도, 기대에 미치지 못할 때도 그 이유를 검토할 수 있어야 다음 결정이 나와요.

논문들은 노출 경쟁이 정해진 자리를 나눠 갖는 구조라는 것을 보여 줘요

연재에서 읽은 논문 세 편이 이 의문을 키웠어요. 세 편은 각기 다른 각도에서, 노출을 늘리는 경쟁이 사용자가 받는 답의 질과 자동으로 이어지지 않는다는 점을 보여 줘요.

표 2. 노출 경쟁의 구조를 보여 준 세 연구 ^[2][3][4].

GEO 원 논문은 모든 출처가 동시에 최적화되는 상황을 따로 실험했어요 ^[2]. 'Cite Sources' 기법에서 검색 5위 출처의 가시성은 115.1% 올랐지만, 1위 출처는 평균 30.3% 줄었어요. 저자들은 이를 작은 제작자에게 기회가 열리는 결과로 해석했는데, 같은 표는 누군가 올라간 만큼 누군가는 내려간다는 사실도 함께 보여 줘요. 이 논문의 해설은 GEO 원 논문 리뷰에 정리해 두었어요.

C-SEO Bench는 이 구조를 정면으로 다뤘어요 ^[3]. 같은 대화형 검색 최적화 기법을 쓰는 참여자 비율을 늘려 가며 측정했더니, 1인당 평균 이득이 꾸준히 줄었어요. 저자들은 이를 "혼잡하고 제로섬인 게임"이라 부르고, 얼리어답터의 이득도 전원이 채택하면 0에 수렴한다고 적었어요. 같은 연구는 문서를 LLM 컨텍스트의 첫 자리에 두는 효과가 본문을 고쳐 쓰는 기법보다 훨씬 컸다는 점도 보고했어요. Retail 도메인에서 첫 자리 배치는 인용 순위를 평균 2.77단계 올렸고, 가장 나은 본문 재작성 기법은 0.36단계에 그쳤어요(논문 실험 기준). 벤치마크 코드와 데이터는 GitHub와 Hugging Face에 공개돼 있어요. 자세한 내용은 C-SEO Bench 리뷰에 있어요.

RAG 출처 귀속 연구는 "인용됐다"와 "그 문서가 실제로 답을 만들었다"가 다르다는 점을 보여 줬어요 ^[4]. 답변이 어느 문서에 기댔는지를 배분해 보니, 내용이 같은 중복 문서 중에서는 앞에 놓인 문서가 일관되게 더 높은 점수를 받았고, 순서를 바꾸면 편향도 따라 뒤집혔어요. 귀속 점수 하나로는 부족하고 문서 사이의 관계까지 해석해야 한다는 것이 저자들의 결론이에요. 이 내용은 RAG 출처 귀속 리뷰에서 다뤘어요.

세 편을 겹쳐 보면 질문 하나가 남아요. 모두가 같은 신호를 따라 최적화하면 누군가 올라간 만큼 누군가는 내려가요. 그 경쟁 끝에 사용자가 받는 답은 무엇이 달라지는가, 브랜드는 비용을 썼는데 사용자는 더 나은 답을 받았는가 하는 질문이에요.

그래서 측정 질문을 '전달됐는가'로 넓혔어요

우리는 "어떻게 더 잘 인용될까"라는 질문 옆에 "브랜드가 가진 정확한 정보가 답변에 실제로 닿았는가"라는 질문을 세웠어요. 보였다와 전달됐다를 구분하는 거예요. 앞의 것은 언급과 인용을 세면 알 수 있지만, 뒤의 것은 답변의 내용이 브랜드의 사실과 맞는지, 그 근거를 출처까지 따라가 확인할 수 있는지를 봐야 알 수 있어요.

이 생각은 이미 제품에도 들어가 있어요. TRAIL Search 의 AI 초안은 출처 없는 숫자를 막고, 브랜드가 가진 근거만 쓰도록 만들었어요. 가시성을 약속하는 대신 검증 가능한 정보가 들어간 초안을 만드는 쪽을 택한 거예요. 앞에서 적은 측정 무결성 규칙들도 같은 원칙이에요. 무엇이 관측됐고 무엇은 관측하지 못했는지를 구분해서 보여 줘야, 그다음에 무엇이 전달됐는지를 물을 수 있어요.

연구는 학회 심사 중이라 효과를 숫자로 말하지 않아요

이 방향을 자체 방법론으로 정리했고, 가설을 세우고 실험을 설계하고 다시 고치는 데 꽤 긴 시간을 썼어요. 그 결과로 정보검색 분야 국제 학회 투고를 진행하고 있어요. 우리 안에서 충분히 검증한 내용을 외부 심사로 평가받고, 학술적으로 더 많은 사람과 나누기 위해서예요.

심사가 끝나기 전에는 효과를 숫자로 말하지 않으려 해요. 측정을 업으로 하는 사람이 자기 방법의 효과를 검증 전에 말하면, 우리가 궁금해했던 "무엇이 무엇을 바꿨는가"를 설명하지 않는 이야기와 다를 게 없기 때문이에요. 결과가 나오면 이 블로그에 같은 방식으로 보고할게요. 어떤 가설을 세웠고, 어떻게 실험했고, 무엇이 지지되고 무엇이 기각됐는지까지 적을 거예요. 기각된 가설도 그대로 쓸 생각이에요. 틀린 걸 틀렸다고 적는 것까지가 검증이라고 믿어요.

실무자가 지금 확인할 수 있는 것

연구 결과를 기다리지 않고도 지금 점검할 수 있는 것이 있어요. 아래 항목은 모두 공개 논문의 결과나 이미 운영 중인 측정 규칙에서 나왔어요.

1. 한 번 잰 숫자로 판단하지 않아요. Don't Measure Once 저자들은 브랜드 가시성 모니터링에 프롬프트당 하루 최소 7회 실행, 그리고 2–4주 롤링 윈도우를 권했어요(논문 실험 기준) ^[1]. 반복 횟수가 적은 측정에는 예비 추정이라는 표시를 붙여요.
2. 브랜드명이 든 질문을 점유율에서 빼요. 경쟁 상황을 보려면 브랜드를 모르는 사용자가 던질 질문으로 분모를 만들어야 해요.
3. 측정 불가와 0을 다른 칸에 둬요. 리포트에서 두 상태가 섞이면 개선 과제의 우선순위가 틀어져요.
4. 브랜드 단위와 출처 단위를 나눠 봐요. 같은 연구에서 하루 간격 브랜드 언급의 겹침(Jaccard 0.45–0.59)은 출처 겹침(0.34–0.42)보다 높았어요(논문 실험 기준) ^[1]. 저자들은 캠페인 KPI 로는 브랜드 단위 집계가 더 믿을 만하고, 개별 URL 추적은 어떤 콘텐츠가 답변 포함을 이끄는지 진단하는 용도라고 정리했어요.
5. 언급 여부와 함께 답변 내용을 읽어요. 답변이 우리 브랜드를 언급했는지에 더해, 가격·사양 같은 사실을 정확히 전했는지, 인용된 페이지가 그 문장을 실제로 뒷받침하는지 확인해요.
6. 검색 단계 순위를 같이 봐요. C-SEO Bench 에서 문서를 컨텍스트 첫 자리에 두는 효과가 본문 재작성 기법보다 컸어요 ^[3]. 본문 수사만 다듬기 전에 검색에 잘 잡히는지부터 점검해요.

한계

이 글이 말하지 못하는 범위도 적어 둘게요.

• 우리 연구의 내용과 결과는 담지 않았어요. 심사가 진행 중이라 가설·방법·실험 설계·결과를 공개하지 않았어요. 이 글에 나온 수치는 모두 공개된 다른 연구의 값이에요.
• 논문 수치는 각 논문의 실험 조건에서 나온 값이에요. 특정 엔진·언어·캠페인에서 측정된 결과라서 한국어 질의나 다른 업종에 그대로 옮길 수 없어요. 우리 고객의 성과를 뜻하지도 않아요.
• 세미나 이야기는 우리가 직접 들은 경험이에요. 업계 전체를 조사한 결과가 아니고, 특정 행사나 업체를 가리키지도 않아요.
• 제품 규칙은 검증의 끝이 아니에요. 신뢰 배지와 분모 규칙은 측정을 덜 틀리게 만드는 장치이고, 정보가 답변에 전달됐는지를 직접 재는 도구는 아직 연구 단계예요.

정리

AI 검색에서 노출은 셀 수 있고, 세는 일 자체에도 반복 측정과 분모 규칙 같은 규율이 필요해요. 그런데 공개 연구들은 노출 경쟁이 정해진 자리를 나눠 갖는 구조이고, 인용과 기여가 다르다는 것을 보여 줘요. 그래서 우리는 "얼마나 보였나"에 더해 "브랜드의 정확한 정보가 답변에 닿았나"를 묻기 시작했고, 이 질문을 연구로 검증받는 중이에요. 여러분의 AI 검색 리포트는 '보였다'와 '전달됐다'를 구분하고 있는지 한 번 점검해 보기를 권해요.