AI 추천에 우리 가게가 안 나오는 이유: 별점보다 문서화

AI 추천 목록에 들어가는 문턱은 별점이 아닌 문서화가 정하고, 별점은 이미 들어간 업체들 사이의 순위만 정해요. 발리 두 상권의 식당·카페·바 4,776곳을 전수 조사한 뒤 네 개의 AI 시스템에 추천을 물은 감사 연구의 결론이에요 ^[1]. 자사 웹사이트, 리뷰 수, 가격 표기, 웹 언급이 있는 업체가 추천 목록에 들었고, 별점은 그 단계에서 통계적으로 아무 연관이 없었어요. 그리고 전체의 85.6%는 7일 동안 어느 시스템에서도 한 번도 추천되지 않았어요.

이 글은 arXiv에 공개된 논문 원문 v1을 읽고 본문의 수치를 표와 그림에 대조해 정리했어요. 모든 수치는 논문 실험 기준이고, 우리는 이 실험을 재현하지 않았어요. 논문은 연구비를 댄 회사가 외식·숙박업체에 리뷰 관리와 AI 가시성 도구를 파는 회사라는 이해관계를 스스로 밝히고, 가설과 분석 계획을 수집 전에 사전 등록했다고 적어요 ^[1]. 우리도 AI 검색 진단 도구를 운영하는 회사라서, 이 글의 마지막 섹션에서 우리 제품과 연결되는 부분은 따로 표시했어요.

AI 가시성 측정에서 부재는 왜 전수 조사 없이 측정 불가일까

모집단을 모르면 "추천되지 않았다"는 사실은 측정 대상이 되지 못해요. 보통의 AI 가시성 감사는 브랜드 목록이나 표본을 먼저 정하고 그중 무엇이 답변에 나왔는지를 세요. 이 방식으로는 상대적인 눈에 띔은 비교할 수 있어도, 시장 전체에서 몇 퍼센트가 빠졌는지는 말할 수 없어요. 안 나온 것이 알고리즘 때문인지, 애초에 표본에 없어서인지 구분이 안 되기 때문이에요.

이 논문은 그 분모를 직접 만들었어요 ^[1]. 발리의 greater Canggu와 greater Ubud를 고정된 지리 경계로 정하고, Google Places Nearby Search로 식당·카페·바·커피숍·베이커리 다섯 유형을 전부 열거했어요. 한 번의 요청이 최대 20개만 돌려주기 때문에, 결과가 정확히 20개로 꽉 찬 격자 칸은 반지름을 절반으로 줄인 네 칸으로 다시 쪼갰고, 130m까지 내려갔어요. 이렇게 해야 업체가 몰린 중심가에서 조용히 잘리는 누락을 막을 수 있어요. 격자를 완성하는 데 760회 요청이 들었어요.

그다음 AI가 부른 이름 중 격자에 없던 것을 텍스트 검색으로 보충했어요. 호텔 안 식당이나 코워킹 카페처럼 업종 분류가 특이한 곳들이에요. 약 220개 후보 이름을 조회했고, 대부분은 이미 격자 명부에 있던 업체로 확인됐어요. 최종 명부에 이 경로로 들어온 업체는 70곳이고, 명부 전체는 4,776곳이에요 ^[1]. 저자는 독립적인 열거인 Foursquare 공개 POI 데이터셋과 대조한 포획-재포획 분석으로 명부의 누락을 따로 점검했어요.

이 설계가 주는 것은 하나의 숫자예요. 추천되지 않은 업체의 비율, 즉 부재율이에요. 기존의 대규모 감사도 롱테일 브랜드의 48–52%가 한 번도 안 나온다고 보고했지만, 그 분모는 533개 브랜드로 큐레이션한 목록이었어요 ^[3]. 실제 시장을 전부 센 분모로 부재율을 낸 것은 이 연구가 처음이라고 저자는 적어요 ^[1].

실험 설정: 96개 질의, 4개 시스템, 2,208회 실행

질의는 실제 여행자가 할 법한 1인칭 서술형 요청이에요. 8개 페르소나에 페르소나마다 6개 템플릿, 두 지역을 곱해 96개 고유 질의를 만들었어요 ^[1]. 템플릿 6개는 같은 의도를 일부러 다르게 표현한 것이라서, 나중에 표현만 바뀌었을 때 추천이 얼마나 흔들리는지를 따로 잴 수 있어요.

표 1. 확증 수집 단계의 측정 설계 ^[1].

부재율을 주장하려면 "추출이 실패해서 안 보인 것"과 "진짜로 안 나온 것"을 갈라야 해요. 그래서 이 논문은 답변에서 업체 이름을 뽑는 추출기와 이름을 명부에 연결하는 매칭기를 따로 검증했어요 ^[1]. 별도 모델이 95개 실행을 독립적으로 라벨링하고 사람이 불일치를 판정한 결과, 언급 단위 정밀도 97.6%, 재현율 99.1%였어요. 매칭은 100건 감사에서 모집단 가중 정확도 약 98–99%였고, 유효 언급의 87.9%가 명부의 업체로 연결됐어요.

검증 과정에서 결론이 바뀐 사례도 그대로 보고했어요. 이름 매칭 오류를 고치자, 예비 분석에서 유의한 양의 효과(OR 1.70)로 나왔던 Foursquare 등재 변수가 무효과(OR 0.84)로 바뀌었어요 ^[1]. 매칭 오류가 하필 Foursquare 미등재 업체와 상관돼 있었기 때문이에요. 영업시간 표기 변수도 보충 조회 경로가 영업시간 필드를 빠뜨린 탓에 수집 경로를 대신 반영하는 것으로 드러나 해석에서 제외했어요.

85.6%는 한 번도 추천되지 않았어요

4,776곳 중 85.6%(4,087곳)가 2,208회 실행 내내 어느 시스템에서도 한 번도 추천되지 않았어요 ^[1]. 2,208회 실행이 만든 추천은 모두 9,791건이었지만, 그 추천이 닿은 업체는 689곳뿐이었어요. 영업 중이 확인된 4,431곳으로 좁혀도 85.8%, 구글 리뷰가 50개 이상인 기성 업체 2,173곳으로 좁혀도 72.6%가 빠졌어요.

그림 1. 세 분모별 부재율. 파란 막대는 한 번도 언급되지 않은 비율(84.5%·84.8%·70.9%), 주황 막대는 한 번도 추천되지 않은 비율(85.6%·85.8%·72.6%)이에요. 왼쪽부터 전체 4,776곳, 영업 중 4,431곳, 리뷰 50개 이상 2,173곳이에요 ^[1].

저자는 이 값을 하한이라고 적어요 ^[1]. 명부에서 빠진 업체는 사실상 추천될 일이 없는 업체라서, 명부를 넓힐수록 부재율은 올라가요. 가장 넓은 틀에서는 92%를 넘어요. 리뷰 50개 이상 기준이 중요한 이유는, 이 분모에는 "원래 존재감이 거의 없는 영세 업체"라는 반론을 걸기 어렵기 때문이에요. 자리를 잡은 업체 넷 중 셋 가까이가 AI 추천에서 보이지 않았다는 뜻이에요.

보이는 쪽은 승자독식이 아니었어요. 가장 많이 추천된 업체 한 곳의 몫이 전체 추천의 1.9%였고, 추천된 업체들 사이의 Gini 계수는 0.668이었어요 ^[1]. 상위 5곳이 7.7%, 상위 10곳이 13.8%, 상위 25곳이 28.5%를 가져가는 긴 꼬리 구조예요. 저자는 이 모습을 "가혹한 진입 필터 뒤의 비교적 열린 경쟁"으로 요약해요. 추천되는 것 자체가 희소하고, 일단 들어간 뒤에는 소수가 답변을 독점하지 않는다는 말이에요.

별점이 높으면 AI 추천 목록에 유리한가요: 진입과 순위의 두 문턱

별점은 AI 추천 목록에 드는 단계에서는 유리하지 않았고, 이미 든 업체들 사이의 순위에서만 유리했어요 ^[1]. 추천을 진입과 순위의 두 단계로 나누면 두 단계를 움직이는 변수가 서로 다르다는 것이 이 논문의 핵심 발견이에요. 업체가 1위로 추천될 확률을 두 항으로 나누면 이렇게 돼요.

$E=1$은 업체가 추천 목록에 든 사건, $R=1$은 그 목록에서 맨 처음 불린 사건이에요. 오른쪽 뒤의 항이 진입 문턱, 앞의 항이 순위 문턱이에요. 논문은 두 항을 서로 다른 모형으로 따로 추정했어요.

진입 문턱은 사전 등록한 이항 GLM으로 추정했어요 ^[1]. 분석 단위는 업체 × 페르소나 × 엔진이고, 엔진과 페르소나 고정효과를 넣고 표준오차는 업체 단위로 군집 보정했어요. 아홉 개 가설 변수에는 Benjamini-Hochberg 보정을 걸었어요. 노출 기회 1,407,600건, 성공 9,214건, 업체 1,275곳이 들어갔어요. 이 1,275곳은 언급이 한 번이라도 있는 749곳과 지역·별점·리뷰 수 구간으로 층화해 뽑은 대조군 620곳에서 운영 상태와 별점 유무 조건으로 걸러낸 사례-대조 표본이에요.

$x_v$는 업체 $v$의 문서화·평판 변수, ${\alpha }_e$와 ${\gamma }_p$는 엔진과 페르소나의 고정효과예요. 연속 변수는 표준화했기 때문에, 오즈비(OR)는 해당 변수가 표준편차 하나만큼 커질 때 추천될 오즈가 몇 배가 되는지를 뜻해요.

순위 문턱은 추천된 업체가 두 곳 이상인 1,855회 실행만 골라, 실행마다의 후보 집합 안에서 누가 첫 번째로 불렸는지를 조건부 로짓으로 추정했어요 ^[1]. 후보는 모두 8,450건이었고, 이 모형에는 사전 등록한 다중비교 보정이 없어서 p값은 보정 전 값이에요.

$C_r$는 실행 $r$에서 추천된 업체들의 집합이에요. 같은 답변 안의 후보끼리만 비교하기 때문에, 엔진이나 질의의 차이는 자동으로 상쇄돼요.

표 2. 같은 변수의 진입 문턱(논문 Table 1)과 순위 문턱(논문 Table 3) 오즈비. 수집 경로 오염으로 해석에서 제외된 영업시간 표기 변수는 뺐어요 ^[1].

그림 2. 두 문턱 구조. 각 변수마다 위 점(파랑)이 진입 문턱, 아래 점(주황)이 1위 문턱의 오즈비예요. 빈 점은 유의하지 않은 값이에요. 강조된 두 행에서 웹 언급은 유의에서 무의미로, 별점은 무의미에서 유의로 방향이 바뀌어요 ^[1].

표를 읽으면 그림이 선명해요. 진입에서 유의한 네 변수는 모두 "이 업체에 대해 기록된 것이 얼마나 많은가"를 재요. 웹사이트가 있는가, 리뷰가 쌓였는가, 가격이 적혀 있는가, 다른 웹 문서가 이 업체를 언급하는가예요. 별점은 리뷰 수와 문서화를 통제하면 진입과 연관이 없었어요. 저자의 표현으로는 "탁월하기 전에 먼저 문서화되라"예요 ^[1]. 별점 4.9의 카페라도 기록이 얇으면, 이 시스템들에게는 없는 업체와 구별되지 않아요.

순위에서는 그림이 뒤집혀요. 추천된 업체들끼리 비교하면 별점이 유의해지고(OR 1.17), 진입에서 무의미했던 리뷰·블로그 도메인 수도 유의해져요(OR 1.23). 반대로 웹 언급 수는 순위에서 효과가 사라져요. 저자는 이를 검색 후 생성 구조로 해석해요 ^[1]. 진입은 상류에서, 즉 모델이 가져오는 리스티클·리뷰 모음·자사 사이트에 업체가 존재하는가에서 걸러지고, 순위는 하류에서, 가져온 후보로 답을 구성하며 별점 같은 품질 단서를 볼 때 정해진다는 해석이에요.

이 구조는 선행 연구와의 충돌도 풀어요. 열두 개 LLM에 호텔 속성을 무작위로 바꿔 보여 준 호텔 컨조인트 실험은 높은 평점이 선택 확률을 31.6%p 올린다고 보고했어요 ^[2]. 그 설계는 모든 후보를 처음부터 모델 앞에 놓기 때문에 순위 문턱만 볼 수 있어요. 이 논문도 순위 문턱에서는 별점 효과를 확인했으니, 두 연구는 같은 파이프라인의 서로 다른 단계를 잰 셈이에요.

AI 추천의 실패 모드는 지어내기보다 낡음이에요

AI가 없는 가게를 지어내는 일은 드물었고, 실무에서 문제가 된 것은 문 닫은 가게를 계속 추천하는 일이었어요 ^[1]. 매칭 전 단계에서 명부와 연결되지 않은 언급은 2,452건(유효 언급의 19.7%)이었어요. 저자는 이 언급을 이름마다 웹으로 확인해 분류했어요.

표 3. 매칭되지 않은 언급의 분류. 비율은 확증 수집 단계 기준이에요 ^[1].

지어내기는 12,000건이 넘는 유효 언급 중 이름 하나뿐이었어요. 반면 폐업 업체 14곳이 93회 추천됐어요. 저자는 이 결과를 "AI가 식당을 지어내는 위험보다, 더는 없는 식당을 기억하는 위험"으로 요약해요 ^[1]. 폐업한 카페의 리뷰, 리스티클 항목, 블로그 언급은 문을 닫은 뒤에도 남아요. 그리고 그 흔적이 바로 진입 문턱에서 보상받는 문서화 신호예요. 가시성을 만든 기록이 폐업 뒤에도 가시성을 유지시키는 셈이에요. 표본 기반 감사라면 이 93건의 대부분을 성공으로 셌을 거예요. 폐업 여부를 독립적으로 확인할 수 있었던 것도 전수 명부 덕분이에요.

ChatGPT와 Perplexity의 맛집 추천은 왜 매번 다른가요

네 엔진 모두 같은 질의를 다시 받아도 추천 목록을 크게 바꿨고, 저자는 그 원인을 시간에 따른 변화보다 모델의 확률적 표집으로 봐요 ^[1]. 반복 실행 사이의 상위 20곳 평균 Jaccard 유사도는 Gemini 0.45, Perplexity 0.40, OpenAI 0.29, Claude 0.22였어요. 뜻은 같고 표현만 바꾼 질의는 네 엔진 모두에서 그보다 낮았고, 특히 Perplexity(0.19 대 0.40)와 Gemini(0.30 대 0.45)에서 차이가 컸어요. 표현을 바꿨을 때의 변동이 단순 재실행의 변동보다 크다는 이 패턴은 상업용 RAG 추천의 표현 민감도 연구가 먼저 보고한 것과 같은 방향이에요 ^[4].

흥미로운 것은 시간이에요. 수집 2주 뒤 16개 질의를 네 엔진에 다시 돌린 144회 재검사에서, 기간을 넘어선 유사도(통합 Jaccard 0.375)가 같은 날 재실행 수준과 비슷했어요 ^[1]. 저자는 이 결과를 근거로 변동의 정체를 시간에 따른 표류보다 모델의 확률적 표집으로 봐요. 가시성은 업체에 붙은 지속적 성질이고, 그것을 흔들리는 통로로 관측하고 있다는 해석이에요.

엔진 사이의 불일치도 컸어요. 엔진별 상위 20곳 집합의 쌍별 Jaccard는 Perplexity와 OpenAI 사이의 0.33에서 OpenAI와 Claude 사이의 0.54까지였고, 네 엔진 모두의 상위 20에 든 업체는 8곳, 정확히 한 엔진에만 든 업체는 15곳이었어요 ^[1]. 저자는 여기서 실무 결론을 직접 끌어내요. 한 번 묻고 한 엔진만 보는 가시성 점검은 잡음을 재는 것이고, 의미 있는 측정에는 여러 엔진과 여러 표현에 걸친 반복이 필요하다는 거예요.

이 시스템들이 무엇을 읽었는지도 일부 공개됐어요. 실행에 붙은 근거 인용 26,993건이 986개 도메인에 걸쳐 있었고, 가장 많이 인용된 도메인은 큰 플랫폼 대신 한 업체의 자사 웹사이트(5.3%)였고, TripAdvisor(2.3%)보다 많았어요 ^[1]. 업체가 소유한 콘텐츠도 큰 플랫폼보다 더 많이 인용될 수 있다는 현장 사례예요. 다만 Gemini는 API가 근거 링크를 구글의 중계 주소로만 돌려줘서, 저자가 인용 제목에서 실제 도메인을 복원했다고 밝혀요.

이 연구의 한계

이 결과는 관찰 연구의 연관성이고, 인과 효과로 읽으면 안 돼요 ^[1]. 저자가 직접 드는 예가 웹사이트예요. 전문적으로 운영되는 업체는 웹사이트도 갖추고 디지털 흔적도 많이 쌓기 때문에, 리뷰 수와 웹 언급으로 규모를 통제해도 측정되지 않은 전문성이 웹사이트 효과에 섞였을 가능성이 남아요. 순위 문턱의 계수도 진입을 조건으로 한 값이라 선택 효과를 품을 수 있어요.

범위도 좁아요. 발리의 인접한 두 상권, 외식 업종, 영어 질의, 관광객과 원격 근무자의 수요 구성이에요 ^[1]. 언어와 지역이 바뀌면 결과가 달라진다는 선행 연구가 있고, 저자도 다른 구조의 시장에서 재현하기 전에는 일반화하지 말라고 적어요. 기간은 7일 수집과 2주 뒤 재검사가 전부라서, 모델 세대가 바뀐 뒤의 안정성은 측정되지 않았어요. 질의도 로컬 탐색형이라서, 정보형 질문이나 B2B 구매 질문으로 넓혀 읽을 근거는 이 논문에 없어요.

측정 경로의 한계도 있어요. 감사 대상은 소비자용 앱 대신 웹 검색 연결 API였고, 공급자 쪽 설정은 예고 없이 바뀔 수 있어요 ^[1]. Claude는 비용 때문에 실행당 검색을 2회로 제한했는데, Claude를 빼고 다시 추정해도 결론은 유지됐어요. 사전 등록한 가설 변수 중 리뷰 텍스트와 질의 의도의 유사도, 플랫폼 간 일관성, 소셜 존재감 세 개는 데이터를 구하지 못해 아예 검정하지 못했어요.

이해관계도 기억해야 해요. 연구비를 댄 회사가 바로 이 질문과 맞닿은 도구를 팔아요 ^[1]. 저자는 사전 등록, 분석 데이터 동결, 검증 실패의 공개, 그리고 상업적으로 불리한 무효과 결과(Foursquare 등재, 진입 단계의 별점)를 그대로 실은 점을 차단 장치로 제시해요. 우리는 이 실험을 재현하지 않았고, 한국어 질의와 국내 검색 표면에서 같은 구조가 나오는지는 확인된 바가 없어요.

AI 추천 목록에 들어가려면 무엇이 필요할까: AEO/GEO 실무

AI 추천 목록에 들어가려면 평판을 다듬기 전에 기록을 먼저 쌓아야 한다는 것이 이 논문의 가장 직접적인 함의예요 ^[1]. 자사 웹사이트를 갖추고, 플랫폼 프로필에 가격을 포함한 정보를 채우고, 리뷰 수와 제3자 언급을 늘리는 일이 진입 문턱을 움직이는 변수였어요. 저자의 문장을 빌리면, 문서화 흔적을 늘리지 않은 채 별점만 4.3에서 4.7로 올려서는 AI가 그 업체를 추천 목록에 올릴지 말지가 바뀌리라 기대하기 어려워요.

두 번째 함의는 측정 방식이에요. 진입과 순위의 예측 변수가 다르니, 둘을 한 점수로 합치면 어느 문턱에서 막혔는지가 지워져요. 웹 언급을 늘리는 일은 진입에 듣고, 리뷰·블로그 도메인을 넓히는 일은 순위에 들어요. 같은 "가시성 낮음"이라도 처방이 달라지는 거예요. 우리가 AI 검색 인용수가 0일 때 원인을 나눠 보는 진단 순서에서 결과 숫자보다 경로를 먼저 나누자고 쓴 것, 그리고 AI 가시성을 점수 하나로 보면 위험한 이유에서 엔진별 분해를 강조한 것과 같은 방향의 근거예요. 콘텐츠 쪽에서 인용 경쟁의 조건을 통제 실험으로 분리한 AI는 두 페이지 중 무엇을 인용할까도 가격 명시를 게이트키퍼로 꼽았는데, 이 논문의 진입 문턱에서도 가격 표기가 유의했어요.

TRAIL 관점에서 이 논문은 우리 진단의 한계를 정확히 짚어요. 우리는 0%와 측정하지 못한 칸을 같은 숫자로 다루지 않는다는 원칙을 써 왔는데, 이 논문은 그 원칙을 방법으로 밀어붙인 사례예요 ^[1]. 모집단을 모르면 부재는 애초에 측정 대상이 아니에요. TRAIL Search는 고객 카테고리의 전수 명부를 갖고 있지 않아요. 그래서 추적하는 프롬프트에서 브랜드가 나오지 않았다는 결과는 "그 카테고리에서 안 보인다"는 뜻으로 넓히지 않고, "그 프롬프트 집합에서 나오지 않았다"는 뜻까지만 적어요. 둘을 같은 칸에 적지 않는 것이 지금 우리가 할 수 있는 최소한이에요. 그리고 이 논문의 반복·표현 변동 결과는 한 번의 조회로 가시성을 판정하지 말아야 할 이유를 하나 더 보태요.