AI 챗봇의 제품 추천은 도구마다 다를까, API로 재면 화면과 같을까

AI 검색에 "어떤 휴대폰 카메라가 제일 좋아?"를 물으면, ChatGPT는 열에 여덟꼴로 "내 추천은 ..."이라며 하나를 집어 말했고, Google AI Overviews는 2%에서만 그렇게 했어요. 같은 질문을 API로 다시 재면, 소비자 화면에 뜬 출처와 평균 12.0%만 겹쳤어요 ^[1]. 이 연구는 네덜란드 Maastricht 대학 Law & Tech Lab과 Utrecht·Zurich 대학 연구진이 쓴 2026년 9월 arXiv 프리프린트예요. 동료 심사를 거치기 전 단계이고, 저자는 소비자 보호·규제 관점에서 EU의 디지털서비스법·불공정상거래지침을 염두에 두고 이 감사를 했어요 ^[1].

이 글은 arXiv 원문 v1의 본문과 표 1, 그림 1부터 그림 7까지를 2026년 10월에 읽고 수치를 하나씩 대조해 정리했어요 ^[1]. 저자가 공개했다고 밝힌 데이터와 코드는 직접 돌려 보지 않았어요. 저자와 이해관계는 없어요.

AI 챗봇은 제품을 얼마나 단정적으로 추천하나요

AI 가시성 연구는 주로 "모델이 어떤 브랜드를 말하는가"를 쟀어요. 이 연구는 한 단계 더 들어가서, 같은 제품 추천 질문에 도구마다 답을 어떻게 "표현"하는지 비교했어요 ^[1].

재료는 ConsumerQ예요. 실제 사용자가 LLM과 나눈 대화 모음(LMSYS-Chat-1M·WildChat-1M)에서 상업적 조언을 구하는 질문 2,528개를 골라 만든 데이터셋이에요. 이 중 지리 정보가 없는 일반적인 실물 제품 질문 117개를 추려(문장 중앙값 8단어) 감사에 썼어요 ^[1].

화면에서 추출한 응답 836개 중 700개가 제품이나 브랜드를 하나 이상 추천했고, 그 응답을 기준으로 표현 방식을 셌어요. 가장 큰 차이는 1인칭이었어요. 제품을 "내 추천"처럼 1인칭으로 말한 비율이 ChatGPT 79%, Gemini 7%, AI Overviews 2%였어요 ^[1].

특정 제품을 "최고"라고 못박은 비율은 ChatGPT 73%, Gemini 43%, AI Overviews 48%였어요. 반대로 되묻는 질문을 던진 비율은 Gemini 94%, AI Overviews 97%로 ChatGPT(82%)보다 높았어요. 제품을 카테고리별로 묶어 제시한 비율은 ChatGPT 71%, Gemini 65%, AI Overviews 44%였어요 ^[1].

그림 1. 같은 상업 질문도 도구마다 추천의 모양이 달랐어요. ChatGPT는 하나를 집어 "내 추천"이라 말하고, AI Overviews는 선택지를 나열하는 쪽에 가까웠어요 ^[1].

AI가 추천하는 제품은 다시 물으면 달라지나요

같은 질문을 세 번 반복했을 때 세 응답이 서로 달라지는 정도를 봤어요. 제품을 카테고리별로 묶는지(26–37%), 어떤 제품을 "최고"라 부르는지(27–40%)는 도구와 상관없이 꽤 자주 흔들렸어요. 반면 제품이나 브랜드를 하나라도 추천하는지는 11–13%에서만 바뀌어서, 추천을 하느냐 마느냐는 비교적 안정적이었어요 ^[1].

제품 자체는 더 많이 바뀌었어요. 세 번 반복한 추천 제품 집합의 Jaccard 겹침은 AI Overviews가 0.421로 가장 높았고 Gemini 0.287, ChatGPT 0.178이었어요. ChatGPT의 반복 간 겹침은 ChatGPT와 AI Overviews 사이의 겹침과 통계적으로 구분되지 않아서, 같은 도구를 다시 물었을 때의 차이가 서로 다른 도구를 쓴 차이만큼 컸어요 ^[1].

이름 표기가 제각각이라("Apple iPhone 14"와 "iPhone 14"를 다른 제품으로 셌어요) 이 겹침 수치는 실제보다 낮게 잡힌 하한값이에요. 그래도 한 번의 응답으로는 그 도구가 무엇을 추천하는지 특징짓기 어렵다는 게 분명했어요. 가시성을 한 번만 재면 못 믿는 이유는 AI 검색 가시성은 한 번 재면 못 믿어요에서 더 다뤘어요 ^[1].

같은 질문에 AI 도구마다 다른 출처를 보여주나요

추천과 함께 화면에 표시된 출처를 도메인·페이지 단위로 비교했어요. 출처를 하나라도 보여준 비율은 ChatGPT 78.6%, Gemini 79.0%였고, 출처가 있는 응답에서 보여준 도메인 수 중앙값은 ChatGPT·Gemini 3개, AI Overviews 5개였어요 ^[1].

표시된 출처는 도구마다 크게 달랐어요. 같은 질문·같은 수집 회차에서 ChatGPT와 Gemini가 공유한 도메인은 평균 5.4%였고, 비교의 76.7%는 겹치는 도메인이 하나도 없었어요. ChatGPT와 AI Overviews는 5.2%, Gemini와 AI Overviews는 9.8%로, 페이지 단위로 보면 겹침은 2.4–6.5%까지 더 낮았어요 ^[1].

그림 2. 같은 질문에 두 도구가 보여준 출처 도메인은 평균 한 자릿수 퍼센트만 겹쳤어요. 반복할수록 새 출처가 계속 나왔어요 ^[1].

반복할 때마다 새 출처가 나왔어요. 반복 사이의 도메인 겹침은 ChatGPT 26.0%, Gemini 29.8%, AI Overviews 45.9%였고, ChatGPT가 한 질문에 보여준 도메인은 1회 2.65개에서 3회 5.56개로 늘었어요. 자주 뜨는 도메인도 달라서, ChatGPT는 techradar·tomsguide, Gemini는 pcmag·reddit·youtube, AI Overviews는 reddit·youtube가 가장 많았어요. 도구별 출처 성향이 왜 달라지는지는 AI 가시성을 점수 하나로 보면 위험한 이유에서 더 설명했어요 ^[1].

출처의 종류 구성도 달랐어요. 편집·제품 리뷰 매체가 차지하는 비중은 ChatGPT 56.7%, Gemini 45.2%, AI Overviews 25.4%였고, AI Overviews는 한 응답 안에 세 종류 이상의 출처를 섞는 비율이 61.7%로 다른 두 도구(약 19%)보다 훨씬 높았어요 ^[1].

AI 가시성을 API로 측정하면 소비자 화면과 같나요

감사는 보통 공급사 API로 돌려요. 모델과 요청 조건을 고정할 수 있어 통제가 쉽기 때문이에요. 연구진은 같은 질문을 화면과 API에 거의 동시에(지연 중앙값 0.17초) 넣어, API가 소비자 화면을 재현하는지 직접 비교했어요 ^[1].

재현하지 못했어요. 같은 질문에 표시된 출처 도메인이 화면과 API 사이에 ChatGPT는 평균 12.0%, Gemini는 14.8%만 겹쳤어요. 도메인이 하나도 겹치지 않은 쌍이 ChatGPT 60.9%, Gemini 43.4%였고, 페이지 불일치의 대부분은 아예 다른 도메인이 들어온 데서 왔어요(합집합의 79.8%·82.5%) ^[1].

그림 3. API로 잰 출처는 소비자 화면과 거의 겹치지 않았어요. 검색이 돌려준 페이지와 최종 인용에 뜬 페이지도 크게 달랐어요 ^[1].

표시되는 출처의 "층"도 달랐어요. ChatGPT API에서 검색이 한 질문에 돌려준 페이지는 평균 37.38개였지만, 최종 답변 인용에 표시된 건 3.22개였어요. 돌려준 도메인의 27.5%, 페이지의 9.5%만 인용에 올라온 셈이에요. 수집과 인용이 어떻게 다른지는 AI 검색에서 수집과 인용은 어떻게 다른가에서 더 설명했어요 ^[1].

이 비교는 접근 방법만의 효과가 아니에요. 화면과 API는 모델 설정이나 다른 공급사 구성 요소도 다를 수 있어서, 연구진은 "두 조건이 서로를 재현하는가"만 측정했지 차이의 원인을 접근 방법으로 돌리지 않았어요. 측정 방법을 API와 화면 중 무엇으로 할지는 AI 가시성 측정, API와 실제 화면 중 무엇으로에서 더 다뤘어요 ^[1].

이 연구의 한계는 무엇인가요

저자가 밝힌 한계부터요. 감사는 지리 정보가 없는 일반적인 실물 제품 질문 117개에 한정돼서 상업 조언 전체를 대표하지 않아요. 질문은 대부분 영어인데 응답은 네덜란드에서 수집했고, 한 시점에서만 쟀어요. AI Overviews는 351번의 검색 중 134번에서만 내용을 복구할 수 있어서, 그 결과는 개요가 뜬 검색에만 적용돼요 ^[1].

널리 쓰이는 Claude 같은 다른 조수는 다루지 않았어요. 화면과 API의 차이도 원인까지는 밝히지 못해요. 한국어 질문이나 국내 AI 검색에서 같은 패턴이 나오는지는 별도 측정이 필요해요 ^[1].

TRAIL에게 주는 의미

TRAIL Search도 이 질문에 정면으로 걸려요. 우리는 ChatGPT·Gemini·Perplexity·Claude는 공급사 API로, Google AI 개요와 네이버 AI 브리핑은 소비자에게 뜨는 개요 블록을 직접 긁어서 재요. 이 논문의 지적대로, API로 잰 chat 엔진의 출처는 로그아웃한 소비자 화면과 다른 "층"이에요. 그래서 리포트에는 그 수치가 어느 층에서 나온 건지 함께 밝히는 게 맞아요.

반복에 대한 지적도 그대로 적용돼요. TRAIL Search는 같은 질문을 여러 번·정기적으로 재는 기능을 갖고 있지만 기본값은 한 회차예요. 이 연구가 보여주듯 한 번의 응답은 출처의 일부만 담으니, 추천 제품과 출처가 자주 바뀌는 커머스 질문일수록 반복 회차를 늘려 재는 게 측정의 정직성에 가까워요. 출처를 못 가져온 응답을 "언급 없음"으로 세지 않고 측정 불가로 따로 두는 장치도 같은 맥락이에요(언급 없음과 측정 불가를 어떻게 구분하나).

커머스 쪽에도 직접 와닿아요. "AI가 우리 제품을 추천했나"는 한 번의 예·아니오가 아니라, 도구별로 또 여러 번 재야 답이 나오는 질문이에요. 어제 다룬 AI 답변은 사람 이름을 얼마나 낼까가 "무엇을 세는 도구가 놓치는 것"이었다면, 이 논문은 "어느 화면·어느 층을 재는가"가 결과를 가른다는 이야기예요.

Lucas G. Uberti-Bona Marin 외, "'If I Had to Buy Just ONE: Galaxy S26 Ultra': Auditing AI-Generated Product Recommendations", arXiv 2609.18729 (2026).