AI 가시성 측정, API와 실제 화면(UI) 중 무엇으로 해야 하나

API로 잰 AI 가시성과 사용자가 ChatGPT 화면(UI)에서 보는 가시성은 같은 값을 조금 다르게 잰 결과가 아니라, 서로 다른 값이에요. 같은 질문 세트를 두 경로로 돌린 공개 분석에서 브랜드 가시성은 평균 41% 움직였고, 인용되는 출처의 종류까지 바뀌었어요 ^[1]. 그래서 측정 도구를 고를 때 먼저 물어야 할 것은 "얼마나 정확한가"보다 "무엇을 재고 있는가"예요. 경로가 다르면 런을 아무리 늘려도 그 차이는 줄지 않아요.

이 글의 근거 범위와 이해관계부터 밝혀 둘게요. API와 UI 비교 수치는 AI 가시성 측정 도구 회사 Peec AI 소속인 Malte Landwehr의 공개 분석 아티클에서 가져왔어요 ^[1]. 동료심사를 거친 연구가 아닌 벤더의 공개 관측이고, 경쟁 벤더의 자료라는 점도 함께 적어 둬요. 우리는 이 수치를 직접 재현하지 않았어요. 반복 측정에 관한 수치는 Don't Measure Once 논문 원문을 대조해 옮겼고, 모두 논문 실험 기준이에요 ^[2]. 두 경로의 구조 차이는 OpenAI와 Google의 공식 문서로 확인했어요 ^[3][4]. 우리는 AI 검색 가시성을 재는 TRAIL Search를 운영해요.

엔진을 합친 점수 하나가 왜 위험한지는 AI 가시성을 점수 하나로 보면 위험한 이유에서, 측정 불가 칸을 0으로 읽으면 안 되는 이유는 AI 가시성 리포트의 0과 측정 불가를 구분하는 법에서 다뤘어요. 이 글은 한 단계 더 앞, 숫자가 어떤 경로로 수집됐는가를 다뤄요.

ChatGPT API와 ChatGPT 화면에 같은 질문 세트를 돌린 결과

공개 분석의 설계는 단순해요. 555개 프롬프트를 ChatGPT UI와 API에 각각 47회씩, 8월 중 여러 날에 걸쳐 고르게 나눠 넣었어요. 합치면 52,000회가 넘는 대화예요. 두 경로 모두 같은 GPT-5.6 기반이었어요 ^[1].

결과는 노이즈 수준을 넘었어요. 브랜드별 가시성이 평균 41% 달라졌고, UI에서 가장 잘 보인 브랜드가 API에서는 상위 3위 안에도 들지 못했어요 ^[1]. 같은 모델, 같은 질문인데 순위표가 바뀐 거예요.

표 1. 같은 프롬프트 세트를 ChatGPT UI와 API로 돌렸을 때의 차이(Malte Landwehr 공개 분석 기준, 우리 미재현)예요 ^[1].

인용되는 답변 출처의 성격 자체가 바뀌어요

두 경로의 차이는 같은 출처의 비중이 조금 오르내리는 수준을 넘어, 어떤 종류의 페이지가 인용되는지를 바꿨어요. 페이지 유형으로 보면 리스티클은 25%에서 4%로, 비교 페이지는 18%에서 2%로 줄었고, 제품 페이지와 how-to 가이드를 합친 비중은 34%에서 63%로 늘었어요. 도메인 유형으로 보면 경쟁사 도메인 비중이 38%에서 52%로 커졌고, 사용자 생성 콘텐츠는 2%에서 0%, 에디토리얼은 5%에서 1%가 됐어요 ^[1].

그림 1. 페이지 유형별(리스티클·비교 페이지·제품 페이지와 how-to 가이드)과 도메인 유형별(경쟁사·에디토리얼·UGC) 인용 비중을 UI와 API로 나란히 놓은 막대 차트예요. 수치는 Malte Landwehr 공개 분석 기준이에요 ^[1].

꼬리 쪽 차이는 평균보다 더 불편해요. UI 기준 상위 25개 출처 도메인 중 두 개는 API 상위 100개 안에 아예 없었어요 ^[1]. 어떤 출처는 조금 덜 인용되는 수준을 넘어 한쪽 경로에서는 보이지 않는다는 뜻이에요. 답변 길이도 API 쪽이 31% 길었어요. 길이가 다르면 인용이 들어갈 자리의 수가 다르고, 자리가 다르면 점유율의 분모가 달라져요.

UI에서 리스티클 비중이 높다는 관찰은 ChatGPT는 왜 리스티클을 자주 인용할까에서 다룬 현상과 같은 방향이에요. 그 현상이 API 측정에서는 거의 사라진다는 점이 이 비교의 요점이에요.

답변 출처가 다른 이유: 두 경로는 구성이 달라요

API와 UI가 다른 결과를 내는 건 구조를 보면 자연스러워요. 분석 작성자는 두 경로가 서로 다른 검색 시스템과 설정을 쓴다는 점을 이유로 들었어요 ^[1]. 공식 문서로 확인할 수 있는 차이도 있어요.

API에서 웹 검색은 개발자가 요청에 넣는 도구예요. OpenAI의 웹 검색 도구 문서는 다른 도구와 마찬가지로 모델이 입력 프롬프트의 내용에 따라 웹을 검색할지 말지 스스로 고른다고 설명해요. 기본값인 tool_choice: "auto"에서는 검색이 선택 사항이고, 반드시 검색하게 하려면 required를 지정해야 해요 ^[3]. 측정하는 쪽이 이 설정을 어떻게 잡았느냐에 따라 같은 API 경로 안에서도 결과가 달라져요.

UI는 그 위에 제품 쪽 설정이 더 얹혀요. 시스템 프롬프트가 붙고, 질문에 따라 검색이 자동으로 발동하고, 계정·지역·이력에 따라 결과가 달라지고, 답변마다 모델이 다르게 배정될 수 있어요. 질문 하나를 여러 하위 검색으로 펼치는 방식도 경로마다 달라요. Google Search Central 문서는 AI Overviews와 AI Mode가 하위 주제와 데이터 소스에 걸쳐 여러 관련 검색을 내보내는 query fan-out 기법을 쓴다고 적고 있어요 ^[4]. 공개 분석에서 UI의 fan-out이 최대 20개, API는 최대 7개였다는 점은 인용 후보 풀의 크기부터 다르다는 신호예요 ^[1]. fan-out이 실제로 어떻게 생기는지는 쿼리 팬아웃 관찰 글에서 따로 다뤘어요.

UI 안에서도 검색이 일어날지는 질문마다 달라요. Don't Measure Once 연구는 웹 인터페이스에서 데이터를 수집했는데, ChatGPT는 특정 질문에서만 웹 검색을 발동해 실행의 57.8%가 인용 0개였어요 ^[2]. 인용 출처 단위의 지표는 검색이 실제로 일어난 실행에서만 계산할 수 있다는 뜻이에요. API에서 tool_choice를 어떻게 잡느냐가 이 비율을 바꾸니, 같은 "ChatGPT 인용률"이라도 경로와 설정에 따라 분모부터 달라져요.

수집 위치도 경로의 일부예요. 같은 연구진은 모든 데이터를 스위스에 있는 서버에서 수집했고, 그래서 질문이 스위스 IP와 로캘 설정으로 전달돼 지역 맞춤 색인 선택, 언어 가중치, 인용 패턴에 영향을 줬을 수 있다고 적었어요 ^[2]. 같은 UI라도 어느 나라에서 어떤 언어 설정으로 묻느냐에 따라 다른 모집단을 재게 돼요. 측정 경로를 기록할 때 API인지 UI인지만 적고 끝내면 부족한 이유예요.

API는 깨끗하고 재현 가능해요. 대신 고객이 실제로 마주하는 환경은 아니에요.

측정 횟수를 늘리면 정확해지나: 반복이 줄이는 건 분산이에요

측정 횟수를 늘리면 분산은 줄지만, 경로 차이에서 오는 편향은 그대로 남아요. 여기서 측정의 기본 문제가 드러나요. 알고 싶은 값을 $T$, 실제로 기록하는 값을 $M$이라고 할게요.

$b$는 두 구성개념의 차이에서 오는 편향이고, $\mathrm{SE}(n)$은 $n$번 재서 평균했을 때의 표준오차예요. $n$을 키우면 표준오차는 0에 가까워져요. 그런데 $b$는 상수예요. 런을 아무리 늘려도 줄지 않아요. 두 오차를 함께 보면 평균제곱오차는 표준 분해를 따라요.

두 번째 항은 $n$이 커지면 사라지지만 첫 번째 항은 남아요. 그래서 추정값은 $n$이 커질수록 $T$가 아닌 $T+b$로 수렴해요. 정밀해질수록 틀린 값에 정밀하게 다가간다는 뜻이에요. UI의 가시성을 알고 싶은데 API로 재고 있다면, 표본을 늘려서 해결되는 건 분산이고 타당도는 그대로예요.

Don't Measure Once 연구진도 이 문제를 직접 겪었어요. 이 연구는 모든 데이터를 웹 인터페이스에서 수집했는데, ChatGPT에서 API 데이터와 인터페이스 데이터가 섞이면 방법론적 불일치가 생긴다는 이유로 분석 기간을 수집 방식이 일관된 2026년 1월 24일부터 3월 20일까지로 제한했어요. 그리고 후속 연구는 관측 기간 전체에 걸쳐 수집 방식과 모델 버전을 고정해야 한다고 적었어요 ^[2].

같은 브랜드에 정반대 처방이 나와요

경로 차이가 추상적인 걱정에 그치지 않는 이유는 처방이 뒤집히기 때문이에요. API 기준으로 보면 제품 페이지와 how-to 가이드가 인용의 63%를 차지하니 "제품 페이지를 보강하라"는 결론이 나와요. UI 기준으로 보면 리스티클과 비교 페이지가 합쳐서 43%이니 "비교 콘텐츠를 만들라"는 결론이 나와요 ^[1]. 같은 브랜드에 정반대 방향의 다음 분기 계획이 나오는 거예요.

경쟁 구도도 달라 보여요. API에서는 경쟁사 도메인 비중이 52%라서 "경쟁사 자사 페이지가 답을 장악했다"고 읽히고, UI에서는 38%라서 제3자 출처의 몫이 더 커 보여요 ^[1]. 숫자가 정밀해도 방향이 반대면 그 숫자로는 결정을 내릴 수 없어요.

경로마다 맞는 질문이 따로 있어요

두 경로 중 하나가 틀린 도구라는 뜻은 아니에요. 각 경로가 타당하게 답할 수 있는 질문이 달라요.

표 2. 알고 싶은 질문에 따라 맞는 측정 경로예요. 경로별 차이 수치는 Malte Landwehr 공개 분석 기준이에요 ^[1][3].

실무에서 문제가 되는 건 두 경로를 섞을 때예요. 지난 분기는 API로 재고 이번 분기는 UI로 쟀다면, 그 사이의 변화가 브랜드가 움직인 결과인지 자를 바꾼 결과인지 알 수 없어요. 자를 바꿔서 움직인 숫자는 성과로 볼 수 없어요. 여러 도구의 숫자를 한 장표에 나란히 놓을 때도 같은 문제가 생겨요.

AI 검색 리포트 숫자가 분기마다 크게 바뀌는 이유: 경로와 런 수

AI 검색 리포트 숫자가 분기마다 크게 바뀌는 이유는 측정 경로가 바뀌었거나, 같은 경로 안에서도 결과가 매번 흔들리기 때문이에요. 경로를 맞췄다고 끝나지 않아요. 같은 경로 안에서도 결과는 매번 흔들려요. Don't Measure Once 논문에서 같은 질문을 24시간 안에 반복한 결과끼리의 인용 출처 Jaccard 유사도는 업종별 평균 0.32–0.43이었고, 날짜를 바꿔 비교한 일간 값 0.34–0.42와 같은 범위였어요 ^[2]. 변동의 대부분이 시간에 따른 변화보다 모델의 확률성에서 온다는 뜻이에요.

같은 논문에서 브랜드별 검출률의 표준오차는 2회 반복에서 0.246, 7회에서 0.081로 0.10 아래로 내려갔어요(논문 실험 기준) ^[2]. 분산은 분명히 런으로 줄어들어요. 다만 그건 앞에서 본 편향 $b$와 무관한 작업이에요. 경로를 고정해서 $b$를 일정하게 만들고, 런을 늘려서 분산을 줄이는 두 작업이 따로 필요해요.

우리가 측정 결과를 보여 줄 때 값보다 먼저 몇 번 재서 나온 값인지를 붙이는 것도 같은 이유예요. 3회 미만은 예비 추정, 3–6회는 중간 신뢰, 7회 이상은 고신뢰로 표시해요. 이 구간은 앞에서 본 논문 실험의 표준오차 수치를 기준으로 삼은 우리 규칙이에요 ^[2]. 숫자 하나만 건네는 리포트는 그 숫자를 쓸 수 없게 만들어요.

AI 가시성 측정 도구를 고를 때 확인할 것

AI 가시성 측정 도구를 고르거나 리포트를 받으면 숫자를 읽기 전에 네 가지를 확인하면 돼요.

1. 이 숫자는 API와 UI 중 어디서 나왔나요? 리포트 안에서 답을 찾을 수 없다면 다른 도구의 숫자와 비교하지 않아요.
2. 지난번과 같은 경로·지역·모델 조건인가요? 수집 국가, 언어 설정, 검색 도구 설정, 모델 버전 중 하나라도 바뀐 구간의 변화는 성과로 읽지 않아요. 연구진도 관측 기간 전체에 걸쳐 수집 방식과 모델 버전을 고정하라고 권했어요 ^[2].
3. 몇 번 재서 나온 값인가요? 한두 번의 측정으로 나온 상승·하락은 예비 관측이에요.
4. 엔진별로 나눠 볼 수 있나요? 엔진을 합친 숫자 안에서는 경로 차이와 엔진 차이가 섞여요.

한계

이 글의 핵심 수치는 외부 분석 하나에서 나왔어요. 특정 시점, 특정 모델 버전(GPT-5.6 기반)에서 나온 관측이고, 동료심사를 거치지 않은 벤더의 공개 자료예요 ^[1]. 작성자 스스로 작은 규모의 테스트라고 밝히면서, 같은 결과가 여러 번 재현됐다고 적었어요. 우리는 이 수치를 재현해 보지 않았고, 모델이 바뀌면 숫자도 바뀔 거예요. 한국어 질문에서 같은 차이가 나는지도 이 분석은 답하지 않아요.

Don't Measure Once의 수치는 스위스 서버에서 수집한 스위스 독일어권 4개 업종 데이터에서 나왔고, 연구진도 다른 지역·언어 시장으로의 일반화를 한계로 적었어요 ^[2].

수집 비용도 따져야 해요. UI 수집은 자동화가 어렵고 비싸서, 모든 질문을 UI로 재는 건 현실적이지 않은 경우가 많아요. 그래도 방향은 남아요. 경로가 다르면 모집단이 다르고, 모집단이 다르면 두 숫자는 애초에 비교 대상이 되지 않아요.