제목에 연도를 넣으면 AI 인용이 늘어나나? 170% 수치 검증 방법

제목에 올해 연도를 넣으면 AI 인용이 크게 오른다는 컨퍼런스 수치는, 연도라는 문자열이 만든 효과와 연도를 단 글이 실제로 최신이라서 생긴 효과를 하나로 합친 값이라 그대로 따라 해도 무엇을 건드린 건지 알 수 없어요. 제목의 "2026"은 그 글이 올해 것이라는 신호이기도 해서, 관측 데이터에서는 연도 표기와 최신성이 거의 완전히 같이 움직여요. 그래서 이 수치에 답하려면 관측이 아닌 실험이 필요하고, 실험 설계는 생각보다 어렵지 않아요.

이 글의 근거 범위부터 밝혀 둘게요. 170%라는 숫자는 컨퍼런스 노트에서 돌고 있는 수치이고, 우리는 그 원 데이터와 방법론을 확인하지 못했고 직접 재현하지도 않았어요. 그래서 그 숫자가 틀렸다고 말하지 않아요. 최신성의 무게는 Sprinklr 연구진의 25만 회 통제 실험(What Gets Cited, SIGIR 2026)의 표에서 직접 가져왔고 ^[1], 반복 측정의 필요성은 Don't Measure Once 논문으로 교차 확인했어요 ^[2]. 팬아웃 관측은 벤더 연구자의 LinkedIn 게시물이라 동료심사가 없는 1차 자료이고, 우리 기준으로 근거 등급 중간 이하라 가중치 근거로는 쓰지 않아요 ^[6]. 2026년 10월 기준으로 정리했고, 우리 진단 제품의 채점 구성을 언급하는 대목이 있어서 이해관계도 함께 밝혀요.

제목 연도 170% 수치는 두 효과의 합이에요

관측된 차이는 두 항으로 쪼개져요. 연도를 넣은 글과 넣지 않은 글 사이에서 실제로 본 인용률 차이를 ${\tau }_{\text{obs}}$ 라고 하면 이렇게 쓸 수 있어요.

${\tau }_{\text{direct}}$ 는 제목에 적힌 문자열 자체가 만든 효과예요. 같은 글에 연도만 붙였을 때 달라지는 몫이에요. ${\tau }_{\text{fresh}}$ 는 연도 표기가 실어 나르는 최신성 신호, 그리고 연도를 단 글이 실제로 최근에 쓰였거나 갱신됐다는 사실이 만든 몫이에요. 통계에서는 이런 분해를 직접 효과와 간접 효과로 부르고, 선형 모형에서는 총효과가 둘의 합이 된다고 정리해요 ^[5]. 자세한 정의는 위키백과의 매개 분석(Mediation) 항목)에 있어요.

문제는 관측 데이터에서는 합 하나만 보인다는 점이에요. 올해 연도를 제목에 단 글은 대개 올해 쓰였거나 최근에 손본 글이에요. 연도 표기와 실제 최신성이 같이 움직이니, 두 집단의 인용률 차이가 얼마로 나오든 그중 얼마가 문자열 몫인지는 계산할 방법이 없어요. ${\tau }_{\text{direct}}$ 는 식별되지 않아요.

그림 1. 실제 최신성이 제목의 연도 표기와 AI 인용 양쪽에 영향을 주고, 연도 표기에서 인용으로 가는 직접 경로는 관측만으로 식별되지 않는 구조. 아래 상자는 관측된 차이가 두 항의 합이라는 분해식이에요.

최신성은 AI 검색 인용에 얼마나 중요한가?

최신성은 AI 인용에서 게이트키퍼급으로 중요한 요인이고, 그래서 최신성 경로의 무게는 작지 않아요. What Gets Cited 논문은 상용 LLM 6개에 콘텐츠 요인 18개를 하나씩 붙여 252,000번 물었고, 그중 넷을 게이트키퍼로 분류했어요 ^[1]. 주제 일치, 가격 명시, 최신 타임스탬프, 컨텍스트 안 앞자리예요. 논문은 이 넷 가운데 하나라도 무너지면 다른 강점과 무관하게 인용 승산이 사라진다고 정리했어요.

최신성 요인 셋의 모델별 승산비를 그대로 옮기면 아래와 같아요. 승산비는 요인이 우세한 쪽(표의 앞쪽)이 인용될 승산이 열세한 쪽보다 몇 배인지를 뜻해요.

표 1. What Gets Cited 의 최신성 요인 승산비, 논문 실험 기준 ^[1]. 첫 행은 여섯 모델 모두에서 유의했고, 아래 두 행은 여섯 모델 중 일부에서만 유의했어요.

표에서 읽을 것은 두 가지예요. 첫째, 최신 날짜와 오래된 날짜를 맞붙이면 효과가 매우 커요. 둘째, 서열이 최신 > 날짜 없음 > 구형으로 정리돼요. 날짜가 아예 없는 편이 오래된 날짜보다 대체로 나았어요. 이 실험에서 최신성 처치는 사실·가격·스펙·길이를 그대로 두고 본문의 날짜만 2026과 2019로 바꾼 것이에요 ^[1]. 이미 컨텍스트에 들어온 두 후보 사이에서는 날짜 표기만으로도 선택이 크게 갈린다는 뜻이고, 그만큼 ${\tau }_{\text{fresh}}$ 의 크기를 무시하고 컨퍼런스 상승률을 문자열 효과로 읽으면 안 돼요. 이 연구 전체의 설계와 다른 게이트키퍼는 AI는 두 페이지 중 무엇을 인용할까에 정리해 뒀어요.

통제 실험은 요인 하나를 이렇게 격리했어요

What Gets Cited 에서 배울 점은 결과보다 설계예요. 연구진은 50개 B2C 카테고리에서 실제 리뷰 블로그 100개를 고른 뒤 브랜드와 발행처 이름을 가상의 별칭으로 바꿨어요 ^[1]. 사전학습으로 이미 아는 이름을 선호하는 편향을 떼어내기 위해서예요. 그다음 딱 한 요인만 다른 두 변형을 만들고, 두 후보의 제시 순서를 양방향으로 돌리고, 질의 표현을 세 가지로 바꿔 가며 반복했어요.

요인 하나를 격리하려고 설계 전체를 거기에 쓴 셈이에요. 효과 크기는 시나리오와 순서에 걸린 랜덤 절편을 넣은 로지스틱 혼합효과모델로 요인마다 따로 추정했어요 ^[1]. 같은 시나리오 안의 반복이 서로 닮았다는 점까지 보정한 거예요.

컨퍼런스에서 돈 상승률 수치에는 이 통제가 없어요. 관측이지 실험이 아니에요. 관측이 나쁘다는 뜻은 아니에요. 다만 관측으로는 답할 수 없는 "연도 문자열이 인용을 올리는가"라는 질문에 답한 것처럼 읽힐 때 문제가 생겨요.

같은 논문에서 하나 더 짚을 게 있어요. 게이트키퍼 가운데 "앞자리"는 페이지 안에서 핵심을 위에 올리는 일과 다른 구성개념이에요. 검색돼 답변 컨텍스트에 들어간 뒤의 슬롯 순서예요. 그리고 게이트키퍼 넷을 통과한 다음에야 2차 요인 7개가 승부를 갈랐고, 그 승산비는 대체로 2.1에서 243 사이였어요 ^[1]. 반대로 조밀한 문단 대 정돈된 섹션은 승산비 0.78–1.68로 여섯 모델에서 일관된 방향이 없었어요. 순서가 있다는 뜻이에요. 넷을 통과하지 못한 상태에서 2차 요인을 손보는 일은 이미 탈락한 다음 단계를 다듬는 일이에요.

연도 문자열이 직접 작동하는 경로도 있어요

${\tau }_{\text{direct}}$ 를 0으로 단정할 근거도 없어요. 문자열이 직접 작동할 만한 메커니즘이 관측된 적이 있기 때문이에요. 한 벤더 연구자가 구글 뉴스의 트렌딩 기사를 질문으로 바꿔 한 달 동안 8,000건 넘게 ChatGPT 에 자동으로 물은 관측에서, 원래 프롬프트에 연도가 들어간 비율은 1%였는데 엔진이 만든 후속 검색어(팬아웃 쿼리)의 94%에는 "2026"이 들어갔어요 ^[6]. 원문은 Malte Landwehr 의 LinkedIn 게시물에 공개됐어요.

이 관측이 맞다면, 엔진이 스스로 연도를 붙여 검색하는 순간 제목에 같은 연도가 적힌 문서는 검색 단계에서 어휘가 더 잘 맞아요. 그건 최신성과 무관한 문자열 매칭이고, 정확히 ${\tau }_{\text{direct}}$ 에 들어가는 몫이에요. 팬아웃이 질문을 어떻게 쪼개는지는 쿼리 팬아웃 관찰 글에 따로 정리했어요.

다만 이 관측의 등급을 분명히 해 둘게요. 뉴스 주제, 영어권, ChatGPT 중심의 단일 관측이고 동료심사를 거치지 않았어요. 그래서 이 수치는 "문자열 경로가 존재한다"는 가설의 재료이고, 그 크기를 정하는 근거는 아니에요. 두 경로가 모두 그럴듯하다는 점이 오히려 실험이 필요한 이유예요.

엔진마다 민감도가 달라 평균 하나는 틀린 값이에요

엔진을 뭉뚱그린 비율 하나는 어떤 엔진에서는 과대평가이고 어떤 엔진에서는 과소평가예요. 표 1의 첫 행만 봐도 같은 최신성 처치에 대한 승산비가 GPT-5-Nano 14.4에서 Gemini 와 Claude 의 1만 이상까지 벌어져요 ^[1]. 논문은 네 게이트키퍼에는 여섯 모델이 모두 동의했지만, 그 아래 민감도는 갈렸다고 보고해요. Kimi-K2 는 18개 요인 중 83%에 유의하게 반응했고 Gemini-2.5 는 33%에만 반응했지만, 반응할 때는 이진 스위치처럼 극단적이었어요.

그렇다면 컨퍼런스 수치처럼 엔진을 구분하지 않은 하나의 상승률은 그 분산을 지운 값이에요. 어떤 엔진에서 측정했는지, 엔진별로 쪼개면 어떻게 되는지가 함께 와야 실행할 수 있는 숫자가 돼요. 같은 문제를 측정 리포트 관점에서 다룬 글이 AI 가시성을 점수 하나로 보면 위험한 이유예요.

AI 인용 효과를 실험으로 검증하는 방법: 2×2 설계

두 항을 가르는 방법은 요인을 한 번에 하나씩 움직이는 거예요. 내용을 그대로 두고 제목의 연도만 바꾼 쌍, 제목을 그대로 두고 내용을 실제로 갱신한 쌍을 함께 돌리면 네 칸이 채워지고 두 항이 분리돼요.

표 2. 제목 연도 효과를 문자열 경로와 최신성 경로로 나누는 2×2 설계. TRAIL Labs 가 LinkedIn 원문에서 제안한 설계를 표로 옮긴 것이에요.

여기에 반드시 붙는 조건이 있어요. 같은 질의를 같은 날 다시 물어도 인용되는 출처는 꽤 바뀌어요. Don't Measure Once 연구는 같은 날 즉시 재실행한 결과끼리도 인용 출처의 겹침(Jaccard)이 0.32–0.43에 그쳐, 하루 간격 비교(0.34–0.42)와 사실상 같은 범위였다고 보고했어요 ^[2]. 변동의 상당 부분이 시간 경과가 아닌 모델의 확률적 생성에서 온다는 뜻이에요. 같은 연구에서 브랜드 검출률의 표준오차를 0.10 아래로 낮추려면 7회 반복이 필요했어요 ^[2]. 모두 논문 실험 기준이에요.

그래서 칸마다 한 번씩만 재면 네 숫자의 차이가 처치 효과인지 그날의 변동인지 알 수 없어요. 칸마다 여러 번 재고, 몇 번 재서 나온 값인지를 결과와 함께 적어야 해요. 기준선 잡기와 측정 주기는 AI 검색 노출 실험 설계법의 절차를 그대로 쓰면 돼요.

콘텐츠 날짜만 바꾸면 AI 검색에 유리한가?

콘텐츠 날짜만 바꾸는 일은 최신성 경로가 클수록 유리하지 않고 위험해요. 두 항 중 어느 쪽이 큰지에 따라 처방이 정반대가 되기 때문이에요. 직접 효과가 대부분이라면 제목 문자열만 바꾸면 되고 비용은 거의 없어요. 최신성 경로가 대부분이라면 제목만 바꾸는 작업은 효과가 없고, 내용이 낡은 채로 연도만 새것처럼 보이게 만드는 일은 오히려 위험해요.

위험하다고 보는 근거는 검색 쪽 기준에 있어요. Google 은 "내용이 실질적으로 바뀌지 않았는데 페이지의 날짜를 바꿔 신선해 보이게 하고 있나요?"를 검색엔진 우선 콘텐츠의 경고 신호로 들어요 ^[3]. 원문은 Google Search Central 의 도움이 되는 콘텐츠 가이드에 있어요. 날짜 표기 문서도 날짜는 페이지의 게시일이나 갱신일을 나타내야 한다고 적어요 ^[4]. 같은 내용은 바이라인 날짜 가이드에 있어요.

우리 진단 채점에서 신선도는 권위 영역 32점 중 11점이에요. 적지 않은 비중이고, 그 점수가 날짜 표기 문자열을 보는 대신 내용이 실제로 갱신됐는지를 보도록 설계한 이유가 여기에 있어요. 표기만 바꿔서 올라가는 점수라면 올라가지 않는 편이 나아요.

한계

이 글이 못 본 것부터 적을게요. 컨퍼런스 상승률 수치의 원 데이터와 측정 방법을 확인하지 못했고, 우리는 그 수치도 2×2 실험도 직접 돌려 보지 않았어요. 표 2는 설계 제안이고 결과가 아니에요.

What Gets Cited 의 결과는 이미 컨텍스트에 들어온 두 후보의 상대 선호를 잰 것이에요 ^[1]. 검색 단계에서 어떤 문서가 후보에 들어오는지는 다루지 않았고, 연도를 제목에 넣는 처치도 따로 시험하지 않았어요. 논문 본문은 게이트키퍼를 승산비 100을 넘는 매우 강한 요인으로 요약하지만, 표 1처럼 일부 모델의 값은 그보다 작아요. 또 브랜드를 익명화한 B2C 리뷰 블로그 100개라는 설정이라 다른 업종이나 한국어 질의로 그대로 옮길 수 없어요.

팬아웃 94% 관측은 벤더 연구자의 소셜 게시물이라 동료심사가 없고, 뉴스 주제·영어권·ChatGPT 중심의 단일 관측이에요 ^[6]. 표본과 방법이 일부 공개됐지만 우리는 재현하지 않았고, 모델 버전이 바뀌면 달라질 수 있는 값이라 상수로 읽지 말아야 해요. Don't Measure Once 의 변동 수치는 스위스 독일어권 4개 캠페인과 4개 엔진에서 나온 것이에요 ^[2].

다음 단계

"제목에 연도를 넣으면 오른다"는 조언을 받았다면, 먼저 그게 문자열 때문인지 최신성 때문인지 확인할 방법이 있는지 물어 보세요. 확인할 방법이 없다면 그 수치로 제목을 일괄 수정하는 결정은 어느 항을 건드리는지 모르는 채로 내리는 결정이에요. 실제로 손볼 순서는 내용을 갱신할 가치가 있는 페이지부터 갱신하고, 갱신일을 정직하게 표기하고, 제목 연도는 2×2의 B칸처럼 따로 시험하는 쪽이에요.