사전 등록 문서
GEO 기법은 "검색으로 들어오는 단계"에서도 효과가 있는가 — 사전등록
(주)인트릭스 · 결과가 나오기 전에 확정·공개했습니다
상태: 사전등록 (결과 관측 전) 등록일: 2026-08-14 실행 예정: 2026-10-06 이후 (크덤집 GEO RCT 종료 다음 날) 최종 관측 예정: 실행 +8주
🔴 2026-08-17 추가 — 기준선 변화 고지. 이 실험 실행 전(08-26~10-05)에
listicle-discovery실험이 intrix.kr 에 지역 목록 글 8편을 발행한다. 10-06 시점의 사이트는 그 페이지들을 포함한 상태다. 짝 안에서 배정하므로 사이트 수준 기준선 변화는 짝 차분에서 상쇄되지만, 짝을 만들 때 목록 글을 제외하고 그 사실을 결과에 기록한다. 두 실험의 기간은 겹치지 않는다.
1. 무엇이 논쟁인가
2023년 GEO 원논문(Aggarwal et al.)은 콘텐츠에 통계 추가·인용문 추가·출처 인용 같은 기법을 적용하면 생성형 엔진 답변에서의 가시성이 최대 40% 오른다고 보고했다. 이 수치는 업계에서 GEO 서비스의 근거로 널리 인용된다.
2026년 7월 비판 서베이(45편 리뷰, arXiv 2607.14035)가 이 근거를 정면으로 좁혔다:
그 40%는 이미 검색되어 컨텍스트에 들어온 5개 문서 사이의 위치가중 단어수 개선 (19.3 → 27.2)이다. 40% 더 클릭된다는 뜻도, 검색에 걸릴 확률이 40% 오른다는 뜻도 아니다. 이 결과는 자연적 발견 가능성(organic discoverability)도, 지속적 트래픽 효과도 확립하지 못한다.
후속 벤치마크(C-SEO Bench)에서는 54개 방법×도메인 조합 중 유의하게 긍정적인 것이 3개뿐이었고 질의응답 과제에서는 0개였다. SAGEO Arena 에서는 본문 최적화가 상위 20위 노출을 약 9%, 상위 10위를 약 16% 떨어뜨렸다는 결과도 나왔다.
즉 "GEO 기법이 효과 있다"는 근거는 검색 단계를 건너뛴 인공적 조건에서만 확인됐고, 실제 사용 조건(질문 → 엔진이 검색 → 인용)에서는 검증된 적이 없다.
우리는 그 조건을 그대로 재는 하네스를 갖고 있다.
2. 가설
H1 (주가설). GEO 기법을 적용한 페이지는 적용하지 않은 페이지보다 생성형 엔진 답변에 더 많이 인용된다 — 검색 단계를 포함한 전 과정에서.
H0. 차이가 없다.
H2 (역효과 가설). GEO 기법 적용이 오히려 검색 단계에서 불리하게 작용해 색인·노출이 줄어든다(SAGEO Arena 관측의 재현 여부).
H1 과 H2 는 서로 배타적이지 않다 — 검색에서 손해를 보고 인용에서 이득을 볼 수 있고, 그 경우 순효과는 상쇄된다. 그래서 단계를 나눠 각각 보고한다.
3. 설계
3-1. 배정 단위와 무작위화
단위: 페이지. 짝(pair)을 만들어 짝 안에서 무작위 배정한다.
🔴 짝 배정이 필수인 이유는 검정력이다. 사전 시뮬레이션 결과(아래 5절), 단순 2군 비교로는 페이지 120개씩 써도 40% 효과 검출 확률이 33%에 그친다. 인용은 소수 페이지에 몰리는 과산포 분포라, 페이지 고유의 인용 성향이 신호를 덮는다. 짝 안에서 배정하면 그 성향이 차분에서 상쇄되어, 같은 40쌍으로 검정력이 93%가 된다.
짝은 다음이 같은 두 페이지로 만든다: 주제 범주 · 템플릿 · 지역(해당 시) · 발행 시점.
3-2. 처치
원논문에서 효과가 가장 컸던 세 기법을 묶어서 적용한다(개별 분해는 후속 과제):
- 통계 추가 — 본문에 검증 가능한 수치와 출처·기준일을 넣는다
- 인용문 추가 — 관련 있는 직접 인용을 넣는다
- 출처 인용 — 근거 출처를 명시적으로 표기한다
대조군은 같은 사실을 평문으로 서술한다.
🔴 이 실험에서 가장 지키기 어려운 조건: 양쪽이 담은 정보는 같아야 한다. 처치군에만 새 사실이 들어가면 우리는 표현 방식이 아니라 정보량을 재게 된다. 그러면 원논문 주장과 다른 것을 검증하는 셈이다. 작성 규칙:
- 처치군에 넣는 통계·인용은 대조군 본문에도 사실로는 존재해야 한다(형식만 다르게)
- 글자 수는 ±15% 안에서 맞춘다
- 두 판 모두 사실 검수를 거친다. 처치군에 틀린 수치를 넣으면 실험이 아니라 오정보 생산이다
3-3. 결과변수 — 단계별로 나눈다
비판 서베이가 요구한 그대로, 한 숫자로 뭉치지 않고 각 단계를 따로 잰다.
| 단계 | 측정 | 도구 |
|---|---|---|
| ① 발행 | 페이지 존재·응답 | HTTP |
| ② 색인 | 구글 색인 여부 | site: 조회(Serper) |
| ③ 검색 노출 | 대상 질의에서 상위 N 등장 | Serper |
| ④ 인용(주 결과) | 질의 답변에 이 페이지/도메인이 인용된 횟수 | brand-knowledge·citation 하네스 |
주 결과변수는 ④의 페이지당 인용 횟수(카운트)다. 이진(인용됐나)이 아니라 카운트를 쓰는 이유는 정보량이 많아 검정력이 높기 때문이다.
②③은 H2(역효과) 판정에 쓴다. ②에서 처치군이 낮으면 그것만으로도 보고 가치가 있다 — "GEO 기법이 색인을 해친다"는 주장의 첫 독립 검증이 된다.
3-4. 측정
- 모델 2종(계열이 다른 것)에서 각각 측정. 우리 실측상 두 엔진의 인용 대상은 40%만 겹친다
- 반복 k = 30. 우리 실측상 인용 명단은 4일 만에 40%가 바뀐다. 1회 측정으로는 개별 페이지 상태를 말할 수 없다
- 측정 시점: 발행 +2주 · +4주 · +8주. 주 분석은 +8주 시점으로 사전 지정한다
- 모델 ID를 매 회차 기록한다. 세대가 바뀌면 결론이 바뀔 수 있다는 것을 이미 실측했다
4. 표본
목표: 40쌍(80페이지). 아래 검정력 계산에 근거한다.
호스팅은 이미 색인되는 도메인에 둔다. 신규 도메인에 두면 "GEO 기법이 효과 없다"가 아니라 "신규 도메인이 색인되지 않는다"를 재게 된다(자사 실측: 신규 도메인은 자력 신호를 다 심어도 발견형 언급이 지역 10%·전국 0%였다).
⚠️ 크덤집 GEO RCT가 2026-10-05 에 끝난다. 그전에는 착수하지 않는다. 같은 자산에 두 개입이 겹치면 어느 것의 효과인지 가릴 수 없다. 이 규칙을 자사 사이트에서 한 번 어겨 귀속 불가 상태를 만든 적이 있다(2026-08-11).
5. 검정력 (사전 계산)
시뮬레이션 조건: 대조군 페이지당 평균 인용 2.0회(k=10 기준), 과산포 1.5, 양측 α=0.05.
단순 2군 비교(짝 없음) — 검출력이 나오지 않는다:
| 효과 | n=50/군 | n=80/군 | n=120/군 |
|---|---|---|---|
| +40% | 17% | 24% | 33% |
| +100% | 55% | 72% | 88% |
반복을 8배(k=80)로 늘려도 과산포가 그대로면 검정력은 거의 오르지 않았다(+40%에서 n=120 기준 29% → 42%). 반복이 아니라 페이지 간 편차가 병목이다.
짝 배정(윌콕슨 부호순위) — 같은 표본으로 해결된다:
| 효과 | k | 25쌍 | 40쌍 | 60쌍 | 100쌍 |
|---|---|---|---|---|---|
| +40% | 10 | 36% | 49% | 71% | 92% |
| +40% | 30 | 75% | 93% | 98% | 100% |
| +60% | 30 | 94% | 99% | 100% | 100% |
→ 40쌍 × k=30 을 채택한다. 원논문이 주장한 크기(+40%)를 93% 확률로 검출한다.
최소 검출 가능 효과: 이 설계는 +40% 이상을 안정적으로 잡는다. 그보다 작은 효과 (예: +15%)는 잡지 못하므로, 귀무 결과가 나와도 "효과가 0"이 아니라 "원논문이 주장한 크기의 효과는 없다"로만 쓴다.
6. 분석 계획 (사전 지정)
- 주분석: +8주 시점 짝별 인용 횟수 차분에 대한 윌콕슨 부호순위 검정(양측 α=0.05)
- 효과 크기: 짝별 비율의 중앙값과 부트스트랩 95% 신뢰구간
- 모델별 별도 보고. 두 모델을 합산하지 않는다 — 인용 대상이 40%만 겹치므로 합산은 서로 다른 것을 섞는다
- 단계별 보고: 색인률·노출률·인용률을 각각 낸다. 순효과만 보고하지 않는다
- 다중비교: 모델 2 × 시점 3 = 6회 비교. 주분석(+8주)만 확증으로 쓰고 나머지는 탐색으로 표기한다. 시점 간 Holm 보정을 적용한다
중단·제외 규칙
- 짝의 한쪽이 색인되지 않으면 그 짝은 인용 분석에서 제외하되 색인 분석에는 남긴다. 색인 실패 자체가 결과이므로 조용히 빼면 안 된다
- 8주 안에 색인된 짝이 20쌍 미만이면 주분석을 하지 않고 색인 단계 결과만 보고한다. 검정력이 없는 검정을 돌려 "차이 없음"이라 쓰는 것은 거짓이다
- 처치 판정 오류(양쪽 정보량이 달라진 것이 사후 발견된 짝)는 제외하고 제외 수를 보고한다
7. 이 실험이 못 하는 것
- 트래픽·전환은 재지 않는다. 서베이는 인용→트래픽 근거가 "매우 낮음"이라고 평가했고 우리도 그 사슬은 잇지 않는다
- 도메인 일반화 불가. 한 도메인·한 업종에서 잰다. 서베이가 지적한 도메인 특이성 (54개 조합 중 3개만 유의)을 감안하면 다른 업종에서 같으리라 가정하지 않는다
- 채택률 포화 효과 미측정. 서베이는 "기법 채택이 늘수록 이득이 준다"고 했는데 단일 사이트 실험으로는 이를 볼 수 없다
- 개별 기법 분해 불가. 세 기법을 묶어 적용하므로 무엇이 작동했는지는 알 수 없다. 묶은 이유는 검정력이다 — 4군으로 쪼개면 군당 20쌍이 되어 어떤 효과도 못 잡는다
8. 왜 이 실험을 하는가
이 주장은 국내 GEO 업계에서 서비스 근거로 널리 쓰이지만, 검색 단계를 포함한 조건에서 검증된 적이 없다. 학계는 2026년 7월에야 그 한계를 지적했고, 서베이 자신이 필요한 후속 실험으로 "자연적 검색에서 시작해 크롤·색인·검색 확률까지 몇 주에 걸쳐 추적할 것"을 꼽았다. 우리는 그 측정 하네스를 이미 운영하고 있다.
결과가 어느 쪽이든 발표한다. 귀무 결과라면 우리 자신의 영업 논리도 함께 좁아진다 — 그것을 감수하는 것이 이 연구실의 조건이다.
9. 변경 이력
| 일자 | 내용 |
|---|---|
| 2026-08-14 | 최초 등록. 결과 관측 전 |