사전 등록 문서
사전 등록(초안): 백링크와 구글 상위·AI 인용의 관계 — YMYL 대조
(주)인트릭스 · 결과가 나오기 전에 확정·공개했습니다
- 상태: 1차 분석 완료(2026-08-16). 결과는 9-1 절.
- 이전 상태: 검정력 확정·등록 대기. 6절 시뮬레이션 완료(2026-08-15) — 업종당 질의 24개로 확정.
승인 후
PUBLIC_SLUGS·사이트맵에 올려 공개 등록한다. - 작성 2026-08-15
- 선행 실험:
clinic-site-citation-association·ai-citation-vs-google-serp-overlap·ymyl-vs-nonymyl-citation-composition
0. 이 설계가 필요한 이유
우리는 지금까지 "무엇이 AI 인용을 가르는가"를 세 번 물었고, 세 번 다 **접근(색인)**으로 수렴했다. 발행량은 색인의 대리 지표였고(GPT-5 에서 소멸), 진단 점수는 인용과 무관했다(r=−0.07).
그런데 "색인되게 하라"까지 말하고 나면 다음 질문에 답이 없다. 색인은 무엇이 만드는가. 링크가 그 답이라면 처방이 한 단계 앞으로 간다. 아니라면 "링크빌딩"이라는 업계 표준 처방을 우리 데이터로 부정할 수 있다. 어느 쪽이든 팔 때 하는 말이 달라진다.
동시에 우리는 AI 인용과 구글 상위가 거의 겹치지 않는다는 것을 이미 확인했다 (GPT 87.1% · Gemini 62.5%가 구글 상위 10 밖). 그렇다면 링크가 둘에 같은 크기로 작용할 이유가 없다. 이 실험의 핵심은 하나의 노출(링크)이 두 결과(구글·AI)에 다르게 작용하는지다.
1. 연구 질문
주 질문
- 백링크 개수는 구글 검색 상위를 설명하는가. AI 인용을 설명하는가. 두 설명력이 다른가.
- 백링크 품질(링크를 준 도메인의 권위)은 개수보다 더 설명하는가.
- 색인 페이지 수를 통제하면 링크의 설명력이 남는가, 사라지는가. — 발행량이 색인의 대리 지표였던 것과 같은 구조인지 본다.
- 위 관계가 YMYL(의료·법률)과 비-YMYL(웹·마케팅·영상)에서 다른가.
부 질문 5. 링크를 주는 쪽의 유형(플랫폼·미디어/UGC·공공/협회)에 따라 기여가 다른가. — 의료는 공공·협회 41.8%, 비-YMYL은 5.1%였다. 대체 관계가 링크에서도 나타나는가.
2. 먼저 확인한 것 — 설계를 지배하는 제약
설계를 쓰기 전에 실측했다. 아래는 전부 2026-08-15 확인값이며, 각각이 설계를 바꿨다.
(1) 링크 데이터는 무료로 확보 가능하다
Common Crawl 도메인 웹그래프 cc-main-2026-may-jun-jul — 노드 1억 1,800만, 엣지 28억.
domain-ranks.txt.gz 2.19GB(harmonic centrality·pagerank), domain-edges.txt.gz 9.78GB.
실제 내려받아 형식 확인함. 전체 파이프라인(내려받기→해제→필터) 실측 초당 66.6만 줄,
28억 엣지 전량 통과에 약 70분. 스트리밍이라 10GB를 디스크에 쌓지 않는다.
(2) 커버리지 — 처음 잰 값이 틀렸다
먼저 구글 상위에 뜬 도메인 45개로 재보니 YMYL 77% · 비-YMYL 91%가 나왔다. 그 뒤 실제 표본틀 978개 도메인 전량을 링크 그래프에 대조하니 반대로 나왔다.
| 프레임 | 도메인 | 링크 데이터에 있음 | 커버리지 |
|---|---|---|---|
| 의료(피부과) | 561 | 514 | 91.6% |
| 펜션·웨딩(비-YMYL) | 417 | 315 | 75.5% |
두 값이 다른 이유는 둘이 서로 다른 것을 쟀기 때문이다. 처음 것은 월간 크롤의 페이지 색인 (CC-MAIN-2026-30)이고, 나중 것은 웹그래프의 노드 존재다. 웹그래프에는 크롤되지 않았어도 누군가 링크만 걸어 두면 노드로 들어온다(전체 1억 1,800만 노드 중 7,450만이 그런 노드다). 링크 분석에 쓰는 것은 웹그래프이므로 유효한 값은 91.6% / 75.5% 다.
⚠️ 단, 여기서 잰 비-YMYL은 펜션·웨딩이다. 이번 설계의 비-YMYL(홈페이지 제작·마케팅· 영상)이 아니다. 그 세 업종은 45개 표본에서 100% · 80% · 89%로 높게 나왔으나 표본이 작다. 1단계 수집 직후 세 업종의 실제 커버리지를 다시 재고, 70% 아래면 그 업종은 뺀다.
(3) 결측은 0이 아니다
자사 도메인 intrix.kr·kdermzip.com·lawfirmlawyul.com은 전부 수집 0건이다.
질의 형식 문제가 아니다(같은 방식으로 naver.com 37건, hira.or.kr 50건). 신규·소규모
도메인은 크롤 대상에서 빠진다. 없는 것을 0으로 세면 "링크 없는 곳이 인용도 안 된다"는
가짜 상관이 생긴다.
(4) 구글 link: 연산자는 죽었다
Serper로 실측 — link:intrix.kr이 inrix.com·linkedin 등 무관한 결과 9건을 돌려준다.
검색엔진으로 백링크를 세는 경로는 없다. Common Crawl이 유일한 무료 경로다.
(5) 선행 실험이 강제하는 것
- 인용 명단은 나흘 만에 40%가 바뀐다(자카드 60%). 개별 도메인 1회 측정으로 판단하지 않는다.
- 인용은 과산포다. 표본을 늘리는 것보다 설계가 검정력을 지배한다.
- 모델을 바꾸면 결론이 바뀐다(9.1% vs 37.5%). 모델·날짜를 모든 수치에 붙인다.
- Gemini는 검색을 생략한다(의료 21%, 비-YMYL 37%). 그 호출은 인용이 0이다 — "인용 안 됨"과 "애초에 찾아보지 않음"을 분리해야 한다.
3. 설계
3-1. 연구 유형 — 관찰이다. 인과가 아니다
우리는 남의 사이트에 링크를 붙일 수 없다. 따라서 횡단 관찰 연구다. 말할 수 있는 것은 "링크가 많은 곳이 더/덜 인용된다"까지이고, "링크를 늘리면 인용이 는다"는 이 설계로 말할 수 없다. 보고서·칼럼에 이 문장을 박아 둔다.
한 가지 유리한 점은 있다. 링크 데이터는 2026년 5~7월 크롤이고 결과(구글·AI)는 8월 측정이라 노출이 결과에 시간상 선행한다. 역인과(인용돼서 링크가 생겼다) 가능성은 줄지만, 그 사이의 변화는 잡지 못한다.
3-2. "대조군을 찾는다"가 아니라 틀을 먼저 고정한다
이 설계에서 대조는 두 가지다.
- 업종 블록 대조: 비-YMYL 3업종이 YMYL 3업종의 대조다. (사용자 지정)
- 결과 내 대조: 같은 질의에서 구글 상위에는 있는데 AI가 인용하지 않은 도메인.
🔴 결과를 보고 대조군을 고르지 않는다. 지난 진단↔인용 연구가 정확히 그 함정에 빠졌다 — 인용된 곳과 안 된 곳을 뽑아 매칭했더니 완전한 짝이 3쌍뿐이었고, 그 3쌍만 보면 부호가 반대로 나왔다(중앙값 −12.0 vs 전체 +2.5). 그래서 발행을 보류했다. 틀을 먼저 정하고, 그 안의 전원을 측정한다.
3-3. 표본틀 — 질의 기반으로 통일한다
가장 큰 설계 결정이다. 6개 업종에 같은 방식의 틀을 쓴다.
명부 기반(HIRA·변협)은 YMYL에만 있고 비-YMYL에는 없다. 업종마다 다른 틀을 쓰면 YMYL 차이가 업종 때문인지 틀 때문인지 갈리지 않는다. YMYL 대조가 이 실험의 목적이므로 틀을 상수로 고정하는 것이 명부의 완전성보다 우선한다.
이것은 앞선 YMYL 대조 실험에서 질의 수·문형·반복·모델을 원 실험과 똑같이 맞춘 것과 같은 원칙이다. 하나라도 다르면 차이의 원인이 갈리지 않는다.
틀 정의: 업종별 질의 배터리를 던져 구글 상위 30에 등장한 모든 도메인 ∪ AI가 인용한 모든 도메인을 모집단으로 삼는다. 관측 가능하고, 재현 가능하며, 6업종에 동일하다.
이 틀의 한계는 명확하다 — 링크도 없고 순위도 없는 업체는 애초에 들어오지 않는다. 따라서 이 실험이 재는 것은 "상위권 내부의 기울기"이지 "전 구간의 관계"가 아니다. 전 구간이 필요하면 4-B(확장)로 간다.
3-4. 업종과 블록
| 블록 | 업종 | 비고 |
|---|---|---|
| YMYL | 피부과 | 선행 실험과 연결됨(450곳 데이터 보유) |
| YMYL | 성형외과 | 신규 |
| YMYL | 변호사(법률사무소) | 🔴 자사 자산 제외 필수 |
| 비-YMYL | 홈페이지 제작 | |
| 비-YMYL | 마케팅 대행 | |
| 비-YMYL | 영상 제작 |
자사·관계사 제외: intrix.kr, kdermzip.com, lawfirmlawyul.com, 로닛·셀라벤토 도메인을
수집 단계에서 배제한다(기존 NOT_OWN 가드 재사용). 변호사 업종에 우리 자산이 있어
빼지 않으면 이해충돌이자 편향이다.
3-5. 질의 설계 — 6업종 동일 구조
업종당 24개, 총 144개. (6-7절 검정력 결과로 확정 — 18개에서 올렸다)
확정본은 scripts/research/backlink/queries.ts 다(구조 검증 통과: 업종당 24개,
qid 중복 0, 업종별 구조 동일).
- 지역형 20개 = 지역 10 × 문형 2
- A:
{지역}에서 {업종} 잘하는 곳 추천해줘 - B:
{지역} {업종} 어디가 좋아? 믿을 만한 곳으로 알려줘
- A:
- 전국형 4개
- C:
{업종} 잘하는 곳 추천해줘 - D:
{업종} 고를 때 뭘 봐야 해?(정보형 — 상업 의도가 없는 대조) - E:
{업종} 업체 비교해줘 - F:
유명한 {업종} 알려줘(브랜드 인지 성향 대조)
- C:
지역 10개는 직전 실험의 16개에서 골랐다 — 소유 도메인 인용 비율이 가장 높았던 충북(27.6%)과 가장 낮았던 서울(5.9%)을 모두 넣어 지역 편차가 한쪽으로 쏠리지 않게 했다.
🔴 문형 B 는 직전 실험 D2("전문의 있는 곳으로")를 업종 중립으로 고친 것이다. 원문은 의료 전용 표현이라 6업종에 쓸 수 없다 — 그대로 뒀다면 의료만 다른 질의를 받는 셈이 된다. 비-YMYL은 지역 의도가 약하다는 반론이 있으나, 문형 C·D가 그 대조 역할을 한다. 업종별로 질의 구조를 바꾸면 YMYL 대조가 깨진다.
3-6. 측정 — 노출(링크)
Common Crawl cc-main-2026-may-jun-jul 도메인 그래프. 표본 도메인 전체를 대상 집합으로 두고
28억 엣지를 한 번 통과시키며 유입 엣지만 건진다(70분, 1회).
사전 고정 지표:
| 코드 | 이름 | 정의 |
|---|---|---|
| L1 | 유입 도메인 수 | 이 도메인으로 링크한 고유 도메인 수 — 주 노출(개수) |
| L2 | 고품질 유입 수 | 유입 도메인 중 harmonic centrality 상위 10% 인 것의 수 — 주 노출(품질) |
| L3 | 유입 도메인 권위 중앙값 | 유입 도메인들의 harmonic centrality 중앙값 |
| L4 | 자체 권위 | 대상 도메인 자신의 harmonic centrality / pagerank |
| L5 | 유입 유형 구성 | 플랫폼 / 미디어·UGC / 공공·협회 / 미분류 비율 — 기존 분류기 재사용 |
🔴 L5 분류기의 기본값은 **'미분류'**다. "목록에 없으면 개별 업체"로 두었다가 그 칸이 52%까지 부풀었던 사고가 있다. 커버리지를 함께 보고한다.
3-7. 측정 — 결과
Y1 구글 상위 (Serper, 상위 30, 2회 수집해 안정성 확인)
- Y1a: 상위 10 진입 여부 (이항)
- Y1b: 최고 순위 (서열, 미진입은 결측 아닌 31로 절단 처리 — 사전 고정)
Y2 AI 인용 (2모델 × 반복 k)
- Y2a: 인용 횟수 (계수, 과산포)
- Y2b: 인용 여부 (이항)
- 모델(2026-08-15 API 조회로 확정):
gpt-5.6-luna·gemini-3.7-flash. 기억으로 모델을 골랐다가 세대 효과를 구조 효과로 오독해 원장 2건을 철회했으므로 측정 직전 목록을 조회해 고정했다. OpenAI 는 5.6 계열(luna/sol/terra)이 최신이고 Gemini 는 3.7-flash 가 최신 flash 다. 직전 실험(2026-08-14)과 같은 모델이라 그 수집분과 직접 비교할 수 있다. - 검색 0회 호출은 별도 집계 후 주 분석에서 제외한다. 찾아보지 않은 것은 "인용하지 않기로 한 것"이 아니다. 제외 건수와 비율을 반드시 보고한다.
3-8. 매개·공변량
| 코드 | 변수 | 왜 넣는가 |
|---|---|---|
| M1 | 색인 페이지 수 | 선행 실험에서 인용을 9.53배 갈랐다. 빼면 링크 효과가 과대추정된다. |
| M2 | 대표 페이지 색인 여부 | 같은 이유 |
| C1 | 업종 | 블록 변수 |
| C2 | 지역 | 질의 지역 |
| C3 | 사이트 규모(발행 페이지 수) | 크면 링크도 인용도 는다 |
| C4 | 도메인 등록 연도 | 업력 대리 — whois 조회 |
M1·M2는 기존 index-probe 스크립트를 재사용한다.
4. 사전 지정 가설과 반증 조건
숫자를 보기 전에 적는다. 보고 나서 적으면 원하는 그림이 나온다.
| # | 가설 | 반증 조건 |
|---|---|---|
| H1 | L1(링크 개수)은 Y1(구글 상위)과 양의 관계 | 계수가 0을 포함하거나 음수 |
| H2 | L1과 Y2(AI 인용)의 관계는 M1(색인) 통제 후 약해진다 | 색인 통제 후에도 계수가 유지되면 반증 — 링크가 색인과 별개 경로를 갖는다는 뜻 |
| H3 | L2(품질)가 L1(개수)보다 설명력이 크다 | 개수만 유의하고 품질이 무의미하면 반증 |
| H4 | 링크→구글 효과가 링크→AI 효과보다 크다 | 두 효과가 같거나 AI 쪽이 크면 반증 |
| H5 | YMYL에서는 공공·협회 유입이, 비-YMYL에서는 플랫폼 유입이 더 기여한다 | 유형별 계수가 블록 간 다르지 않으면 반증 |
H2가 이 실험의 중심이다. 유지되면 "링크빌딩은 AI 인용에 직접 듣지 않고 색인을 통해서만 듣는다"가 되고, 반증되면 우리의 색인 중심 처방에 한 축을 더해야 한다. 어느 쪽이든 쓸 수 있다.
5. 분석 계획 (사전 고정)
주 분석
- Y2a(인용 횟수): 음이항 회귀.
Y2a ~ log(L1+1) + L2 + M1 + M2 + C3 + C4 + 업종 - Y1a(구글 상위 10): 로지스틱 회귀, 같은 우변
- 블록별로 따로 적합한 뒤, 블록 × 링크 상호작용항으로 YMYL 차이를 검정
결측 규칙 — 사전 고정 Common Crawl에 없는 도메인은 결측이지 0이 아니다.
- 주 분석: 수집된 도메인만 사용(완전사례). 업종별 커버리지를 반드시 함께 보고.
- 민감도 1: 결측을 L1=0으로 넣어 재적합. 결론이 뒤집히면 결론을 내리지 않는다.
- 민감도 2: 커버리지를 결과변수로 두고 업종 간 차이를 검정(실측 91.6% vs 75.5%가 우연인지).
다중비교 주 가설은 H1~H5 다섯 개로 한정한다. 업종별 개별 검정은 탐색으로 표시하고 Holm 보정한다. "6업종 × 2결과 × 2노출"을 전부 유의성 검정하면 우연히 뭔가 나온다.
측정 신뢰도 보정 — 2026-08-15 추가 (링크 데이터 결합 전, 가설 검정 전)
수집 6회차 시점에 결과변수의 분리 반신뢰도를 쟀더니 모델 간 차이가 컸다.
| 모델 | k=1 | k=2 | k=3 | 6회 모두 등장 |
|---|---|---|---|---|
| Gemini-3.7 | 0.49 | 0.55 | 0.57 | 17% |
| GPT-5.6 | 0.21 | 0.19 | 0.13 | 5% |
GPT 는 인용 도메인의 56%가 한 번만 등장해, 반복을 늘려도 고정 인용군이 또렷해지지 않고 일회성만 쌓인다. 결과변수 신뢰도가 낮으면 관측 상관이 0 쪽으로 눌린다(감쇠). 따라서 다음을 사전 지정한다.
- 최종 데이터로 k=5 분리 반신뢰도
r_xx를 모델별로 산출해 결과와 함께 보고한다. - 주 분석(원자료 상관)에 더해 감쇠 보정 상관
r / sqrt(r_xx)를 부차 지표로 낸다. 보정값은 상한 추정이므로 단독 인용하지 않고 원자료 값과 나란히 적는다. - 결론 규칙: GPT 에서 귀무 결과가 나와도 "관계 없음"으로 쓰지 않는다. "이 측정 정밀도(r_xx≈0.2)로는 구분하지 못했다"로 적고 신뢰도를 함께 낸다.
🔴 이 항목은 링크 데이터를 붙이기 전에 추가했다. 결과를 보고 나서 보정 방법을 고르면 원하는 그림을 만들 수 있다. 커밋 시각이 그 순서의 근거다.
보고 규칙
모든 수치에 모델명·측정일·모집단을 붙인다. 원장 인용 시 population·period를 함께 읽는다.
6. 검정력 — 돌렸다 (2026-08-15)
scripts/research/backlink/power.py. 모수를 가정하지 않았다 — 결과 분포·노출 분포·
표본틀 크기·커버리지를 전부 기존 수집분에서 실측해 넣었다. 가정으로 남은 것은 효과 크기뿐이다.
6-1. 실측 모수 — 과산포가 설계를 지배한다
| 프레임 | 도메인 | 인용 평균 | 과산포 | 인용 0인 도메인 |
|---|---|---|---|---|
| 의료 | 561 | 5.46 | 41.2 | 32.1% |
| 펜션·웨딩 | 417 | 5.85 | 140.4 | 26.1% |
분위수를 보면 중앙값 1, 90% 13, 최대 205(의료)·457(비-YMYL)이다. 앞선 GEO 검정력 분석에서 쓴 과산포 1.5와 자릿수가 다르다. 그때는 페이지 단위 개입 실험이었고 지금은 도메인 단위 관찰이라 꼬리가 비교가 안 된다. → 주 통계량을 스피어만 순위상관으로 고정한다. 평균·피어슨은 최대값 하나에 끌려간다.
6-2. 질의 수 → 표본틀 (등록도메인 기준, 200회 부분추출 평균)
| 질의 | 6 | 12 | 18 | 24 | 36 | 48 |
|---|---|---|---|---|---|---|
| 표본틀 | 136 | 221 | 288 | 343 | 425 | 489 |
6-3. 업종 하나에서 상관을 잡을 확률 (커버리지 손실 반영)
| 질의 | 표본틀 | ρ=0.10 | ρ=0.15 | ρ=0.20 | ρ=0.30 |
|---|---|---|---|---|---|
| 18 | 288 | 36% | 63% | 87% | 100% |
| 24 | 343 | 41% | 72% | 93% | 100% |
| 36 | 425 | 47% | 78% | 94% | 100% |
| 48 | 489 | 54% | 86% | 98% | 100% |
ρ=0.20이면 질의 18개로 87%다. ρ=0.10은 질의를 48개로 늘려도 54%에 그친다 — 약한 상관은 이 설계로 못 잡는다. 그건 한계로 적고 넘어간다.
6-4. H2(색인 통제 후 남는 효과) — 여기가 병목이다
| 색인이 매개하는 몫 | 남는 ρ | 질의 18 | 질의 48 |
|---|---|---|---|
| 0% | 0.20 | 93% | 99% |
| 30% | 0.14 | 66% | 87% |
| 50% | 0.10 | 41% | 58% |
| 70% | 0.06 | 17% | 26% |
중심 가설의 검정력이 가장 낮다. 색인이 절반을 매개하면 질의를 48개로 늘려도 58%다. 선행 실험에서 발행량이 색인 통제 후 완전히 소멸한 전례를 보면 매개 비율이 높을 가능성이 크다.
→ 결론 규칙을 미리 정한다. 색인 통제 후 유의하지 않게 나와도 그것을 "효과 없음"으로 발표하지 않는다. 검정력이 낮아 구분하지 못했다고 적는다. 이 구분을 안 하면 "링크는 소용없다"는 과장된 결론이 나간다.
6-5. YMYL 대조(블록 상호작용)
| 질의 | 블록당 | 0.30 vs 0.10 | 0.30 vs 0.00 | 0.40 vs 0.10 |
|---|---|---|---|---|
| 18 | 288 | 59% | 91% | 90% |
| 24 | 343 | 66% | 94% | 95% |
| 36 | 425 | 77% | 98% | 98% |
블록 차이는 단일 상관보다 늘 검정력이 낮다. 두 상관을 각각 추정한 뒤 그 차이를 보기 때문이다. "한쪽은 있고 한쪽은 없다"(0.30 vs 0.00) 수준이면 질의 18개로도 91%지만, "둘 다 있는데 크기가 다르다"(0.30 vs 0.10)는 질의 36개에도 77%다.
6-6. 업종 3개를 블록으로 합치면
| 질의/업종 | 블록 표본 | ρ=0.10 | ρ=0.15 | ρ=0.20 |
|---|---|---|---|---|
| 18 | 864 | 74% | 98% | 100% |
| 24 | 1,029 | 84% | 99% | 100% |
업종별로 쪼개면 못 잡는 약한 상관도 블록으로 합치면 잡힌다. → 주 분석은 블록 단위, 업종별은 탐색으로 강등한다.
6-7. 확정 — 업종당 질의 24개
| 항목 | 값 |
|---|---|
| 질의 | 업종당 24개(지역 10 × 문형 2 + 전국 4), 6업종 144개 |
| 예상 표본틀 | 업종당 약 343 · 블록당 약 1,029 · 전체 약 2,058 도메인 |
| 주 분석 | 블록 단위 스피어만. ρ=0.15에서 99%, ρ=0.10에서 84% |
| 업종별 | 탐색. ρ=0.20에서 93% |
| 블록 대조 | 0.30 vs 0.10 에서 66% — 낮다는 것을 알고 시작한다 |
18개에서 24개로 올린 이유는 블록 대조가 59%→66%로 오르고, 업종별 탐색이 87%→93%가 되기 때문이다. 36개까지 올리면 더 좋지만 AI 호출이 1.5배가 되고 얻는 것은 66%→77%다. 24개가 비용 대비 꺾이는 지점이다.
7. 실행 순서와 비용
| 단계 | 내용 | 소요 | 비용 |
|---|---|---|---|
| 0 | 검정력 시뮬레이션 → 표본 수 확정 | 반나절 | 0 |
| 0.5 | 이 문서 등록(사전등록 공개) | — | 0 |
| 1 | 질의 배터리 144개 확정 | 1시간 | 0 |
| 2 | 구글 상위 30 수집(2회) | 1시간 | Serper 288콜, 미미 |
| 3 | AI 인용 수집 144 × 2모델 × k | 8~13시간 | 아래 참조 |
| 4 | 표본 도메인 확정 + 자사 제외 | 30분 | 0 |
| 5 | Common Crawl 엣지 1회 통과 | 70분(실측) | 0 |
| 6 | 색인·규모·whois 부가 측정 | 2시간 | Serper |
| 7 | 사전 고정 분석 + 민감도 | 1~2일 | 0 |
3단계 비용 (GPT 호출당 약 $0.19 실측 기준)
- k=5: 1,440콜 → GPT 720콜 ≈ $137 + Gemini ≈ $20 → 약 $157
- k=10: 2,880콜 → GPT 1,440콜 ≈ $274 + Gemini ≈ $40 → 약 $314
k=10 으로 간다. 선행 재현성 실험에서 5회차에도 신규 노출이 +3.2곳으로 포화에 이르지 못했다. k 가 낮으면 검정력이 아니라 표본틀 자체가 줄어든다 — 6-2절 누적 곡선이 질의 수의 함수인 것과 같은 이유로 반복 수의 함수이기도 하다.
8. 한계 (인용 시 반드시 함께)
- 인과가 아니다. 링크를 늘리면 인용이 는다는 말은 이 설계로 못 한다.
- 상위권 내부의 기울기다. 질의 기반 틀이라 링크도 순위도 없는 업체는 표본에 없다.
- 커버리지가 업종별로 다르다(YMYL 77% vs 비-YMYL 91%, 상한값). 이 차이 자체가 YMYL 대조를 오염시킬 수 있어 민감도 분석으로만 판단한다.
- 링크 데이터는 표본이지 전수가 아니다. Common Crawl이 못 본 링크는 없는 것이 된다. 특히 네이버 블로그·카페에서 나가는 링크가 얼마나 잡히는지 아직 확인하지 않았다 — 5단계에서 유형 구성을 보면 알 수 있고, 그 비중이 비현실적으로 낮으면 한국 시장 해석에 그대로 못 쓴다.
- 시점이 어긋난다. 링크는 5~7월, 결과는 8월. 선행성은 확보되지만 그 사이 변화는 못 본다.
- 업종 3+3은 업종 일반이 아니다. 6개 업종의 결과를 "YMYL 전체"로 넓히지 않는다.
9. 발행 규칙
- 개별 업체의 링크 수·순위·인용 수는 공개 시 익명화한다. 우리가 측정한 남의 성과다.
- 자사 자산은 표본에서 제외하되, 제외했다는 사실을 명시한다.
- 결과가 우리 처방에 불리해도(예: 링크가 인용을 잘 설명함) 그대로 발행한다. 선행 실험에서 자사 주장 두 개를 철회한 전례가 이 문서의 신뢰 근거다.
9-1. 1차 분석 결과 (2026-08-16)
수집 완료: 질의 144 × 모델 2 × 반복 10 = 2,880 호출, 결손·중복 0. 표본 2,672 등록도메인. 링크 커버리지 YMYL 86.8% · 비-YMYL 73.1%. 색인 프로브 2,673건 전량 성공.
H2 반증 — 링크는 색인과 별개 경로를 갖는다
| 블록 · 결과 | 통제 전 | 색인 통제 후 |
|---|---|---|
| YMYL · Gemini | −0.144 | −0.131 |
| YMYL · GPT | +0.272 | +0.256 |
| 비-YMYL · Gemini | −0.131 | −0.153 |
| 비-YMYL · GPT | +0.099 | +0.085 |
거의 줄지 않았고 비-YMYL Gemini 는 오히려 강해졌다. H2 는 반증됐다. 선행 실험에서 발행량은 색인과 동시 투입 시 GPT 에서 1.06배(p=0.098)로 소멸했다 — 발행량은 색인의 대리 지표였지만 링크는 아니다.
모델에 따라 부호가 반대다
| 노출 | 구글 순위 | Gemini 인용 | GPT 인용 |
|---|---|---|---|
| 링크 개수 · YMYL | +0.115 | −0.144 | +0.272 |
| 링크 개수 · 비-YMYL | +0.152 | −0.131 | +0.099 |
| 링크 품질 · YMYL | +0.102 | −0.161 | +0.289 |
| 링크 품질 · 비-YMYL | +0.120 | −0.148 | +0.100 |
전부 p<0.002. 블록 차이는 GPT 인용에서만 유의하다(p<0.0001).
H4 도 반증됐다 — YMYL 에서 링크는 구글 순위(+0.115)보다 GPT 인용(+0.272)을 더 잘 설명한다. H3 은 판정 불가 — 품질(L2)과 개수(L1)의 차이가 0.02 이내로 구분되지 않는다.
신뢰성 점검
- 결측 민감도: 링크 결측을 0 으로 넣어도 부호 유지(−0.144→−0.092, +0.272→+0.192)
- 신뢰도: Gemini r_xx 0.838 · GPT 0.659. GPT 관측 상관은 약 19% 눌려 있다
- 감쇠 보정(상한): GPT YMYL +0.272 → +0.335
탐색 — 음의 상관은 어디서 오나
| 유형 | 도메인 | 유입링크 중앙값 | Gemini 인용 | GPT 인용 |
|---|---|---|---|---|
| 공공·협회 | 207 | 93 | 378 | 1,797 |
| 플랫폼 | 12 | 778 | 655 | 158 |
| 기타(개별 업체) | 1,878 | 4 | 6,002 | 3,640 |
개별 업체는 유입 링크가 중앙값 4개뿐인데 Gemini 인용의 대부분을 가져간다. ⚠️ 사후 분류이며 사전 지정 분석이 아니다. 주 결론에 쓰지 않는다.
수집 중 겪은 사고 (기록)
- 타임아웃에 잘려 뒤쪽 업종 24건 통째 누락 → 회차별 미완 표시로 방지
- 잘린 프로세스가 살아 있는데 새 구동기를 띄워 19건 중복 → provider 별 잠금
- OpenAI 크레딧 소진 · Serper 크레딧 소진 → 실패 행이 '완료'로 취급돼 재수집을 막는다는 것을 발견. 세 번 걸린 뒤 스크립트가 성공 행만 건너뛰도록 고쳤다
- 추출기 메모리 설계 오류(유입원 5,000만 건 예상) → 저수지 추출로 전환
- 품질 기준선을 유입원 집합 안에서 계산 → 전체 1억 1,800만 도메인 기준으로 수정
- 매개변수 M1 수집 계획 누락 → 발견해 추가. 없었으면 H2 를 검정하지 못했다
10. 변경 이력
- 2026-08-15 초안 작성. 처리 속도·
link:폐기 여부를 실측해 반영. - 2026-08-15 검정력 시뮬레이션 완료. 세 가지가 바뀌었다.
- 커버리지 값을 뒤집었다. 45개 표본으로 잰 YMYL 77%/비-YMYL 91%는 월간 크롤 색인이었고, 표본틀 978개 전량으로 다시 재니 웹그래프 기준 91.6%/75.5% 로 반대였다. 링크 분석에 쓰는 것은 웹그래프이므로 후자가 유효하다. 작은 표본으로 낸 값을 설계에 넣을 뻔했다.
- 과산포가 41~140 으로 측정됐다. 앞선 GEO 검정력 분석의 1.5와 자릿수가 다르다. 주 통계량을 스피어만 순위상관으로 고정했다.
- 질의를 업종당 18 → 24 개로 올렸다. 블록 대조 검정력 59%→66%, 업종별 87%→93%. 36개까지 올려도 66%→77%에 그쳐 비용 대비 꺾이는 지점이 24다.