사전 등록 문서
사전 등록: 병원 홈페이지 상태와 AI 인용의 연관
(주)인트릭스 · 결과가 나오기 전에 확정·공개했습니다
- 문서 상태: 1차 분석 완료(2026-08-13) — 설계 2건을 수집 후에 바꿨다. 사유는 6절 변경 이력에 있다
- 작성: 2026-08-13
- 선행:
kr-llm-citation-nationwide-derm-corrected-2026-08-13 - 데이터 기탁: DOI 10.5281/zenodo.21918491 (CC BY 4.0, 익명화)
- 이 문서는 관찰 연구다. 인과 주장을 하지 않는다. 인과 팔은 별도로 도는 GEO RCT다.
0. 이 설계가 다시 쓰이는 이유
2026-08-10에 같은 질문으로 한 번 재봤고, 두 가지가 틀렸다.
(1) 모집단이 틀렸다. 전국 데이터셋의 소유 판정에 부산 명부가 쓰여 노출 병원이 46곳인데 4곳으로 집계됐다. 2026-08-13 정정.
(2) 잰 페이지가 틀렸다. 프로브는 명부의 website, 즉 홈페이지만 쟀다.
그런데 실제 인용된 URL은 확인한 9건이 전부 하위 페이지였다.
paik.ac.kr/busan/user/department/view.do?... 진료과 소개
busanmc.or.kr/...?pCode=clinicstaff&mode=view 의료진 소개
skyskin.co.kr/clinic_07 진료 항목
oracleclinic.com/new/doc/net_main.php?netId=70 지점/의료진
홈페이지 본문이 9자인 병원이 인용됐다. 홈페이지로 인용을 설명하려는 설계 자체에 결함이 있었다.
1. 연구 질문
한국어 발견형 질의("○○에서 피부과 잘하는 곳")에 대한 AI 답변에서, 병원이 자기 도메인으로 인용되는 정도는 그 병원 사이트의 기계 판독 가능성과 연관되는가?
부수 질문: 연관이 없다면, 인용을 가르는 것은 무엇인가(기관 규모·지역·제3자 노출).
2. 먼저 확인한 것 — 설계를 지배하는 제약
2-1. "노출/비노출"은 고정된 속성이 아니다
기존 3회차 데이터를 회차별로 갈라 봤다.
| 값 | |
|---|---|
| 회차별 노출 병원 수 | 29 · 32 · 30곳 |
| 누적(순서 무작위 평균) | 30 → 40 → 46곳 |
| 마지막 회차가 더한 신규 | +5.6곳 (포화 안 됨) |
| 전·후반 분할 재현율(Jaccard) | 50% |
| 1회만 인용된 병원 | 46곳 중 16곳 |
회차를 늘리면 노출 집합이 계속 커진다. 이진 라벨(노출/비노출)은 이 데이터에서 구성 자체가 성립하지 않는다.
2-2. 이진 비교는 검정력이 없다
46곳 대 404곳, 이진 속성, 비노출 기준률 20% 가정. 4,000회 모의.
| 노출군 실제 비율 | 라벨이 정확할 때 | 라벨 50% 잡음 |
|---|---|---|
| 30% (+9p) | 37% | 13% |
| 40% (+20p) | 84% | 31% |
| 50% (+30p) | 99% | 56% |
| 60% (+40p) | 100% | 76% |
라벨 잡음을 감안하면 기준 대비 +40%p 차이가 있어야 80% 검정력이 나온다. 그 정도 차이는 현실적이지 않다. 이진 설계는 폐기한다.
2-3. 그래서 결과변수를 바꾼다
이진 라벨 대신 **인용 횟수(카운트)**를 쓴다. 같은 데이터에서 정보량이 훨씬 크고, "몇 번 인용됐나"가 원래 알고 싶은 것에도 더 가깝다.
3. 설계
3-1. 모집단
심평원 표시과목 피부과(05) · 전국 · 피부과 전문의 1인 이상 · 공식 웹사이트 보유 = 450개소 전수(표집 아님), 16개 시도. 기존 명부를 그대로 쓴다.
3-2. 결과변수 (사전 고정)
주 결과: 병원별 발견형 인용 횟수 (0 이상 정수)
- 수집: 발견형 프롬프트 3종 × 16개 시도 × k회 반복
- 각 병원의 인용 기회는 자기 지역 질의 3종뿐이므로, 노출 기회를 오프셋으로 넣는다
3-3. 반복 횟수 k = 10 (2026-08-13 파일럿으로 확정)
당초 "신규 병원이 회차당 2곳 미만이면 중단"을 규칙으로 잡고 k=5 파일럿을 돌렸다. 그 규칙에는 도달하지 못했고, 도달하지 않을 것으로 판단해 규칙을 바꾼다.
파일럿 결과 (Gemini, 240호출, 실패 0)
누적 노출 병원 (회차 순서 무작위 200회 평균)
| 회차 | 누적 | 신규 |
|---|---|---|
| 1 | 28.1곳 | +28.1 |
| 2 | 41.0곳 | +12.9 |
| 3 | 47.9곳 | +6.9 |
| 4 | 51.8곳 | +3.9 |
| 5 | 55.0곳 | +3.2 |
꼬리가 길어 k를 20까지 올려도 포화는 오지 않을 것으로 본다.
그런데 포화가 목표가 아니다. 같은 파일럿에서 더 중요한 것이 나왔다.
| 2026-08-09 (k=3) | 2026-08-13 (k=5) | |
|---|---|---|
| 발견형 소유 비율 | 9.80% | 9.40% |
| 노출 병원 | 46곳 | 55곳 |
| 두 회차 재현율(Jaccard) | 60% (38/63곳) |
비율은 재현되고 명단은 재현되지 않는다. 4일 간격 독립 수집에서 소유 비율은 0.4%p 차이인데 노출 병원 집합은 40%가 갈렸다.
이것이 설계를 확정한다. 결과변수를 이미 카운트로 잡아 두었고, 카운트는 비율이 안정적인 만큼 잘 추정된다. 명단을 완성하려고 회차를 늘리는 것은 값이 없다.
그래서 k=10에서 멈춘다. 근거는 포화가 아니라 관측 기회 수다 — 병원당 3프롬프트 × 10회 = 30회 관측이면 저빈도 병원도 0/30과 1/30이 갈린다.
비용 (2026-08-13 실측 단가·사용량 기준)
| 호출/모델 | Gemini | GPT-5 | 합계 | |
|---|---|---|---|---|
| k=10 | 480 | $6 | $98 | $104 |
| (참고) k=20 | 960 | $11 | $196 | $207 |
GPT 쪽이 17배 비싼 이유는 검색 결과가 컨텍스트로 들어가기 때문이다 (호출당 입력 토큰 Gemini 224 vs GPT 41,612).
3-4. 설명변수 — 무엇을 잴 것인가
측정 대상 페이지를 노출 여부와 무관한 규칙으로 고른다. 이게 이 설계의 핵심이다.
병원마다 "대표 진료 페이지" 1개를 아래 우선순위로 기계적으로 선정한다.
- 피부과 진료과 소개 페이지
- 없으면 의료진 소개 페이지
- 없으면 진료 항목/클리닉 페이지
- 없으면 홈페이지 (이 경우
대표페이지_없음 = 1로 따로 기록)
선정은 인용 데이터를 보지 않고 수행한다. 홈페이지도 별도로 재서 두 층을 비교한다.
측정 항목 (대표 페이지 기준)
| 구분 | 항목 |
|---|---|
| 주 설명변수 | 추출 가능 본문 글자수(로그) |
| 자바스크립트 없이 렌더되는가(SSR/CSR) | |
| 보조 (5개, 사전 고정) | 의료 스키마 JSON-LD 유무 · h1 유무 · AI 봇 차단 여부 · robots.txt가 해당 경로 허용 · 페이지 응답 상태 |
주 설명변수를 둘로 좁힌 이유: 홈페이지 본문이 9자·23자인 사례가 이미 관측됐고, 그 원인이 CSR로 의심된다. 가장 근본적인 층부터 본다.
3-5. 통제 변수
- 시도(16) — 지역별 편차가 크다(충북 27.6% · 제주 0.0%)
- 기관 종별 — 대학병원 / 공공의료원 / 병원 / 의원
- 지역별 총 인용량 — 오프셋
3-6. 분석 계획 (사전 고정)
- 주 분석: 음이항 회귀(과산포 예상). 종속 = 인용 횟수, 설명 = 본문 글자수(로그)
- SSR 여부, 통제 = 시도 + 기관 종별, 오프셋 = 지역 인용량
- 유의수준 0.05. 보조 5개는 Holm 보정
- 과산포가 없으면 포아송으로 내려간다(사전 지정)
3-7. 민감도 분석 (사전 고정)
- 대표 페이지 대신 홈페이지로 재도 결론이 같은가
- 최다 인용 병원(현재 24건)을 제외해도 같은가
- 인용 횟수를 이진화(≥1)해도 같은가 — 과거 설계와의 연결
- 대학병원·공공의료원을 빼고 민간 의원만 봐도 같은가
3-8. 중지·발행 규칙
- 설계를 이 문서로 고정한 뒤에 수집을 시작한다
- 유의하지 않아도 그대로 발행한다. 오히려 그쪽이 이 연구의 주된 예상이다
- 수집 중 설계를 바꾸면 변경 이력과 사유를 이 문서에 남긴다
4. 예상과 반증 조건
예상: 사이트 상태와 인용 횟수 사이에 유의한 연관이 없거나 약할 것이다.
근거는 이미 나와 있다. 발견형 인용의 상위 도메인은 예약·비교 플랫폼이 장악하고 있고(my-doctor.io 174건 · doctornow 128건), 본문 9자짜리 병원 페이지도 인용됐다.
이 예상이 틀렸다고 인정할 조건: 시도·기관 종별을 통제한 뒤에도 본문 글자수 또는 SSR 여부의 계수가 유의하고, 방향이 예상과 반대(사이트가 좋을수록 인용 많음)이며, 민감도 분석 4개 중 3개 이상에서 유지될 때.
5. 한계 (인용 시 반드시 함께)
- 모델 1종(Gemini). ChatGPT·Perplexity는 키가 없어 빠졌고, 네이버 AI 브리핑은 공식 API가 없어 아예 못 넣었다 — 한국 시장 연구인데 네이버가 없다
- 관찰 연구다. 연관이 나와도 인과가 아니다. 큰 기관이라 사이트도 좋고 제3자 노출도 많은 것일 수 있다. 이 설계로는 그 셋을 못 가른다
- 단일 진료과(피부과), 단일 시점
- 노출 병원 명단은 회차마다 40%가 바뀐다(4일 간격 재현율 60%). "이 병원이 인용된다"는 개별 진술은 하지 않는다. 집계만 쓴다
- 인용은 답변에 이름이 나오는 것과 다르다. 여기서 재는 것은 자기 도메인이 출처로 달렸는가뿐이다
5-1. 1차 분석 결과 (2026-08-13)
수집: 모델당 480호출(실패 0) · 프로브 450곳(응답 316 · 미응답 134)
주 결과 — 본문 글자수가 e배 늘 때 인용 횟수의 배율
| 전수 450곳 | 응답분 316곳 | |
|---|---|---|
| Gemini 3 Flash | 1.39배 (p<0.0001) | 1.28배 (p=0.0001) |
| GPT-5 | 1.06배 (p=0.0013) | 0.92배 (p=0.0022) |
Gemini 는 방향이 일관된다. GPT-5 는 죽은 사이트를 넣느냐에 따라 부호가 뒤집힌다 — 즉 GPT 에서 관측된 연관은 "사이트가 살아 있는가"가 대부분이고, 살아 있는 것들끼리는 오히려 본문이 적은 쪽이 더 인용됐다.
보조 항목 (Holm 보정 후 유의한 것만)
| Gemini | GPT-5 (전수) | |
|---|---|---|
| h1 | 없음 | p<0.0001 |
| robots.txt | 없음(p=0.075) | p=0.0019 |
| 정상 응답(200) | 없음 | p<0.0001 |
| 의료 스키마 | 없음(p=0.073) | 없음 |
| AI봇 차단 | 없음 | 없음 |
해석. 사전 예상("연관이 없거나 약할 것")은 절반만 맞았다. GPT-5 에서는 연관이 있으나 그 내용이 콘텐츠 품질이 아니라 가장 낮은 층이다 — 열리는가, h1 이 있는가, robots.txt 가 있는가. Gemini 에서는 사이트 상태로 설명되는 것이 거의 없다. 발견형 인용의 대부분이 예약·비교 플랫폼으로 가는 것과 일치한다.
가장 큰 신호는 450곳 중 134곳(30%)이 사이트에 접속조차 되지 않는다는 것이다.
GPT-5 의 ok200 항목이 그것을 잡았다.
6. 변경 이력
| 일자 | 내용 |
|---|---|
| 2026-08-13 | 초안. 이진 설계 폐기, 카운트 회귀로 전환. 측정 단위를 홈페이지에서 대표 진료 페이지로 변경 |
| 2026-08-13 | 수집 후 변경 ① 주 설명변수에서 js_shell 제외. 해당 병원이 316곳 중 5곳뿐이고 그중 1곳(창원파티마병원, 22회 인용)이 계수를 exp(β)=93.4 까지 끌어올렸다. 셀이 작아 추정 자체가 불가능하다고 판단 |
| 2026-08-13 | 수집 후 변경 ② 사이트가 응답하지 않는 134곳을 결측이 아니라 본문 0자로 포함. 이들을 빼면 인용 가능성이 가장 낮은 집단이 통째로 사라져 "살아 있는 사이트끼리의 비교"가 된다. 원래 설계(응답분만)는 민감도 분석으로 함께 보고 |
| 2026-08-13 | k=5 파일럿(Gemini 240호출) 후 k=10 확정. 중단 근거를 "포화"에서 "병원당 관측 기회 30회"로 변경 — 5회차에도 신규 3.2곳으로 포화가 오지 않았고, 대신 비율은 재현되고 명단은 60%만 재현된다는 것이 확인됐다 |