GEO 효과는 어떻게 검증할까 - 병원 1,991곳 무작위 대조 실험을 시작하며

GEO 개입이 효과가 있는지 알려면 같은 조건의 페이지를 무작위로 둘로 나누고, 한쪽만 고친 뒤, 결과를 보기 전에 계산 방법을 정해 두어야 합니다. 고치기 전후를 비교하는 방식은 쓸 수 없습니다. AI 크롤러 방문량이 주마다 66배까지 오르내려서, 개입 때문인지 그 주가 원래 그랬는지 갈라낼 수 없기 때문입니다.

저희는 2026년 8월 10일 14시 4분에 병원 페이지 1,991곳을 무작위로 나눠(대조 998, 처치 993) 실험을 시작했습니다. 결과는 10월 5일에 나옵니다. 이 글은 그 전에 씁니다.

전후 비교로는 왜 안 될까?

AI 크롤러는 매일 조금씩 오지 않습니다. 한동안 잠잠하다가 한 번에 몰려옵니다. 저희 사이트의 주별 방문 수는 적게는 268회, 많게는 17,661회였습니다(2026-06-01~08-10 실측). 봇별로는 더 심합니다. ClaudeBot은 3~4주 전에 8회였다가 최근 2주에 7,048회 왔습니다.

이런 데이터에서 "고치고 나니 방문이 늘었다"는 아무 말도 아닙니다. 안 고쳤어도 늘었을 수 있습니다. 같은 기간에 아무것도 안 바꾼 집단이 옆에 있어야, 그 집단과의 차이로 개입 효과를 잴 수 있습니다.

무엇을 바꿨고 무엇을 재나?

처치군 페이지에는 두 가지를 넣었습니다. 본문 맨 위에 질문에 대한 답을 먼저 쓴 블록, 그리고 물음표로 끝나는 소제목입니다. 없던 사실을 만들지는 않았고, 페이지에 이미 있던 정보의 순서와 표현만 바꿨습니다. 대조군은 손대지 않았습니다.

재는 것은 AI 크롤러 방문 수입니다. GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot 네 종을 셉니다.

측정이 오염되지 않았다는 것은 어떻게 아나?

파일이 바뀌면 그 자체가 크롤러를 부르는 신호가 됩니다. 내용이 좋아서가 아니라 그냥 바뀌었다는 이유로 다시 옵니다. 그래서 배포가 사이트맵의 수정일을 건드리지 않았는지 확인했습니다. 배포 전후 해시를 대조했고 전체 24,815행, 대상 1,993행 모두 같았습니다. 본문을 자동 생성하는 파이프라인도 멈추고 해시를 기록했습니다.

계산이 맞는지도 미리 확인했습니다. 개입이 없던 과거 구간에 같은 계산식을 적용해 봤습니다. 효과가 0으로 나와야 정상인데, 발생률비 0.9967(95% 신뢰구간 0.9410~1.0557, p=0.9099)로 0과 구분되지 않았습니다.

결과가 안 나오면 어떻게 하나?

그대로 공개합니다. 사전 등록 문서에 그렇게 적어 두었습니다.

근거를 하나 들겠습니다. 저희는 무료 진단 리포트에서 llms.txt라는 파일을 만들라고 권해 왔습니다. AI에게 사이트 구조를 알려주는 파일이라는 설명과 함께였습니다. 그런데 저희 사이트 로그 75일치를 확인해 보니, AI 크롤러 10종이 1,622회 방문하는 동안 이 파일을 가져간 요청은 0건이었습니다(2026-08-10 기준). 같은 봇들이 robots.txt는 413회, 사이트맵은 285회 가져갔습니다.

그래서 리포트 문구를 고쳤습니다. 초안은 계속 드리되 효과가 확인되지 않았다고 밝히고, 위 숫자를 함께 싣고, 먼저 손댈 항목이 아니라고 적었습니다.

이 결과를 어디까지 믿어야 하나?

표본이 처음 계획의 13%로 줄었습니다. 로그에 남은 주소 중 상당수가 실제로 없는 페이지였고, 넣으려던 개입 하나는 이미 전 페이지에 들어가 있어 비교 자체가 불가능했습니다. 두 정정 모두 결과를 보기 전에 했고 시점과 이유를 문서에 남겼습니다.

그래서 미리 정해 둡니다. 차이가 유의하게 나오지 않아도 "효과가 없다"고 쓰지 않겠습니다. 신뢰구간을 함께 내고, 의미 있는 크기가 그 구간에 들어 있으면 "이 표본으로는 확인하지 못했다"로 적습니다. 검출력이 모자란 것과 효과가 없는 것은 다릅니다.

실험 대상은 저희가 운영하는 사이트 한 곳입니다. 여기서 나온 결과가 다른 사이트에서 같게 나온다는 보장은 없습니다. 저희는 순위나 인용, 특정 성과를 보장하지 않습니다. 이 실험이 답할 수 있는 것은 한 사이트에서 한 가지 개입이 크롤러 행동을 얼마나 바꿨는가까지입니다. 사전 등록 문서와 배정 시드, 분석 코드는 결과와 함께 공개합니다.

자주 묻는 질문 (FAQ)

Q. 사전 등록이 무엇인가요?
결과를 보기 전에 가설, 표본, 계산 방법, 실험을 무효로 할 조건을 문서로 고정해 공개하는 절차입니다. 결과를 본 뒤 유리한 해석을 고르는 것을 막습니다. 임상시험에서 쓰는 방식과 같습니다.

Q. 실험 대상 사이트를 왜 밝히나요?
한 곳에서만 한 실험이라 어디인지 밝히지 않으면 다른 사람이 검증할 수 없습니다. 저희가 직접 운영하는 피부과 정보 사이트 크덤집(kdermzip.com)이며, 고객사 데이터는 쓰지 않았습니다.

Q. 결과는 언제 어디에 공개되나요?
2026년 10월 5일에 관측이 끝납니다. 유의 여부와 관계없이 전 지표를 이 연구소 페이지에 공개합니다.