사전 등록 문서

sitemap lastmod 수정 여부 — 사전 등록

(주)인트릭스 · 결과가 나오기 전에 확정·공개했습니다

이 문서는 관측이 시작되기 전에 확정·공개됐다. 결과를 보고 기준을 정하면 그건 사후 합리화다. 인트릭스 연구소의 원칙 "결과 전에 계획을 공개한다"를 여기에 적용한다.

확정·공개 2026-08-11
관련 칼럼: 같은 결함을 왜 한쪽만 고쳤을까
상위 실험: GEO 개입의 AI 크롤러 수집 효과 (2026-08-10 ~ 10-05)

1. 왜 이 관측이 필요한가

직접 운영하는 피부과 정보 사이트의 사이트맵에서 결함을 찾았다. lastmod가 콘텐츠 변경 시각이 아니라 데이터베이스 배치 실행 시각을 담고 있었다. 3,584개 URL 전부가 최근 8일 안의 값을 달고 있었고 고유값은 6개였다.

같은 결함을 인트릭스 자사 사이트에서도 찾았고 그쪽은 즉시 고쳤다. 실험이 걸려 있지 않기 때문이다. 그러나 피부과 사이트에서는 무작위 대조 실험이 돌고 있어, 수정이 공동개입(co-intervention) 이 된다.

교환 구조가 나쁘다. 고쳐서 얻는 것은 검색 크롤러·색인 쪽인데, 잃을 위험은 AI 봇 방문 수 = 그 실험의 결과변수다. 측정하지 않는 지표를 얻자고 측정하는 지표에 위험을 거는 구조다.

편향은 생기지 않는다(수정이 군과 무관하게 전 페이지에 걸리므로 무작위 배정이 흡수한다). 문제는 검정력이다.

2. 핵심 미지수와 그것을 잰 방법

핵심 미지수는 하나다 — AI 크롤러가 사이트맵의 lastmod를 읽는가. lastmod를 스케줄링에 쓴다고 문서로 밝힌 것은 검색엔진이고, AI 크롤러가 그러는지는 확인된 바가 없다.

자체 로그로 답하려 했으나 불가능했다. 미들웨어가 사이트맵·robots.txt 요청을 애초에 기록하지 않고 있었다. 조회 결과 0건은 "아무도 안 읽었다"가 아니라 "우리가 안 남겼다"였다.

그래서 고치지 않고 관측만 붙였다.

전용 테이블을 새로 만들었다. 기존 봇 집계에 섞으면 경로 필터 없이 세는 쿼리가 오염되고, 그중 하나는 사이트에 공개되는 수치다. 분리하면 오염이 구조적으로 0이다
미들웨어는 기록만 하고 즉시 통과한다 — 응답을 바꾸지 않는다
관측 자체는 실험에 영향을 주지 않는다

3. 판정 기준 (관측 전에 고정)


관측 시작	2026-08-11 01:17:58 KST
관측 창	14일
판정일	2026-08-25
대상 봇	GPTBot · ClaudeBot · OAI-SearchBot · PerplexityBot (실험 결과변수와 동일)

판정 값: 위 4봇의 sitemap · sitemap_index 요청 수 (위장 UA 제외)

결과	행동
0 건	lastmod 수정을 진행한다. 실험 보고서에 공동개입으로 기록하고 배포 시각을 남긴다
1 건 이상	2026-10-05(실험 종료)까지 동결한다

유효성 임계 — "0건"을 믿어도 되는 조건

같은 창에서 같은 4봇의 robots · llms 요청이 10건 이상일 때만 0건 판정을 유효로 본다. 미만이면 관측 실패로 보고 창을 14일 연장한다(판정일 2026-09-08).

근거: 그 4봇은 직전 14일 동안 이 사이트에 60,945건을 요청했다. 그만큼 크롤하면서 메타 파일을 열 번도 가져가지 않는 것은 크롤러의 행동이 아니라 기록이 죽었다는 뜻으로 보는 것이 타당하다. 통과를 쉽게 하려는 값이 아니라 명백한 로깅 실패만 걸러내기 위한 하한이다.

4. 이 검정의 한계 — 미리 밝힌다

한쪽으로만 결론이 난다. "0건"은 위험 소멸을 뜻하지만 "1건 이상"은 가져갔다는 사실일 뿐 lastmod를 스케줄링에 쓴다는 증명이 아니다. 그래서 1건 이상일 때의 행동을 "추가 조사"가 아니라 동결로 못박았다. 모르는 채로 위험을 감수하지 않는다
robots · llms는 판정에 넣지 않는다. robots.txt를 읽는 것과 사이트맵 lastmod를 스케줄링에 쓰는 것은 다르다. 기록은 하되 보고용이다
관측 창이 짧을 수 있다. 크롤러가 사이트맵을 월 1회만 가져간다면 14일은 구조적으로 0을 만든다. 유효성 임계가 그 경우를 일부 걸러내지만 완전하지는 않다
규모를 과장하지 않는다. 이 사이트의 미색인 페이지는 클리닉 주소 수보다 자릿수가 크고 대부분 자동 생성 조합 페이지다. 이 결함이 그 미색인의 주원인이라는 근거는 없다
4봇을 선언했으나 결과변수 경로에서는 PerplexityBot의 기여가 거의 없다. 실질은 3봇 측정이며 결과 보고 시 명시한다

5. 선행 사례와 우리의 예측 — 결과를 보기 전에 적는다

이 절은 2026-08-11에 작성됐다. 판정일(08-25)보다 2주 앞이고, 이 시점의 적격 4봇 사이트맵 요청은 0건이다. 즉 결과를 보고 쓴 것이 아니다. 예측을 미리 적어 두어야 맞았는지 틀렸는지가 값을 갖는다.

참고한 선행 데이터

한 웹사이트가 공개한 48일치 서버 로그 분석이 이 질문에 가장 가깝다 (2026-02-01 ~ 03-20, 총 요청 71,603건 중 봇 12,099건, UA + ASN/IP 검증).

ClaudeBot과 GPTBot이 2026년 3월 18~19일에 처음으로 sitemap.xml을 요청하기 시작했다 — 같은 시기, 서로 다른 회사에서
48일간 sitemap.xml 요청: Bingbot 139 · Claude-SearchBot 135 · Meta-WebIndexer 30 · ClaudeBot 14 · GPTBot 2
48일간 robots.txt 요청: OAI-SearchBot 180 · ClaudeBot 175 · Claude-SearchBot 164
출처: https://www.wislr.com/articles/ai-bot-behavior-log-analysis

그래서 우리는 이렇게 예측한다

판정 값이 1건 이상으로 나와 동결(선택지 B)이 될 가능성이 높다고 본다.

근거는 둘이다. 첫째, 위 수치를 14일로 환산하면 ClaudeBot만으로도 약 4건이다. 둘째, 규모가 다르다 — 그 사이트는 48일간 봇 요청이 12,099건인데 우리 적격 4봇은 14일에 60,945건이다. 약 20배이므로 사이트맵 요청도 그만큼 더 나온다고 보는 편이 자연스럽다.

유효성 임계 10건도 이 데이터로 교차 확인된다. 그 사이트에서 robots.txt가 48일에 ClaudeBot 175건이면 14일 약 50건이다. 훨씬 큰 우리 사이트에서 10건 미만이 나온다면 그것은 크롤러 행동이 아니라 기록 실패로 보는 것이 타당하다는 뜻이다.

이 선행 데이터를 어디까지 믿는가

단일 사이트이고 동료 심사를 거치지 않았다. 작성자 스스로 "이 데이터는 해당 사이트에 한정되며 업계 추세로 읽으면 안 된다"고 명시했다
봇 행동은 시간에 따라 불안정하다. 같은 글이 재검증한 17개 항목 중 11개가 바뀌었다고 적고 있다. 3월 데이터로 8월을 예측하는 것 자체가 약한 추론이다
검색엔진 요약에는 "GPTBot이 last-modified가 신선하면 재방문 간격이 2.4일에서 1.6일로 준다"는 문장이 붙어 있었으나 원문에 그런 서술은 없다. 원문을 직접 열어 확인했고, 이 문서에는 원문에서 확인한 값만 적었다
우리 결과가 이 예측과 달라도 예측을 고치지 않는다. 예측은 여기 그대로 남는다

6. 결과

미기입. 2026-08-25에 사전 고정된 쿼리를 그대로 실행해 값과 판정을 여기 적는다. 유의 여부와 관계없이, 그리고 §5의 예측이 틀렸더라도 그대로 공개한다.

← 인트릭스 연구소