AI 크롤러는 robots.txt를 지킬까 - 1,622회 중 위반 2건

지켰습니다. 75일 동안 AI 크롤러 10종이 1,622회 방문하는 사이 robots.txt로 막아 둔 경로에 들어온 것은 2건(0.12%)이었습니다(2026-08-10 기준). CCBot이 관리자 경로로 1회, Claude-Web이 API 경로로 1회입니다.

왜 이걸 확인해야 할까?

진단이나 컨설팅에서 "AI 봇을 허용하세요" 또는 "차단하세요"라고 조언하는데, 봇이 그 파일을 안 지키면 조언 자체가 성립하지 않습니다. 전제를 확인하지 않고 처방을 파는 셈이 됩니다. 그래서 저희 사이트의 금지 경로 목록과 실제 접근 기록을 대조했습니다.

결과는 전제가 성립한다는 쪽입니다. 최소한 저희가 로그로 잡는 크롤러들은 지킵니다.

그럼 robots.txt만 믿으면 될까?

그렇지 않습니다. 규칙을 지키는 쪽은 정직하게 자기 이름을 밝힌 크롤러뿐입니다. 이름을 사칭한 트래픽은 규칙을 지킬 이유가 없습니다.

사칭은 실제로 있습니다. 저희 로그에서 접속 출처를 대조해 보니 바이두 크롤러를 자칭한 트래픽의 절반 이상, 챗GPT 계열 크롤러를 자칭한 것의 5~6%가 실제 출처와 맞지 않았습니다. 게다가 이 숫자는 하한입니다. 누구나 대형 클라우드에 서버를 하나 빌려 크롤러 이름을 달 수 있어서, 접속 출처만으로는 전부 걸러낼 수 없습니다.

실제로 챗GPT 이용자 크롤러를 자칭하고 서버 비밀번호를 찾는 요청이 들어온 기록이 있었습니다. robots.txt는 그런 요청을 막지 못합니다.

그래서 무엇을 해야 할까?

robots.txt는 정직한 크롤러에게 의사를 전달하는 수단으로는 작동합니다. 허용하려면 허용한다고, 막으려면 막는다고 적으면 그대로 따릅니다.

다만 보안 수단은 아닙니다. 민감한 경로는 robots.txt에 적는 것과 별개로 인증이나 접근 제어로 막아야 합니다. robots.txt에 적는 순간 "여기 뭔가 있다"고 알려주는 셈이기도 합니다.

저희 사이트 한 곳의 기록이며, 저희는 특정 크롤러의 행동이나 성과를 보장하지 않습니다.

자주 묻는 질문 (FAQ)

Q. AI 봇을 막으면 AI 답변에서 사라지나요?
크롤되지 않으면 인용될 수 없으므로 노출 기회는 줄어듭니다. 다만 막는 것이 맞는 선택인 경우도 있습니다. 판단 기준은 그 콘텐츠로 무엇을 얻으려 하는가입니다.

Q. 우리 사이트도 확인할 수 있나요?
서버 로그에서 robots.txt의 Disallow 경로와 실제 요청 기록을 대조하면 됩니다. 접속 출처(ASN)까지 함께 보면 사칭도 일부 걸러집니다.