AI 크롤러는 정말 사이트를 읽고 있을까 — 60일 361,805회 방문 로그 분해

읽고 있습니다 — 그것도 생각보다 훨씬 많이. 저희가 직접 운영하는 피부과 정보 플랫폼 크덤집(K-DermZIP)에는 최근 60일간 AI 크롤러가 361,805회 방문했습니다(2026-08-04 기준, 자체 봇 로그 집계). 최근 30일만 잘라도 236,984회, 서비스 개시 후 누적으로는 AI 봇만 646,586회입니다. 이 글은 그 로그를 봇별로 분해해, "AI가 사이트를 읽는다"는 말이 실제로 어떤 트래픽으로 나타나는지 보여드립니다.

어떤 봇이 얼마나 다녀갔을까?

60일 상위 목록은 이렇습니다. GPTBot 125,190회, ClaudeBot 68,305회, Bytespider 53,304회, OAI-SearchBot 40,689회, Amazonbot 39,628회, meta-externalagent 30,328회, ChatGPT-User 3,821회, PerplexityBot 461회. 집계는 저희가 직접 붙인 봇 로그 파이프라인에서 나왔고, User-Agent 문자열만 믿지 않고 네트워크 신원(ASN)으로 위장 봇을 걸러낸 수치입니다.

이 목록에서 성격이 다른 줄이 하나 있습니다. ChatGPT-User 3,821회는 학습·색인용 크롤이 아니라 사용자가 ChatGPT에 질문한 순간 답을 만들기 위해 실시간으로 페이지를 열어본 기록입니다. 규모는 작아 보여도, 60일 동안 3,821번의 실제 질문 순간에 저희 페이지가 참조 후보로 열렸다는 뜻이라 저희는 이 줄을 가장 중요하게 봅니다.

방문이 많으면 인용도 많아질까?

여기서 정직해질 필요가 있습니다. 봇 방문은 "AI가 내용을 가져가서 검토했다"까지만 말해줍니다. 답변에 실제로 인용됐는지는 별개의 문제고, 저희는 방문 로그를 인용 실적처럼 포장하지 않습니다. 다만 순서는 분명합니다 — 크롤되지 않는 페이지는 인용될 수 없습니다. 그래서 방문 로그는 GEO의 성과 지표가 아니라 전제 조건이 충족되고 있다는 계기판으로 읽는 것이 맞습니다.

참고로 전체 봇(검색엔진 포함)으로 넓히면 누적 1,162,056회입니다. AI 봇 646,586회와의 차이를 보면, 이 사이트에서는 이미 AI 계열 크롤러가 전통 검색엔진 크롤러와 비슷한 급의 방문 주체가 됐다는 것도 확인됩니다.

이 데이터에서 무엇을 가져가면 될까?

첫째, robots.txt에서 AI 봇을 명시적으로 허용하고 있는지 확인하세요. 둘째, 서버 로그나 CDN 로그에서 GPTBot·ClaudeBot·ChatGPT-User의 방문 여부를 직접 세어보세요 — 0에 가깝다면 구조(차단·렌더링·접근성) 문제부터 의심해야 합니다. 셋째, 방문이 확인된다면 다음 질문은 "읽을 가치가 있는 내용을 주고 있는가"로 넘어갑니다. 저희 무료 SEO·GEO 진단은 이 중 첫 두 단계(AI 봇 접근성·크롤 가능성)를 실측으로 확인해 드립니다. 물론 진단이나 구조 개선이 특정 답변에서의 인용이나 순위를 보장하지 않습니다 — 저희가 보여드릴 수 있는 것은 전제 조건의 실측뿐입니다.

이 플랫폼이 어떤 구조로 AI에 읽히게 설계됐는지는 크덤집 소개 페이지에 정리돼 있습니다.

자주 묻는 질문 (FAQ)

Q. 봇 방문 수는 어떻게 집계했나요?
자체 봇 로그 파이프라인으로 방문 기록을 수집하고, User-Agent 위장을 거르기 위해 네트워크 신원(ASN)을 함께 검증해 집계했습니다. 2026-08-04 기준 최근 60일 수치입니다.

Q. AI 봇 방문이 많으면 AI 답변에 인용되나요?
방문은 인용의 전제 조건이지 보증이 아닙니다. 크롤되지 않으면 인용될 수 없다는 순서만 확실하며, 실제 인용 여부는 질문·경쟁 콘텐츠·AI 서비스 정책에 따라 달라집니다.

Q. 내 사이트의 AI 봇 방문은 어떻게 확인하나요?
서버·CDN 액세스 로그에서 GPTBot, ClaudeBot, ChatGPT-User 같은 User-Agent를 검색하면 됩니다. 로그 접근이 어렵다면 무료 진단에서 AI 크롤러 접근성 항목을 실측해 드립니다.