위장봇 걸러내기 — User-Agent는 못 믿고 ASN은 못 속인다

봇 로그에 ChatGPT-User나 ClaudeBot이 찍히면 반갑습니다. AI가 우리 병원을 읽고 있다는 뜻이니까요. 그런데 저희가 운영하는 플랫폼 로그를 대조해보니, 그 트래픽 중 상당수가 진짜가 아니었습니다.

User-Agent는 아무나 자칭할 수 있다

User-Agent 문자열은 요청을 보내는 쪽이 스스로 적어 넣는 값입니다. "저는 ChatGPT-User입니다"라고 자기 이름을 붙이는 것뿐이라, 검증 없이는 그대로 믿을 수 없습니다. 저희 로그에서는 User-Agent가 ChatGPT-User인데 실제 IP 대역은 국내 통신사였고, 병원 페이지 방문 없이 특정 엔드포인트만 반복 호출한 사례가 확인됐습니다. 진짜 ChatGPT-User라면 남기는 방문 흔적이 없었던 겁니다.

ASN과 방문 패턴은 못 속인다

User-Agent는 위조할 수 있어도, 요청이 실제로 어느 네트워크에서 왔는지(ASN)와 그 봇이 실제로 어떻게 움직이는지(방문 패턴)는 위조하기 어렵습니다. 공식 봇은 각자 정해진 네트워크에서 오고, 정해진 방식으로 페이지를 방문합니다.

진짜 = User-Agent 일치 + 공식 네트워크 일치 + 실제 방문 흔적 있음
가짜 = User-Agent만 일치 + 공식 네트워크 불일치

병원 사이트가 확인할 수 있는 것

• 서버 로그에 User-Agent뿐 아니라 요청 IP의 네트워크 정보(ASN)도 함께 기록합니다.
• 각 AI 사업자가 공개하는 공식 IP 목록과 대조해, 일치 여부를 확인합니다.
• "확인됨 / 위장 의심 / 판별 불가" 세 갈래로 나눠 기록하면, "AI 방문이 늘었다"는 보고에서 위장 트래픽을 걸러낸 숫자로 말할 수 있습니다.

이런 위장 트래픽을 방치하면 AI 유입 통계가 부풀려지고, 실제로는 콘텐츠를 무단으로 긁어가는 크롤러에 서버 자원만 낭비하게 됩니다.

관측치는 저희가 운영하는 플랫폼에서 특정 기간 확인한 값이며, 모든 사이트·모든 시점에 동일한 비율로 나타나는 현상이 아닙니다.