퍼플렉시티는 어떤 페이지를 크롤할까 - 자동 생성 페이지를 건너뛴다

사이트 두 곳을 같은 30일 동안 관측했더니 퍼플렉시티가 한쪽의 상세페이지만 통째로 건너뛰었습니다. 의료 정보 사이트의 병원 상세페이지에는 크롤이 0이었고, 맛집 정보 사이트의 업소 상세페이지에는 페이지당 2.75회 왔습니다(2026-08-10 기준).

차단한 것은 아닐까?

아닙니다. 세 가지를 차례로 확인했습니다.

robots.txt를 보니 퍼플렉시티 크롤러에게 개별 그룹으로 전체 허용을 명시하고 있었습니다. 앞단에서 막는 것도 아니어서, 그 크롤러의 이름표를 달고 실제로 요청을 보내 보니 정상 응답이 왔습니다. 사이트 자체를 안 도는 것도 아니었습니다. 같은 기간에 블로그 146회, 시술 안내 82회를 크롤했습니다.

즉 사이트를 거르는 것이 아니라 페이지 종류를 거릅니다. 같은 사이트 안에서도 사람이 쓴 글은 가져가고, 공공데이터로 자동 생성한 병원 상세페이지 수만 건만 0입니다. 반대쪽 사이트의 업소 페이지는 사람이 큐레이션한 687곳인데, 그쪽은 열심히 돕니다.

봇마다 다를까?

정반대인 봇도 있습니다. GPTBot은 의료 사이트 상세페이지를 페이지당 0.55회 크롤했지만 맛집 사이트에서는 0.12회에 그쳤습니다. 퍼플렉시티와 완전히 반대 방향입니다.

"AI 크롤러"를 하나로 묶어 말하면 안 되는 이유가 여기 있습니다. 어떤 봇을 기준으로 삼느냐에 따라 같은 사이트의 평가가 뒤집힙니다.

실무에서는 어떻게 봐야 할까?

페이지를 많이 만들면 AI가 더 인용한다는 전제를 다시 볼 필요가 있습니다. 대량 생성 페이지는 크롤 대상에서 밀릴 수 있고, 밀리면 인용은 시작도 되지 않습니다.

다만 이것은 관측이지 인과가 아닙니다. 두 사이트는 규모(약 3,600곳 대 687곳), 개설 시점, 도메인 인지도, 주제가 모두 다릅니다. 의료 주제라서인지 자동 생성이라서인지 이 데이터로는 가릴 수 없습니다. 후자 쪽 정황이 조금 더 강할 뿐입니다. 같은 사이트 안에서도 사람이 쓴 글은 크롤되기 때문입니다. 저희는 인용이나 노출을 보장하지 않습니다.

자주 묻는 질문 (FAQ)

Q. 관측한 사이트는 어디인가요?
저희가 직접 운영하는 크덤집(kdermzip.com, 피부과 정보)과 로닛(loneat.kr, 혼술 맛집 큐레이션)입니다. 고객사 데이터는 쓰지 않았습니다.

Q. 사이트 규모가 달라도 비교가 되나요?
절대 방문 수를 그대로 비교하지 않았습니다. 실재하는 상세페이지 수로 나눈 페이지당 크롤 횟수와 봇 구성비로 봤습니다. 없어진 주소를 두드린 기록은 실제 페이지와 대조해 제외했습니다.