사전 등록 문서
사전 등록: 검색 표면을 바꾸면 인용이 갈리는가
(주)인트릭스 · 결과가 나오기 전에 확정·공개했습니다
- 상태: 1차 분석 완료(2026-08-16). 결과는 아래 8절.
- 작성 2026-08-16
- 짝 실험:
backlink-serp-citation— 같은 질의 배터리·같은 기간을 쓴다
0. 왜 이 실험인가
우리는 API 로 AI 인용을 재고, 그 수치로 "AI 가 어디를 인용하는가"를 말한다. 그런데 고객이 보는 것은 앱 화면이다. 둘이 다르면 우리가 파는 수치의 기준이 흔들린다.
웹 UI 를 자동으로 긁는 것은 두 서비스 모두 약관 위반이라 할 수 없다. 대신 같은 제공사의 다른 API 표면을 비교하면 "결과가 검색 계층 선택에 얼마나 민감한가"는 약관 안에서 잴 수 있다.
2026-08-16 예비 관찰에서 질의 3개를 던져 봤더니 인용 도메인이 하나도 겹치지 않았다.
| 질의 | luna 인용 | search-api 인용 | 겹침 |
|---|---|---|---|
| 서울 피부과 | 8 | 7 | 0 |
| 부산 성형외과 | 5 | 4 | 0 |
| 경기 변호사 | 3 | 5 | 0 |
성격도 반대였다 — luna 는 학회·대학병원(akd.or.kr·amc.seoul.kr),
search-api 는 플랫폼·미디어(gangnamunni.com·k-beautyguide.com).
질의 3개·1회씩 본 것이라 관찰이지 결론이 아니다. 그래서 제대로 잰다.
1. 연구 질문
- 같은 제공사·같은 질의인데 검색 표면을 바꾸면 인용 도메인이 얼마나 갈리는가.
- 그 차이가 모델을 바꾸는 것보다 큰가. (GPT ↔ Gemini 자카드 0.110 이 기준선이다)
- 표면에 따라 인용 출처의 유형 구성이 다른가(공공·협회 / 플랫폼 / 미디어·UGC).
2. 무엇을 비교하나
| 팔 | 호출 | 검색 |
|---|---|---|
| A (기존) | Responses API · gpt-5.6-luna |
web_search 도구 |
| B (신규) | Chat Completions · gpt-5-search-api |
모델 내장 |
A 는 백링크 실험에서 이미 144질의 × 10회 수집돼 있다. 이번에 모으는 것은 B 뿐이다.
🔴 B 는 ChatGPT 웹 앱이 아니다. 세 번째 API 표면일 뿐이다. 따라서 이 실험은 "API 가 웹 앱과 같은가"에 답하지 않는다. 답하는 것은 **"결과가 검색 표면 선택에 민감한가"**이며, 민감하다면 웹 앱도 다를 가능성이 높다는 정황이 될 뿐이다. 이 구분을 결과 보고에서 흐리지 않는다.
3. 설계
- 질의: 백링크 실험과 완전히 같은 144개(6업종 × 24). 하나도 바꾸지 않는다
- 반복: B 는 k=3. A 는 기존 10회 중 처음 3회를 대응시켜 쓴다
- 기간: B 수집을 하루 안에 끝낸다. A 는 2026-08-15~16 수집분
- 제외: 자사 자산 3개 도메인(
intrix.kr·kdermzip.com·lawfirmlawyul.com)
왜 k=3 인가
백링크 실험에서 GPT 인용의 48%가 10회 중 한 번만 등장했다. 표면 간 차이를 보려면 "우연히 한 번 나온 것"을 걸러야 하는데, k=3 이면 2회 이상 등장을 기준으로 삼을 수 있다. k 를 더 올리면 좋지만 B 의 단가가 확인되지 않아 3 으로 시작한다.
4. 사전 지정 가설과 반증 조건
| # | 가설 | 반증 조건 |
|---|---|---|
| S1 | 두 표면의 질의별 인용 도메인 자카드 중앙값이 0.20 미만 | 0.20 이상이면 반증 |
| S2 | 표면 간 차이가 모델 간 차이(0.110)보다 크다(= 자카드가 더 낮다) | 0.110 이상이면 반증 |
| S3 | 유형 구성이 다르다 — B 가 A 보다 플랫폼·미디어 비중이 높고 공공·협회 비중이 낮다 | 두 비중 차이가 각각 10%p 미만이면 반증 |
S2 가 핵심이다. 성립하면 "어느 모델인가"보다 "어느 표면인가"가 결과를 더 가른다는 뜻이고, 그러면 우리가 내는 모든 인용 수치에 모델명뿐 아니라 호출 방식까지 명시해야 한다.
5. 분석 (사전 고정)
- 주 지표: 질의별 자카드의 중앙값. 질의 144개 각각에서 A 3회 합집합 대 B 3회 합집합
- 부 지표: 전체 집계 자카드, 표면별 고유 도메인 수, 2회 이상 등장 도메인 기준 자카드
- 유형 구성: 기존 분류기 재사용(공공·협회 / 플랫폼 / 미디어·UGC / 미분류). 🔴 기본값은 '미분류'다. "목록에 없으면 개별 업체"로 두었다가 그 칸이 52%까지 부풀었던 사고가 있다. 커버리지를 함께 보고한다
- 블록별(YMYL / 비-YMYL) 로 나눠 같은 지표를 낸다
- 검색 0회 호출은 별도 집계 후 주 분석에서 제외한다
6. 비용과 중단 규칙
예비 관찰에서 B 는 호출당 약 17,000 토큰이었다(3콜 52,009 토큰). 432콜이면 약 730만 토큰. 단가가 확인되지 않았으므로:
- 파일럿 24콜을 먼저 돌려 실제 토큰과 청구를 확인한다
- 예상 비용이 $150 을 넘으면 질의를 절반(72개)으로 줄인다
- 크레딧 소진으로 실패하면 실패 행을 지우고 재개한다 — 실패 행을 남기면 재개해도 그 질의는 영영 다시 돌지 않는다(이번 실험 계열에서 세 번 겪었다)
7. 한계
- B 는 웹 앱이 아니다. 웹 앱과의 차이는 이 설계로 답하지 못한다.
- A 는 이미 수집된 것이라 B 와 수집 시점이 하루 다르다. 그 사이 검색 결과가 바뀐 몫은 표면 차이와 분리되지 않는다.
- k=3 은 작다. 개별 도메인 수준의 진술은 하지 않고 집계만 본다.
- 한 제공사(OpenAI)만 본다. Gemini 는 표면이 하나뿐이라 비교 대상이 없다.
7-1. 결과 (2026-08-16)
864콜(A·B 각 432) 완결. S1·S3 성립, S2 반증.
| 가설 | 결과 | 판정 |
|---|---|---|
| S1 질의별 자카드 < 0.20 | 중앙값 0.065 · 겹침 0인 질의 48/144(33%) | 성립 |
| S2 표면 차이 > 모델 차이 | 집계 0.160 vs 모델 간 0.110 | 반증 |
| S3 유형 구성 차이 | 공공·협회 25.6%→4.0% · 플랫폼+미디어 4.0%→14.0% | 성립 |
S2 반증의 뜻: 표면보다 모델이 여전히 더 크게 가른다. 다만 질의 단위(0.065)와 집계(0.160)의 격차가 크다 — 두 표면은 비슷한 풀에서 뽑되 질의마다 다른 것을 고른다. 사용자가 한 번의 답변에서 만나는 곳은 거의 다르다.
업종별 중앙값: 성형외과 0.000(24개 중 13개 겹침 0) · 마케팅 0.051 · 피부과 0.057 · 변호사 0.077 · 영상제작 0.106 · 홈페이지제작 0.121. 블록으로는 YMYL 0.056 · 비-YMYL 0.082.
백링크 실험의 결론 하나가 좁혀졌다. "GPT 는 학회를 인용한다"는 관측은 web_search 표면에 한정된다. 검색 전용 API 에서는 공공·협회가 4.0%로 무너지고 미디어·커뮤니티가 그 자리를 대신한다. 그 결론은 앞으로 표면 조건과 함께 인용한다.
⚠️ 분류 커버리지가 낮다(미분류 A 70.4% · B 81.9%). 유형 구성은 분류된 부분에 한정된 이야기이며 미분류를 개별 업체로 읽지 않는다.
8. 변경 이력
- 2026-08-16 결과 기록. S2 반증.
- 2026-08-16 등록. 백링크 실험 1차 결과가 이미 나온 뒤라 그 실험에 팔을 덧붙이지 않고 별도 실험으로 분리했다. 붙였으면 사후 추가가 된다.