새로운 AI 모델이 나오면 우리 브랜드를 더 잘 알게 될까? - 구모델 Vs 신모델 본격 GEO 대결 실험

"지금은 AI가 우리 회사를 잘 모르지만, 모델이 좋아지면 알아주지 않을까." 저희도 그렇게 생각했습니다. 그래서 실제로 재봤습니다. 같은 질문 38개를 같은 조건으로 던지고 모델만 9개월치 갈아끼웠습니다. 결과는 반반이었습니다. 검색을 켠 조건에서 정답률은 37%에서 85%로 올랐지만, 검색을 끈 조건에서는 12%에서 14%로 사실상 제자리였습니다.

기다리면 나아지는 부분과 기다려도 그대로인 부분이 갈립니다. 이 글은 그 경계가 어디인지에 대한 기록입니다.

무엇을 어떻게 쟀나

익명 처리한 5개 브랜드(에이전시 2곳, 법률 1곳, 의료정보 1곳, 외식정보 1곳)에 대해 각 브랜드의 공식 사이트에서 직접 확인한 사실 38개를 정답표로 만들었습니다. 회사 종류, 소재지, 대표자, 서비스, 수치, 운영 원칙 같은 항목입니다.

그리고 사실 하나마다 세 가지 방식으로 물었습니다. 그냥 물어보기, 콕 집어 물어보기, 그리고 틀린 전제를 슬쩍 끼워 넣고 바로잡는지 보기입니다. 세 번째가 핵심입니다. AI는 사용자가 전제로 깔면 웬만하면 동의하는 성질이 있고, 그 경로로 남이 써 놓은 잘못된 정보가 브랜드 사실로 굳습니다.

각 질문은 검색을 끈 상태와 켠 상태로 나눠 던졌습니다. 이 대비가 이 실험의 뼈대입니다. 검색을 껐을 때 맞히면 모델이 학습 단계에서 이미 알고 있다는 뜻이고, 켰을 때만 맞히면 그 자리에서 사이트를 읽고 안다는 뜻입니다. 처방이 완전히 달라집니다.

1차는 2025년 8월 무렵 모델로 456회, 2차는 최신 모델로 1,368회 돌렸습니다(2026-08-14 실측, 수집 실패 0건). 주장표도 질문도 검색 조건도 동일하고 바뀐 것은 모델뿐입니다. 채점은 별도 판정 모델에 맡기되, 사람이 직접 채점한 20건과 대조해 일치율 80%를 먼저 확인한 뒤에 썼습니다. 판정 도구의 정확도를 모르면 그 도구가 만든 비율의 정확도도 모르는 것이기 때문입니다.

기다리면 AI가 알아서 알아줄까?

검색을 끈 조건의 정답률은 두 모델 계열에서 각각 12%에서 14%로, 7%에서 11%로 움직였습니다. 9개월이 지났고 모델은 몇 세대가 올라갔는데 브랜드에 대해 알고 있는 양 자체는 거의 늘지 않았습니다.

반면 검색을 켠 조건에서는 37%에서 85%로, 61%에서 85%로 올랐습니다. 두 계열이 나란히 85%에 수렴했습니다.

정리하면 이렇습니다. 세대가 개선한 것은 지식이 아니라 검색을 다루는 솜씨입니다. 모델은 더 똑똑해졌지만 그 똑똑함은 "찾아서 정확히 읽어내는" 쪽에 붙었지 "이미 알고 있는" 쪽에 붙지 않았습니다.

실무로 옮기면 뜻이 분명해집니다. 검색으로 닿는 브랜드는 세대 교체의 이득을 그대로 받지만, 검색으로 닿지 않는 브랜드는 세대가 바뀌어도 10%대에 머뭅니다. 기다리는 것은 전략이 아닙니다.

우리가 사흘 전에 낸 결론 두 개가 무너졌다

이 재측정에는 다른 목적도 있었습니다. 저희가 1차 측정으로 냈던 결론이 맞는지 확인하는 것이었고, 결과적으로 두 개가 틀렸습니다.

첫째, "모델 제조사마다 실패하는 방식이 다르다"고 썼습니다. 한쪽은 모르면 지어내고 다른 쪽은 모르면 되묻는다는 관찰이었습니다. 최신 세대에서 두 계열의 정답률이 똑같이 85%로 수렴하면서 이 차이는 사라졌습니다. 제조사의 성질이 아니라 세대의 성질이었습니다.

둘째, "AI는 회사 소개 같은 기본 사실은 알아도 산식·운영원칙처럼 차별화되는 사실은 모른다"고 썼습니다. 1차에서 운영원칙 유형의 정답률은 25%였습니다. 최신 모델에서는 측정한 전 건이 정답이었습니다. 유형 간 순서까지 완전히 뒤바뀌어서, 원래 가정 자체가 성립하지 않습니다.

두 결론 모두 저희 공개 원장에서 철회 처리했습니다. 원인은 하나였습니다. 측정에 쓸 모델을 확인하지 않고 골랐습니다. API에 어떤 모델이 열려 있는지 먼저 조회했다면 9개월 구형을 쓰지 않았을 것이고, 세대 효과를 제조사 효과로 오독하지도 않았을 것입니다. 지금은 측정 전 모델 목록 조회를 절차로 고정했습니다.

최신 모델이 더 안전하지는 않았다

가장 뜻밖의 결과입니다. 한 모델 계열은 검색이 없을 때 틀린 전제에 동조하는 비율이 3%에서 43%로 올랐습니다.

실제 응답을 보면 차이가 분명합니다. "이 회사는 광고 대행사죠?"라는 틀린 전제에 구형 모델은 "퍼포먼스 대행사라기보다는"이라며 부정했습니다. 최신 모델은 "네. 이 회사는 디지털 광고·마케팅 대행사로, 퍼포먼스 광고를 주요 업무 중 하나로 수행하는 회사로 알려져 있습니다"라고 단정했습니다. 틀린 내용을, 확신에 찬 문장으로요.

같은 계열의 틀린 정보 생성률도 검색을 끈 조건에서 4%에서 26%로 올랐습니다. 검색을 켜면 다시 낮아지지만, 그래도 7%에서 13%로 나빠졌습니다.

해석은 조심스럽게 해야 합니다. 저희가 잰 것은 특정 두 구성의 차이지 제조사 전체의 방향이 아닙니다. 다만 관찰된 패턴은 일관됩니다. 도움이 되려는 성향이 강해질수록, 근거가 없는 자리에서 더 위험해집니다. 사용자가 깔아놓은 전제를 받아 문장을 이어주는 것이 대체로는 친절이지만, 브랜드 사실 앞에서는 오정보 생산이 됩니다.

세대가 올라가도 안 고쳐지는 것은 무엇일까?

최신 모델에서도 낮게 남은 항목이 있습니다. 최근 변경 사항이 58%, 방법·절차가 63%, 그리고 동명 회사 구분이 75%였습니다.

동명 구분은 이번 실험 내내 가장 늦게 개선되는 축이었습니다. 이름이 겹치는 회사가 여럿이면 모델은 사실을 틀리기 전에 어느 회사인지부터 틀립니다. 순서가 있다는 뜻입니다. 엔티티가 특정되지 않으면 그 뒤의 정확도는 논할 수가 없습니다.

측정 조건을 밝힙니다

5개 브랜드 중 하나는 저희 사이트입니다. 저희 사이트는 신규 도메인이고 라이브 시점(2026-05-18) 기준 약 2개월 25일 됐습니다. 온사이트 SEO·GEO를 집행했고, 자기가 등록할 수 있는 외부 신호는 다 심었습니다. 개체 등록(나무위키·Wikidata), 로컬 등록(네이버 플레이스·카카오맵·구글 비즈니스 프로필), 자사 채널 링크 게재(링크드인·브런치·인스타그램)까지 마친 상태입니다.

비어 있는 것은 하나입니다. 제3자 편집 인용 - 보도·리뷰·비교글·업계 블로그처럼 남이 판단해서 써 주는 신호는 없습니다. 그래서 저희 사이트에서 나온 낮은 수치는 실패가 아니라, 자력으로 심을 수 있는 것을 다 심었을 때 어디까지 가는가에 대한 관측값입니다. 새로 만든 사이트가 흔히 도달하는 지점이 거기입니다. 자기가 등록하는 신호와 남이 써 주는 신호는 종류가 다르고, 앞의 것은 자력으로 되지만 뒤의 것은 안 됩니다.

그래서 무엇을 하면 되나

첫째, 모델이 좋아지기를 기다리지 마세요. 이 실험이 보여준 것은 세대 교체의 이득이 "검색으로 닿는 브랜드"에만 간다는 것입니다. 닿지 않으면 9개월이 지나도 10%대입니다.

둘째, 이름이 겹치는지부터 확인하세요. 동명 회사가 있으면 사실을 고치기 전에 회사가 특정되게 만드는 일이 먼저입니다. 상호를 단독으로 쓰지 말고 지역·업종·대표자를 함께 표기하는 것이 출발점입니다.

셋째, AI가 귀사에 대해 뭐라고 답하는지 직접 물어보세요. 회사 소개를 물었을 때 다른 회사 이야기가 나온다면, 그것은 노출이 부족한 상태가 아니라 틀리게 알려진 상태입니다. 후자가 더 급합니다.

저희 무료 SEO·GEO 진단은 이 중 접근성과 크롤 가능성 부분을 실측으로 확인해 드립니다. 다만 진단이나 구조 개선이 특정 답변에서의 인용이나 정확도를 보장하지 않습니다. 어떤 조치도 AI 답변의 정확도를 보장할 수 없습니다. 저희가 보여드릴 수 있는 것은 전제 조건의 실측입니다. 이 실험의 설계와 원자료는 연구실에 공개돼 있습니다.

자주 묻는 질문 (FAQ)

Q. 어떤 모델로 쟀나요?
1차는 2025년 8월 무렵 공개된 모델 두 종, 2차는 2026년 8월 기준 최신 모델 두 종입니다. 주장표·질문·검색 조건은 동일하게 두고 모델만 교체했습니다. 원자료에는 정확한 모델 ID가 기록돼 있습니다.

Q. 검색을 끄고 재는 것이 실제 사용 환경과 다르지 않나요?
다릅니다. 그리고 그 차이를 재려고 나눈 것입니다. 실사용에 가까운 것은 검색을 켠 조건이고, 검색을 끈 조건은 "모델이 학습 단계에서 이 브랜드를 얼마나 알고 있나"를 분리해서 보기 위한 대조군입니다. 두 값의 차이가 곧 사이트가 기여하는 몫입니다.

Q. 정답률 85%면 충분한 수준인가요?
맥락에 따라 다릅니다. 나머지 15%가 소재지나 대표자처럼 확인 가능한 사실이라면 문제가 되고, 반복 측정에서 매번 다른 항목이 틀린다면 안정성 자체를 의심해야 합니다. 저희는 이 실험을 3회 반복으로 돌렸는데, 1회 측정으로 개별 브랜드의 상태를 단정하지 않기 위해서입니다.

Q. 우리 회사도 같은 방식으로 확인할 수 있나요?
가능합니다. 공식 사이트에서 확인되는 사실 10개 안팎을 정답표로 만들고, 각각을 세 가지 방식(그냥 묻기·콕 집어 묻기·틀린 전제 끼워 묻기)으로 AI에 물어 대조하면 됩니다. 중요한 것은 정답을 기억이 아니라 사이트에서 직접 확인해 채우는 것입니다. 저희도 설계 중에 이름이 비슷한 다른 회사를 정답 출처로 잡는 실수를 한 번 했습니다.