같은 구매 의도도 표현을 바꾸면 AI 추천이 달라진다: 자연스러운 바꿔 쓰기를 포함한 GEO 테스트

"최고의 CRM"과 "소규모 SaaS 팀용 CRM"은 똑같은 요청은 아니지만 실제 구매자는 이런 표현 사이를 오갑니다. 한 문장만 고정해 실행하는 보고서는 해당 구매 의도에서의 안정적인 브랜드 성과가 아니라 프롬프트의 우연을 측정할 수 있습니다.

테스트 횟수를 늘린다고 자동으로 해결되지는 않습니다. 같은 문자열을 반복하는지, 같은 의도의 자연스러운 표현을 테스트하는지 먼저 구분해야 합니다.

2026년 5월 22일 공개된 프리프린트는 OpenAI와 Anthropic 모델에서 약 6,000회의 바꿔쓰기 실행과 약 6,000회의 동일 프롬프트 재실행을 비교했습니다. 저자들은 표본에서 같은 의도의 바꿔쓰기 사이 추천 집합의 겹침이 동일 프롬프트 재실행 기준보다 낮았다고 보고했습니다. 수치와 모델 범위를 그대로 일반화할 수는 없지만, 한 개 프롬프트가 완전한 측정 단위가 아니라는 점을 보여 줍니다.

한 문장 순위표 대신 의도 클러스터 사용하기

핵심 의도마다 자연스러운 표현을 3~5개 준비합니다. 기본 질문, 제약 질문, 비교, 위험 또는 부적합 질문입니다. 제약은 예산, 지역, 팀 규모, 호환성, 제공 형태, 컴플라이언스 요건처럼 실제여야 하며 특정 브랜드를 등장시키기 위해 넣어서는 안 됩니다.

보고서에는 개별 결과, 의도 클러스터 커버리지, 표현을 넘어 반복되는 사실 오류, 조건을 충족하지 못한 추천을 함께 표시합니다. 가장 유리한 프롬프트만 골라 전체 개선으로 제시하지 마세요.

재테스트에서 고정할 변수

언어, 지역, 로그인 상태, 플랫폼 진입점, 실행일, 답변 수집 규칙을 고정합니다. 실제 사용자가 자연스럽게 바꿀 표현만 변경합니다. 모델이나 제품 업데이트의 단절을 표시하고 비교 기준선을 다시 만듭니다. 고위험 업종은 가격, 자격, 제한을 사람이 검토해야 합니다.

GEO Radar는 https://www.georadar.top 에서 고정된 의도 클러스터의 플랫폼별 답변과 경쟁사 비교를 보관해 바꿔쓰기 차이를 검토하게 돕습니다. 변동을 순위 보장으로 바꾸지는 않습니다.

이 글의 자료 출처

• arXiv, 2026년 5월 22일, *Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline*: https://arxiv.org/abs/2605.27440 (바꿔쓰기와 동일 프롬프트 대조, 연구 표본, 재현성 발견)