同じ購入意図でも言い換えでAI推薦が変わる：自然な言い換えを含めたGEOテスト

「最高のCRM」と「小規模SaaSチーム向けのCRM」は同一の要求ではありませんが、実際の購入者はこうした表現の間を行き来します。一文だけを固定して測るレポートは、その意図に対する安定したブランドの位置ではなく、プロンプトの偶然を測っているかもしれません。

テスト回数を増やすだけでは解決しません。同じ文字列の繰り返しか、同じ意図の自然な表現のテストかをまず区別します。

2026年5月22日公開のプレプリントは、OpenAIとAnthropicのモデルで約6,000回の言い換え実行と約6,000回の同一プロンプト再実行を比較しました。著者らは、その標本において同一意図の言い換え間の推薦集合の重なりが、同一プロンプト再実行の基準より低かったと報告しています。数値やモデル範囲をそのまま一般化はできませんが、一つのプロンプトが完全な測定単位ではないことを示します。

一文の順位表ではなく意図クラスタを使う

主要意図ごとに3〜5の自然な表現を準備します。基本質問、条件付き質問、比較、リスクまたは不適合の質問です。条件は予算、地域、チーム規模、互換性、提供形態、コンプライアンス要件など実在するもので、ブランドを出すためだけに足してはいけません。

レポートには各質問の結果、意図クラスタのカバー率、表現をまたいで繰り返す事実誤り、条件を満たさない推薦を示します。有利な質問だけを全体改善として選んではいけません。

再テストで固定すべき変数

言語、地域、ログイン状態、プラットフォーム入口、実行日、回答取得規則を固定します。変えるのは利用者が自然に変える表現だけです。モデルや製品更新の断点を記録し、比較基準を作り直します。高リスク業種は価格、資格、制限を人が確認します。

GEO Radarは https://www.georadar.top で、固定した意図クラスタについてプラットフォーム横断の回答と競合比較を保存し、言い換え差を確認できます。変動を順位保証に変えるものではありません。

この記事の情報源

• arXiv、2026年5月22日、*Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline*：https://arxiv.org/abs/2605.27440 （言い換えと同一プロンプトの対照、研究標本、再現性の発見）