GEO論文『Generative Engine Optimization』を読む(第2回):GEO-benchと九つの内容最適化法
KDD 2024の『GEO: Generative Engine Optimization』を続けて読み、GEO-bench、九つの改稿方法、実験結果、AI検索でキーワード詰め込みが限られる理由を解説します。
GEO論文『Generative Engine Optimization』を読む(第2回):GEO-benchと九つの内容最適化法
第1回では論文のGEO定義を見ました。第2回は実験です。『GEO: Generative Engine Optimization』は概念に留まらず、大規模ベンチマークGEO-benchを作り、複数の内容改稿法を同じ評価枠で比較しました。AIが好みそうな内容を感覚で語るのではなく、どの変更がどの指標で可視性に関係し得るかを検証した点に価値があります。
GEO-benchが解こうとした問題
当時、生成式エンジン向けの公開クエリデータセットはなかったため、著者らはGEO-benchを構築しました。1万件の質問を、8,000件の学習、1,000件の検証、1,000件のテストに分けています。質問はMS MARCO、ORCAS-1、Natural Questions、AllSouls、LIMA、Davinci-Debate、Perplexity.ai Discover、ELI5、GPT-4生成質問から集められました。
この構成には、通常検索の匿名クエリだけでなく、複数情報源の統合、推論、説明、議論、購入判断を要する問いが含まれます。各質問にはGoogle検索上位5件のクリーンな本文が付き、生成式エンジンが利用する情報源入力を模しています。最終回答だけでなく、AIがどんな材料を取れるかを見る必要がある、という示唆です。
九つのGEO手法
論文は、より権威ある表現、定量的な統計情報、検索語の追加、信頼できる出典引用、信頼できる引用文、平易な言葉、流暢さ、独自の用語、技術用語という九種類を試します。
統計、出典、引用文は証拠を増やす手法です。単なる口調ではなく、回答の判断を支える材料を生成式エンジンに渡します。平易さ、流暢さ、権威性、技術性は、内容が理解・圧縮・言い換えられやすいかに関わる表現面の調整です。
実験結果をどう読むか
GEO-benchでは、引用、引用文、統計が強い手法群として示されました。Position-Adjusted Word Countで最も良い手法はベースライン比で最大約41%、Subjective Impressionでは最大約28%の相対的な改善でした。本文のまとめでも、上位手法は指標によりおおむね30〜40%、15〜30%の相対改善を示しています。
これは「数字を数個足せば常に40%伸びる」という意味ではありません。論文の実験環境、質問セット、評価指標では、信頼できる証拠を持つ内容が生成回答に取り込まれやすかった、という限定された結論です。
より注意すべき結果は、キーワードの強化が弱く、指標によってはベースラインを下回ったことです。Perplexity.aiでの実験でも、従来SEO型のキーワード強化はPosition-Adjusted Word Countでベースラインより悪い結果でした。生成式エンジンは単語一致だけでなく、判断、理由、根拠を支える情報を圧縮して回答にします。
コンテンツチームへの示唆
GEOをキーワード一覧にしないことが第一です。AIに自社カテゴリを理解させる必要はありますが、同義語の反復や薄い内容の量産では信頼できる情報源になりにくいでしょう。製品能力、バージョン差、価格の定義、事例、業界データ、認証、方法論の出典、比較表、FAQなど、実際の質問に必要な検証可能な証拠を補います。
統計には定義を、事例には場面を、機能説明には適用範囲を付けます。そうしなければ、AIが引用しても制約を省いて誤った推薦にするかもしれません。また、質問の種類で手法を変えます。購入質問なら証拠、事例、価格、リスク境界を優先し、概念質問なら明確な定義と説明構造を優先します。
実験の考え方を業務に使う
企業が論文実験をそのまま再現する必要はありません。見川GEO / GEO Radarで https://www.georadar.top に推薦、競合比較、価格・予算、リスク、ユースケースの固定質問を作り、言及、引用元、位置、理由を記録します。その後、事例、FAQ、データ定義、第三者根拠などを一度に一種類ずつ改善し、一定期間を置いて再テストします。
プラットフォームの自然な変動を改善効果と取り違えないためです。論文の最大の教訓は、GEOを根拠のない改稿にせず、質問セット、基準線、変更記録、再テストを持つ実験として扱うことです。
この記事の情報源
- arXiv(2023年11月16日投稿、2024年6月28日改訂)「GEO: Generative Engine Optimization」: https://arxiv.org/abs/2311.09735
- arXiv HTML全文「Experimental Setup、Results、Analysis」: https://arxiv.org/html/2311.09735v3
- GEO著者プロジェクトページ(論文、コード、データセット): https://geo-optim.github.io/GEO/GEO
- Hugging Face「GEO-benchデータセット」: https://huggingface.co/datasets/GEO-optim/geo-bench