SEO/AIOの記事や講座では「Princetonの研究によると、引用率が40%上がる」という言い回しをよく見かけます。しかし、その40%が何の指標で、どの手法で、どんな条件のもとで出た数字なのかまで、原典に遡って確認したことがある方は多くありません。
本記事では、この言説の出どころであるarXiv論文2311.09735「GEO: Generative Engine Optimization」を扱います。AIO Journal 編集部が実際に読み込んで解説します。なお「Princeton論文」という通称が広まっていますが、実際には筆頭著者がIITデリー所属の国際共同研究です(詳細は後述の原典情報を参照)。
01研究の結論(3行)
生成AIの回答内で自社コンテンツが引用されやすくなるよう文章を工夫する「GEO」という考え方を、研究チームが体系的に検証しました。9つの最適化手法のうち「引用の追加」が最も効果が大きく、可視性の統合指標を約41%押し上げました(論文要旨では「最大40%」と表現)。一方で、従来型SEOの「キーワード詰め込み」は効果がないどころか、むしろ可視性を下げる結果になりました。
02原典情報
- 論文名: GEO: Generative Engine Optimization
- 著者・所属: Pranjal Aggarwal(IITデリー)、Vishvak Murahari・Karthik Narasimhan・Ameet Deshpande(プリンストン大学)、Tanmay Rajpurohit・Ashwin Kalyan(独立研究者・米シアトル)の6名による共同研究です(所属は論文v3の記載にもとづく)
- 掲載先: ACM SIGKDD 2024(KDD2024)に採択。arXivへの初版公開は2023年11月、最新の改訂版は2024年6月です
- リンク: https://arxiv.org/abs/2311.09735
03研究手法の平易な解説
研究チームはまず、Bing Chatに近い挙動をする生成AI検索エンジンを自前で構築しました。そこへ1万件規模のクエリと、回答の根拠となるWeb情報源をセットにした独自ベンチマーク「GEO-bench」を投入します。
GEO-benchの1万件のクエリは、9種類の情報源から作られています。情報源の内訳は、MS Marco・ORCAS-1・Natural Questions・AllSouls・LIMAの5種です。そしてDavinci-Debate・Perplexity.ai Discover・ELI5(Redditの質問板)・GPT-4生成クエリの4種です。論文には、Arts・Health・Gamesをはじめ25の多様な分野(ドメイン)にまたがると明記されています。
評価には2種類の指標を使います。1つは「Position-Adjusted Word Count」です。これは、回答の中で自社の情報がどれだけの分量・どれだけ早い位置で言及されたかを、位置に応じて重み付けして数値化したものです。なお、論文はこの指標の絶対的な上限を明示していないため、本記事に出てくる19.3などの値は、手法間の相対比較として読むのが適切です。
もう1つは「Subjective Impression」で、関連性や引用の説得力など7項目を、大規模言語モデルによる自動採点(G-Eval方式)で評価し統合した指標です。
引用されやすい定義文GEOとは、生成AIの回答内で自社コンテンツの言及量・言及位置を高めるための文章最適化手法の総称です。
04主要な発見(データ付き)
論文のTable 1では、9つの最適化手法それぞれについて数値が示されています。基準となるのは、何も手を加えない「No Optimization」です(統合指標Position-Adjusted Word Count=19.3)。以下は同表のOverall列にもとづく改善率です。
| 最適化手法 | 内容の概要 | 基準比の改善率(統合指標) |
|---|---|---|
| 引用の追加(Quotation Addition) | 専門家や公的機関の発言を引用文として加える | 約+41%(19.3→27.2・最大) |
| 統計データの追加(Statistics Addition) | 具体的な数値・統計を加える | 約+31%(→25.2) |
| 流暢さの改善(Fluency Optimization) | 文法・文のなめらかさを整える | 約+28%(→24.7) |
| 出典の明記(Cite Sources) | 情報源を明示的に示す | 約+27%(→24.6) |
| 専門用語の使用(Technical Terms) | 業界特有の用語を用いる | 約+18%(→22.7) |
| 平易な言い換え(Easy-to-Understand) | 難しい表現を平易にする | 約+14%(→22.0) |
| 権威性の強調(Authoritative) | 断定的・権威的なトーンにする | 約+10%(→21.3) |
| 独自の言い回し(Unique Words) | 他と被らない語彙を使う | 約+6%(→20.5) |
| キーワードの詰め込み(Keyword Stuffing) | 従来型SEOのキーワード反復 | 約-8%(→17.7・悪化) |
論文の要旨は結果を「最大40%向上」と表現しています。しかし詳細な表を見ると、最も効果が大きかった「引用の追加」が統合指標(Overall)で19.3→27.2、約41%改善したというのが実際の内訳です。「40%」はこの最大値を丸めた数字であり、9手法の平均値でも、あらゆる指標に共通する数字でもありません。
なお同表には語数ベースの部分指標(Word)などの列もあり、どの列を分母に取るかで数%変わります。本記事は、論文が統合指標として扱うOverall列に統一しています。
さらに研究チームは、この結果が実験環境だけの現象でないかを確かめるため、実際に商用提供されているPerplexity.aiでも同じ手法を検証しています。ここでも基準値24.1に対して「引用の追加」が29.1、「統計データの追加」が26.2と改善を示しており、実験室の外でも一定の再現性が確認できたとしています。
ただし、効果の縮み方には注目すべきです。ラボ実験で約41%だった「引用の追加」の改善幅は、実世界のPerplexity.aiでは約21%(24.1→29.1)にとどまります。方向性は再現される一方、実環境では効果が半分程度になりうる——これが原典の数字を突き合わせて読み取れる、実務的な相場観です。
05限界と注意点
この論文には独立した「Limitations(限界)」の節(第9節)があり、研究チーム自身が次のような限界を明記しています。
- 生成AI検索エンジンは今後も進化するため、有効な手法も時間とともに適応が必要になる(SEOが進化し続けてきたのと同様)
- 検索クエリの性質も時間とともに変化するため、ベンチマークには継続的な更新が必要
- 検索エンジンの内部がブラックボックスであるため、GEO手法が検索順位そのものに与える影響は評価していない(変更はテキスト内容のみでドメインや被リンクには触れないため、影響は小さいはずだと著者らは推測)
- クエリのタグ付けは手動検査済みだが、主観的な解釈やラベリング誤りの可能性は残る
これに加えて、AIO Journal 編集部として次の2点も読み取りました。
- 評価は自動化されたスコアリング(LLMによる採点)が中心で、実際の人間ユーザーがクリックした・信頼したかどうかを直接測ったものではありません
- 使用された生成AIは主にGPT-3.5世代で、実世界検証もPerplexity.aiの1サービスに限られています。2026年現在の最新モデルや、ChatGPT検索・Google AI Overviews・Claudeなど他のAI検索で同じ傾向になるとは限りません
06日本市場・実務への示唆
この研究は英語圏のクエリ・英語圏の生成AIエンジンを対象にしており、日本語での挙動を直接検証したものではありません。日本語コンテンツで同じ改善率が出る保証はなく、あくまで参考知見として扱うのが妥当です。
とはいえ、方向性としては実務に持ち帰りやすい示唆が含まれています。「出典を明示する」「統計データを添える」「専門家の発言を引用する」といった編集上の工夫は、日本語記事でも取り入れやすい施策です。逆に、キーワードを不自然に詰め込む従来型のSEO手法は、生成AI検索ではむしろ逆効果になりうるという点は、日本の実務者にとっても見直しの契機になります。
07追試・検証の視点(WEBMARKSならこう検証する)
WEBMARKSは、AI検索可視性を診断する自社ツール「aio-scan」と、月次でAI言及量を計測する「aio-report」を保有しています。これらを使えば、日本語コンテンツを対象にした簡易的な追試が仮説として設計できます。
具体的には、同一テーマの記事を「出典明記あり/なし」「統計データあり/なし」の条件で作り分けます。そのうえで、ChatGPT検索やPerplexityでの引用有無をaio-reportで一定期間モニタリングする、という設計が考えられます。ただし論文のような大規模統制実験ではないため、あくまで傾向を見る参考検証と位置づけるべきだと私たちは考えます。
08FAQ
Q. Princeton GEO論文の「40%」はどんな条件で出た数字ですか?
論文の実験環境(Bing Chatを模した独自システム)で、9手法のうち最も効果が大きかったのは「引用の追加」です。この場合の統合指標Position-Adjusted Word Count(Overall)での改善率(19.3→27.2=約41%)を、要旨では「最大40%」と丸めています。全手法の平均でも、実世界での再現値でもありません。
Q. GEOはSEOの代わりになる考え方ですか?
論文はSEOを否定するものではなく、生成AIの回答に引用されるための追加的な工夫を検証したものです。従来型のキーワード詰め込みは効果がない、またはマイナスになるという結果は、SEOそのものではなく特定の古い手法への警鐘と読むのが妥当です。
Q. この論文の結果は日本語コンテンツにもそのまま当てはまりますか?
論文自体は英語圏のクエリ・データで検証されており、日本語での効果は検証されていません。方向性の参考にはなりますが、日本語での効果検証には別途の追試が必要だと私たちは考えます。
09この分野を体系的に学ぶ
この記事は研究解説です。AIに引用されるコンテンツづくりの原則を基礎から体系的に学びたい方は、AI検索最適化講座「コンテンツ編 IV-A 引用のメカニズムと原則」をご覧ください。