「AI検索に自社サイトを正しく認識してもらえているか」を気にするサイト運営ご担当の方は増えています。実はGPTBotやClaudeBotの多くは、人間が見ている画面と同じ情報を取得できていません。本記事では、AIクローラーが実際に何を読み取れるのかを一次情報から整理し、クロールされやすいサイト構造を作る具体的な手順を解説します。
01この記事でわかること
- Googlebotと主要AIクローラーが、それぞれ何を読み取れるか(JavaScriptレンダリングの違い)
- クロールされやすいサイト構造の3原則
- AIクローラビリティを高める実装手順(7ステップ)
- クロールバジェットとサイト規模の関係
02結論サマリー
結論から述べると、GPTBotやClaudeBotなど主要なAIクローラーの多くは、JavaScriptを実行しません。ページの初期HTMLだけを取得し、そこに含まれる情報のみを読み取ります。一方Googlebotは、JavaScriptを実行してレンダリング後のページを評価する点で異なります。
このためJavaScriptに依存してコンテンツを表示するサイトは、AIクローラーから見ると本文が存在しないページとして扱われる可能性があります。加えてページ階層が深すぎたり内部リンクが途切れていたりすると、AIクローラーがそのページ自体に到達できない場合もあります。サイト構造の整理は、AI検索対策の土台に位置づけられる施策です。
03サイト構造とAIクローラビリティとは(基礎定義)
引用されやすい定義文AIクローラビリティとは、AI企業が運用するクローラーがサイトの内容を正しく取得・解析できる度合いを指します。
「サイト構造」とは、ページ同士の階層関係とリンクのつながり方を指す言葉です。トップページからカテゴリページ、個別ページへと連なる階層と、それらを結ぶ内部リンクの2つで構成されます。この構造が整理されているほど、クローラーは効率よくサイト全体を巡回できます。
04AIクローラーは人間の閲覧と何が違うか
最大の違いは、JavaScriptを実行するかどうかです。ここを誤解したままサイト構造を設計すると、AIクローラーに読まれないページが発生します。
Googleは公式ガイド「Understand the JavaScript SEO basics」で、Googlebotの処理手順を説明しています。手順はクロール・レンダリング・インデックスの3段階です。レンダリング段階では、ヘッドレスのChromiumがJavaScriptを実行します。生成されたHTMLは、そのままインデックスに使われます。
一方、主要なAIクローラーの実態は異なります。Webインフラ企業Vercelが、複数のAIクローラーのアクセスログを分析した調査を公開しています(出典: Vercel「The rise of the AI crawler」)。この調査によると、ChatGPTのクローラーはJavaScriptファイルを11.50%の頻度で取得しますが、実行した形跡は確認されていません。 ClaudeBotも23.84%の頻度でJavaScriptファイルを取得しますが、同様に実行しないと報告されています。
同調査では、AIクローラーのアクセス規模も示されています。GPTBotは1か月間に5.69億件、Anthropicのクローラーは3.70億件のリクエストをVercelのネットワークに送っていました。 この2社の合計は、同期間のGooglebotの45億件に対して約20%の規模にあたります(出典: 同調査)。こうしたAIクローラーのアクセス実態に不確実性が残る点は、『llms.txt採用率8.7%というデータの実態を検証する』でも指摘しています。
以上を踏まえると、JavaScriptで動的に描画する部分に本文や重要な情報を置いているサイトは、AIクローラーからは空白のページとして扱われるリスクがあります。個別のAIクローラーの役割の違いは、姉妹記事『GPTBot・OAI-SearchBot・ChatGPT-User比較』で詳しく解説しています。
05クロールされやすいサイト構造の3原則
AIクローラーの制約を踏まえたうえで、クロールされやすいサイト構造には共通する3つの原則があります。
原則は次の3つです。
| 原則 | 内容 | 出典 |
|---|---|---|
| リンクの形式 | <a>要素とhref属性でリンクする | Google Search Central |
| 階層のシンプルさ | クリック数の少ない浅い階層にする | 実務上の設計原則 |
| 到達可能性 | 重要ページは他ページから最低1本リンクされる | Google Search Central |
Google公式ガイド「Link best practices for Google」は、リンクが辿れる条件を明確に定義しています。href属性を持つ<a>要素のみがハイパーリンクとして認識されます。JavaScriptのクリックイベントだけに依存したリンクは対象外になり、この制約はJavaScriptを実行しないAIクローラーにとってさらに厳しく働きます。
階層をシンプルに保つことは、クロール効率の観点から実務で広く推奨されている設計原則です(Google公式ガイドに明示の記述はありません)。目安は「メニューからカテゴリページへ、カテゴリページからサブカテゴリページへ」とたどれる構造です。トップページから何度もクリックしないとたどり着けないページは、発見が遅れる、または発見されない可能性があります。
06AIクローラビリティを高める実装手順(7ステップ)
ここまでの原則を踏まえ、実際にサイト構造を見直す手順を7ステップで示します。
- 重要ページの本文をサーバーサイドで返す: JavaScriptでのみ描画される本文がある場合、サーバーサイドレンダリングまたは静的HTML化を検討する
- ナビゲーションをhref付きの
<a>要素に統一する: クリックイベント頼みのリンクを、通常のハイパーリンクへ置き換える - クリック深度を3階層以内に抑える: トップページから対象ページまでの最短クリック数を数え、深すぎる場合は中間カテゴリページを追加する
- XMLサイトマップを整備し全ページを網羅する: 内部リンクが手薄なページも、サイトマップ経由で発見される経路を確保する
- robots.txtでAIクローラーの許可・拒否を明示する: 意図せず全AIクローラーを遮断していないか確認する。設定例は『AIクローラー別robots.txt設計テンプレ集【2026年版】』を参照してください
- 孤立ページ(オーファンページ)を洗い出す: サイト内のどこからもリンクされていないページがないか、Screaming Frog等のクロールツールで確認する
- 重複URLを整理する: パラメータ違いなどで同一内容のURLが複数存在する場合、canonicalタグで正規化する
これらの手順は、内部リンクの設計とも密接に関わります。カテゴリ単位でページ同士をリンクし合う設計については、姉妹記事『内部リンク設計でトピッククラスターを作る方法｜実装6ステップ』で具体的な手順を解説しています。構造化データによる補完については『JSON-LDの書き方基礎｜3つの実装例で学ぶハンズオンガイド』もあわせてご覧ください。
07クロールバジェットとサイト規模の関係
サイト規模が大きくなるほど、クロールの優先順位づけが課題になります。Google公式ガイド「Optimize your crawl budget」は、クロールバジェットという考え方を示しています。クロールバジェットとは、Googlebotが巡回できる、かつ巡回したいと考えるURLの集合を指します。 同ガイドによれば、ページ数が少ない中小規模のサイトでは、クロールバジェットが問題になることは通常ありません。
一方、数万ページ規模の大規模サイトや更新頻度の高いサイトでは話が変わります。クロールされる優先順位を左右する要因として、Googleは重複コンテンツの整理やnoindexの誤用を避けること、サーバーの応答速度改善などを挙げています(出典: 同ガイド)。noindexを設定したページにもクロール要求自体は発生するため、クロール予算の節約にはならないと同ガイドは注意を促しています。
AIクローラーに同様の「予算」概念が公式に存在するかどうかは、各社から明確な説明がなく現時点では確認できません。ただしGPTBotやClaudeBotの月間リクエスト数はGooglebotよりも少ない実態があります。この差を踏まえると、大規模サイトほどAIクローラーの巡回対象に入りにくい可能性は考えられます。サイト構造を整理し、限られたクロール機会を重要ページへ集中させる価値は、AI検索の文脈でも小さくありません。
08チェックリスト
- 重要ページの本文がJavaScriptなしでも取得できるHTMLに含まれている
- サイト内のリンクがhref属性付きの
<a>要素で統一されている - トップページから主要ページまでのクリック深度が3階層以内である
- XMLサイトマップが最新のページ一覧を反映している
- robots.txtで意図しないAIクローラーの遮断がないか確認済みである
- 孤立ページ(オーファンページ)の有無を定期的に確認している
09よくある失敗
JavaScriptフレームワークで作った本文をそのまま公開してしまう。ReactやVueなどでクライアントサイドレンダリングしたページは、初期HTMLに本文が含まれないことがあります。GPTBotやClaudeBotはこの初期HTMLしか読まないため、本文が存在しないページとして扱われてしまいます。
メガメニューの階層を作り込みすぎてしまう。カテゴリを細分化しすぎると、末端ページまでのクリック深度が深くなります。人間には使いやすくても、クローラーにとっては到達しにくい構造になっている場合があります。
サイトマップを一度作って更新しない。新規ページを追加してもサイトマップに反映されないままだと、内部リンクの薄いページがいつまでも発見されない状態が続きます。
10FAQ
Q. サイト構造を見直せばAI検索に確実に引用されますか？
確実に引用されるわけではありません。サイト構造の整理はAIクローラーがページを取得・解析できる前提条件を整える施策であり、引用されるかどうかはコンテンツの質など他の要因にも左右されます。
Q. JavaScriptを使うとAIクローラーに読まれなくなりますか？
一律に読まれなくなるわけではありません。問題になるのは、本文などの重要な情報がJavaScript実行後にしか表示されない場合です。サーバーサイドで初期HTMLに本文を含めていれば、影響は限定的です。
Q. クリック深度は具体的に何回までが目安ですか？
本記事では3階層以内を目安として紹介していますが、Google公式ガイドはこの数値を明示していません。サイト規模やページ数に応じて、重要ページほど浅い階層に置くという考え方を優先してください。
Q. 小規模サイトでもクロールバジェットを気にする必要がありますか？
Google公式ガイドによれば、ページ数が少ない中小規模のサイトでは通常問題になりません。クロールバジェットへの対策よりも、本記事で紹介したリンク構造やクリック深度の整理を優先すべきです。
Q. robots.txtでAIクローラーを許可すれば十分ですか？
robots.txtの設定は、AIクローラーがサイトにアクセスするための前提条件のひとつにすぎません。リンク構造やJavaScriptレンダリングへの対応もあわせて整えないと、アクセスできても本文を正しく取得できない状態が残ります。
11まとめ
AIクローラーの多くはJavaScriptを実行せず、初期HTMLに含まれる情報だけを読み取ります。この制約を踏まえ、サーバーサイドでの本文出力、href付きリンクへの統一、浅い階層設計、サイトマップの整備という基本を押さえることが、AIクローラビリティを高める土台になります。
まずは自社サイトの主要ページで、JavaScriptを無効化した状態でも本文が表示されるかを確認するところから始めてみてください。
12この分野を体系的に学ぶ
この記事は徹底ガイド記事です。サイト構造とAIクローラビリティを基礎から体系的に学びたい方は、AI検索最適化講座「テクニカル編: サイト構造・レンダリング・速度（III-D）」をご覧ください。
