この記事のポイント
-
クローラビリティとは
-
「クローラビリティ」とは、Webサイトを巡回する「クローラー」から見たWebサイトの視認性のことで、Webサイトがクロールしやすい状態かどうかを指す言葉です。クローラビリティが高いWebサイトは、クローラーが各コンテンツをスムーズに回遊できるため、正しい評価を得やすくなります。
-
クローラビリティを向上させる方法
-
高品質なコンテンツを提供することがクローラビリティ向上には欠かせません。その他サーチコンソールから、インデックス登録をリクエストしXMLサイトマップを送信することも、Webサイトのクローラビリティ向上に大切です。内部リンクの最適化やパンくずリストの設置、URLの正規化、優良な被リンクを獲得することなども効果的です。
-
クローラーが巡回しにきているか確認する方法
-
Googleの検索窓に「site: クロールの有無を確認したいWebページのURL」を入力し、確認したいWebページが表示された場合は、クロールが正常に行われたということです。また、サーチコンソールから「クロールの統計情報」を確認すると、クロールの長期的な状況がわかります。
サイトのSEO対策をする際、重要な評価のポイントとして「クローラビリティ」というものがあります。クローラビリティを重視すると、Webサイトが検索エンジンから正しく評価されるようになります。SEO評価を高めるためにも、クローラビリティを意識することは極めて重要な要素です。
しかし、クローラビリティは検索エンジンのアルゴリズムと結びついているため、「わかりにくい」と感じている人も多いことでしょう。実は、クローラビリティは基本的な対策で向上することが多いため、Web制作初心者の人でも意外と取り組みやすいポイントです。
本記事では、Webサイトのクローラビリティの概要や重要な理由と、クローラビリティを向上させる方法について解説します。この記事を読み実践をし、WebサイトのSEO強化につなげていただければと思います。
＜無料＞資料ダウンロード
【成果に直結】Webサイトコンサルティング
Webのプロが成果の出るWebサイトへ改善いたします
SEOで順位が上がらない担当者様へ
実力のあるSEOコンサルタントが本物のSEO対策を実行します。
SEO会社に依頼しているが、一向に検索順位が上がらない・・・。
SEO対策をSEO会社に依頼していてこのようなお悩みはありませんかhttps://n-works.link/blog/seo/how-to-seoSEO対策はSEOコンサルタントの力量によって効果が大きく変わるマーケティング手法です。弊社では価値の高いSEOコンサルティングをご提供するため、厳選した業界トップクラスの大手SEO会社出身で大規模サイト運用経験のあるトップコンサルタントが在籍しております。
クローラビリティとは？
「クローラビリティ」とは、Webサイトを巡回する「クローラー」から見た「Webサイトの視認性」のことです。本章では、クローラビリティについて下記2つの観点から解説します。
- クロールしやすい状態かどうかのことをクローラビリティと呼ぶ
- クローラビリティが悪いと検索結果に表示されないことにつながる
クロールしやすい状態かどうかのことをクローラビリティと呼ぶ
クローラビリティは、Webサイトがクロールしやすい状態かどうかを指す言葉です。そもそも、GoogleやYahoo!などの検索エンジンでキーワードを入力したとき、なぜすぐに無数のWebサイトから、キーワードに一致するWebサイトが表示されるのでしょうか。
それは、「クローラー」があらゆるWebサイトの情報を収集し、データベースを作成しているからです。ユーザーが検索したときに、膨大なデータベースから必要な情報を取り出し、検索順位を反映した一覧を表示させることができます。
クローラーとは、各Webサイトを自律的に巡回し、検索順位を決定するためのシステムです。クローラーがWebサイトを訪問することを「クロール」と呼び、インターネット上に存在するあらゆるWebサイトがクロールの対象となっています。
Webサイトを訪問したクローラーが行うことは、Webサイト構造の理解やコンテンツ品質の評価などです。クローラビリティが高いWebサイトは、クローラーが各コンテンツをスムーズに回遊できるため、それだけ正しい評価を得やすくなります。
WebサイトのクローラビリティはWebサイトの「SEO評価」、つまり検索順位に直結するということ。クローラビリティに優れたWebサイトを構築すれば、検索順位が向上しやすくなるため、競合サイトに対する大きなアドバンテージとなるでしょう。
クローラビリティが悪いと検索結果に表示されないことにつながる
検索順位が高い、すなわちSEOに強いWebサイトを作るためには、クローラビリティの向上が欠かせません。しかし、何らかの理由でWebサイトが「クロールしづらい」状態になっていると、そもそも自社サイトが検索結果に表示されないことがあります。
前述したように、検索結果が表示されるのはクローラーがデータベースを作成しているためです。Webサイトやネットワークなどに障害があると、クローラーがWebサイトに到達できず、データベース作成と検索結果への表示が不可能となります。どれだけ良質なコンテンツを制作しても、これでは本末転倒ですよね。
また、Webサイトやコンテンツを制作しても、クローラーがすぐに訪問するわけではありません。クローラーが訪れるページ数はわずか1日で数億ページ、1年間で1兆ページを超えるといわれています。クローラーが自社サイトを「発見」するのが遅れると、それだけ検索結果への反映も遅くなってしまうでしょう。
このように、クローラビリティは検索順位だけではなく、「いつ検索結果に表示されるか」にも関わる問題です。とくに下記3つのタイミングは、クローラビリティを向上させる重要性が高いので注意してください。
- 新しいWebサイトやコンテンツを作成したとき
- Webサイト全体をリニューアルしたとき
- コンテンツのリライトを行ったとき
クローラビリティを向上させる方法
Webサイトのクローラビリティを向上させるために、下記10個の対策が効果的だと考えられています。本章では、それぞれの施策の詳細について確認していきましょう。
- Google Search Consoleからクロールをリクエストする
- Google Search ConsoleからXMLサイトマップを送信する
- 内部リンクを戦略的に設置する
- サイトの現在地を示すパンくずリストを設定する
- URLが複数ある場合は1つに統一する
- ディレクトリ階層をなるべく浅くする
- HTTPステータスコードを正しくする
- 優良な被リンクを獲得する
- 高品質なコンテンツを作る
- Webサーバーを最適なものにする
Google Search Consoleからクロールをリクエストする
クローラビリティ向上の最も基本的な方法は、「サーチコンソールから検索エンジンにクロールを依頼する」というものです。サーチコンソールは、Googleが公式に提供しているWebサイト分析ツール。表示回数や検索順位、Webサイトの改善点がわかります。
サーチコンソールでGoogleにクロールをリクエストできる機能が「URL検査ツール」です。URL検査ツールを活用すると、Webサイトのクローラビリティが一時的に向上し、Webサイトが検索結果に表示されるまでの時間が短くなります。URL検査ツールを活用して、Googleにクロールをリクエストする手順は下記のとおりです。
- サーチコンソールにログインする
- メニュー欄の「URL検査」をクリックする
- 画面上部の検索ボックスに新規コンテンツのURLを入力する
- 「URLがGoogleに登録されていません」と表示される
- 「インデックス登録をリクエスト」をクリックする
上記の手順が完了すると、WebページへのクロールをGoogleにリクエストできます。新規コンテンツの公開やリライトを行った後は、ぜひURL検査ツールを利用してみましょう。ただし、URL検査ツールの効果はあくまで「一時的」です。Webサイト全体のクローラビリティを長期的に向上させるためには、これから解説する施策の導入が欠かせません。
Google Search ConsoleからXMLサイトマップを送信する
サーチコンソールから「XMLサイトマップ」を送信することも、Webサイトのクローラビリティ向上に大切です。XMLサイトマップは、Webサイトの構造や各コンテンツの配置などを、検索エンジンに伝える「地図」のようなもの。クローラーは自律的にWebサイトを回遊しますが、地図がなければWebサイトの理解に時間がかかってしまいます。
XMLサイトマップをサーチコンソールからGoogleに登録すれば、自社サイトのコンテンツを迅速かつ的確に伝えることが可能です。結果的にクローラビリティが向上し、Webサイトが正確に評価されやすくなります。サーチコンソールからXMLサイトマップを送信する手順は下記のとおりです。
- サーチコンソールにログインする
- 左側メニューの「サイトマップ」をクリックする
- 「新しいサイトマップの追加」を選択する
- XMLサイトマップのURLを入力する
上記の手順が完了すると、画面上に「サイトマップを送信しました」と表示され、GoogleにXMLサイトマップが登録されます。なお、XMLサイトマップ自体は複雑ではありますが、無料ツールで簡単に作成できるので安心してください。下記4ついずれかの条件に当てはまるWebサイトでは、XMLサイトマップ登録の効果がとくに大きくなります。
- Webサイトのコンテンツ数が多い
- 内部リンクの最適化が進んでいない
- 獲得した外部被リンク数が少ない
なお、サーチコンソールでXMLサイトマップを送信する方法については、下記のページで詳しく解説しています。SEO対策の効果が高い施策なので、ぜひ参考にしてみてください。
内部リンクを戦略的に設置する
「内部リンク」の最適化もクローラビリティの向上に欠かせません。内部リンクとは、Webサイトのコンテンツ同士をつなぐリンクのことです。たとえば、コンテンツAにコンテンツBへのリンクを設置すると、内部リンクとなります。
ユーザーがWebサイトを回遊するときに利用するのが内部リンクですが、それはクローラーでも同じことです。Webサイトの内部リンクを最適に設置すると、ユーザーは必要な情報を得やすくなり、結果的にクローラーにとっても回遊しやすいWebサイトとなります。つまり、ユーザビリティの向上がそのままクローラビリティの向上につながるということです。
ただし、内部リンクは「何でも設置すれば良い」ものではありません。下記3つのポイントを意識して、戦略的な内部リンクを心掛けることが重要です。
- 関連性の高いコンテンツへのリンクを設置する
- ユーザーが理解しやすいアンカーテキストにする
- 内部リンクのアンカーテキストは<a>タグで設置する
関連性の低いコンテンツへの内部リンクを設置しても、ユーザビリティは向上しません。ユーザーがすぐに離脱するWebサイトとなるため、クローラーからの評価も低下します。また、アンカーテキスト（リンク名）はURLや画像ではなく、記事タイトルのようなわかりやすいものを「<a>タグ」で設置することも重要です。
内部リンクは、SEO評価を評価させるためにぜひ意識したいポイント。次の記事で詳しく解説しているので、ぜひ参考にしてみてください。
【SEOにも重要】WordPressの内部リンクの設定方法や張り方のコツを紹介
サイトの現在地を示すパンくずリストを設定する
「パンくずリスト」を設置すると、クローラビリティが向上しやすくなります。パンくずリストとは、Webサイト内でのユーザーの「現在地」を表すためのもの。下記の画像のように、ユーザーが現在アクセスしている記事のタイトルや、カテゴリ名などをわかりやすく示すことができます。
パンくずリストがあれば、それだけでユーザビリティが向上します。ユーザーが自身の居場所を理解でき、パンくずリストをクリックすると関連ページに遷移できるからです。クローラーもパンくずリストを参照するため、内部リンクと同様にユーザビリティがそのままクローラビリティにつながります。
「パンくずリスト（breadcrumb list）」という名称は、グリム童話の『ヘンゼルとグレーテル』に由来します。ヘンゼルとグレーテルの兄妹は、森を歩くときに迷子にならないように、パンくずを道に撒いて「道しるべ」としたのです。しかし、その道しるべが混乱の原因とならないよう、下記3つのポイントに注意してパンくずリストを作成しましょう。
- パンくずリストの階層を適切に分ける
- パンくずリストの階層を簡潔にする
- パンくずリストの要素をリンクにする
パンくずリストの「階層」とは、カテゴリ分類のことです。間違ったカテゴリがパンくずリストに表示されている場合や、階層が多すぎて複雑化している場合は、ユーザーがかえって混乱してしまいます。また、パンくずリストは「リンク」になっていて初めて効果を発揮するので、パンくずリストの各要素にはリンクを設置しておきましょう。
パンくずリストをうまく設置するコツや注意点については、次の記事で詳しく解説しているので参考にしてみてください。
パンくずリストとは？設置メリットやSEO効果、スマホ表示について解説
URLが複数ある場合は1つに統一する
WebサイトやコンテンツのURLが複数ある場合は、必ず1つに統一しておきましょう。これを「URLの正規化」と呼びます。下記のように「複数のURLで同一のWebページにアクセスできる」構造になっているWebサイトは少なくありません。
- 「http://」と「https://」のどちらでもアクセスできる
- 「www.」や「/index.html」の有無に関係なくアクセスできる
- 「パソコン用」と「スマートフォン用」で別のURLを用意している
上記のように複数のURLを用意しておくことは、ユーザビリティ向上のために重要です。しかし、複数のURLから同一のWebページにアクセスできるようになっていると、「重複コンテンツ」 とみなされます。その結果、クロールの頻度が低下するだけではなく、コピーコンテンツと判断されてペナルティの対象となってしまう可能性もあるのです。
そのため、重複コンテンツ同士の関係性を検索エンジンに明確に伝えるために、URLの正規化を行う必要があります。URLの正規化を行うと、Webページの重複したURLを代表する1つのURLをGoogleに伝えて、各URLの関連性を示すことが可能です。URLの正規化は下記2ついずれかの方法で行います。
- 「301リダイレクト」を行う
- 「canonicalタグ」を使用する
ディレクトリ階層をなるべく浅くする
Webサイトの各コンテンツのディレクトリ階層は、できるだけ浅くするとクローラビリティが向上します。クローラーは浅いディレクトリからクロールを実行するからです。そもそもディレクトリとは、下記のようにURLの「/」で区切られた部分を指します。
「Webサイト制作相談室」では、「seo」ディレクトリは「blog」ディレクトリの配下、つまり深い部分にあることがポイントです。クローラーは浅いblogディレクトリからクロールを行ってから、seoディレクトリにある各コンテンツの探索を始めます。各コンテンツのディレクトリが深ければ深いほど、重要な部分のクロールが後回しになってしまうのです。
階層が過度に深いディレクトリ構造を作るとURLが複雑になるため、クローラビリティが低下します。その結果、すべてのコンテンツのクロールを完了できず、検索順位に悪影響を及ぼしてしまうことも。
理想的なディレクトリ構造については、Googleのガイドラインにも明記されているため確認しておきましょう。3～4個くらいのディレクトリであれば、とくに気にする必要はないようです。ディレクトリ構造が複雑になりすぎないように意識すれば問題ありません。
HTTPステータスコードを正しくする
正しい「HTTPステータスコード」を出すようにすることも、クローラビリティを向上させるために必要です。HTTPステータスコードとは、サーバーから返信される「実行結果」のこと。3桁の数字で表現されるHTTPステータスコードは、ユーザーからの要求を正しく実行できたかを下記のように示します。
| HTTPステータスコード | 実行結果 | 意味 |
|---|---|---|
| 200 | 正常なレスポンス | PCやスマホなどの端末で、Webサイトを正常に閲覧できる |
| 301 | 恒久的な転送 | WebページのURLが変更されているため、正しいURLに転送する |
| 404 | 異常なレスポンス | 指定されたURLが存在しないため、Webページを表示できない |
重要なポイントは、クローラーがHTTPステータスコードの種類によってWebページの状態を判断することです。URLを変更したWebページは「301」を、削除したWebページは「404」のHTTPステータスコードを送信しないといけません。
正しくないWebページで「200」のHTTPステータスコードを送信すると、クローラーは不正なWebサイトを通常のWebページとして扱います。その結果、下記のような問題が生じて、SEO評価に多大な悪影響が出てしまうのです。
- 低品質なコンテンツと評価される
- クローラーのリソースが消費される
- 必要なWebページがクロールされない
HTTPステータスコードは、サーチコンソールの「カバレッジ」メニューで確認できます。問題があるWebページの詳細が表示されるので、HTTPステータスコードの改善に効果的です。HTTPステータスコードの状態は、少なくとも月1回は確認するようにしてください。
優良な被リンクを獲得する
「優良な被リンク」を獲得することは、クローラビリティの向上に極めて効果的です。被リンクとは、ほかのWebサイトのコンテンツで自社のWebサイトへのリンクが設置されることを指し、「外部リンク」とも呼ばれます。クローラーはリンクをたどって移動していくため、被リンクを獲得すると自社サイトがクロールされる機会が増えるのです。
ただし、被リンクの獲得は「多ければ有利」というわけではないので、あくまで「良質」なものを獲得することが重要です。下記のような被リンクは、むしろWebサイトの評価を低下させてしまうので注意してください。
- Webページ同士の関連性が低い被リンク
- 低品質なコンテンツからの被リンク
- 金銭を支払って獲得した被リンク
- 過剰に行われた相互の被リンク
被リンクは、良質で関連性の高いコンテンツから自発的にリンクを送られたときに、クローラビリティ向上の効果が得られます。クローラーからの評価が高い優良サイトからの被リンクを獲得できれば、SEO対策において大きなアドバンテージとなるでしょう。また、被リンクのほかにSNSで紹介される「サイテーション」も、クローラビリティに有利です。
被リンクやサイテーションは、こちらから意識的に獲得できるものではないため、ほかの施策と比べると難易度が高いかもしれません。しかし、良質なコンテンツを増やすことで、被リンク数は確実に伸びていきます。
下記のサービスや関連記事もあわせてご参考にしてみてください。
リンクビルディングとは？SEOに効果的な戦略を解説
被リンク数の獲得につながるリンクビルディングは、情報が飛び交っているWeb上では欠かせません。この記事ではそのような重要な役割を持つ、リンクビルディングについての基本的な情報から、SEOに効果的な戦略についての解説を行っています。
高品質なコンテンツを作る
「高品質なコンテンツ」を増やすことこそが、クローラビリティ向上の近道といっても過言ではありません。先ほども触れたように、ユーザビリティはクローラビリティに直結しています。「ユーザーの検索ニーズを反映して有益な情報を提供するコンテンツ」は、クローラーが内容を理解しやすいため、自然とWebサイト全体のSEO評価が高まるのです。
一方で、検索ニーズと一致しないコンテンツや、無駄な文章が多すぎるコンテンツは「低品質なコンテンツ」と判断されます。低品質なコンテンツはクロールのロスを増やし、クローラビリティ低下につながるため注意が必要です。コンテンツの品質を改善するために、下記3つのポイントを意識しましょう。
- ユーザーの検索意図を理解する
- 競合サイトを徹底的に分析する
- ユーザーファーストを心がける
ユーザーの検索意図を反映したコンテンツを、ユーザーとGoogleは高く評価します。「ユーザーが何を知りたいか」を理解することはもちろん、競合サイトの分析も欠かさず行ってユーザーの検索ニーズを満たしましょう。そのためには、「ユーザーファースト」でユーザーに寄り添う姿勢が欠かせません。
なお、SEOにおける「検索意図」については次の記事で徹底的に解説しているので、コンテンツ品質を改善するための参考にしてみてください。
【便利なツールも紹介】SEOにおける検索意図とは？種類や調べ方も徹底解説
Webサーバーを最適なものにする
表示速度が遅いWebページや、サーバーエラーが多いWebサイトは、クローラーの巡回を妨げてしまいます。後述する「クロールバジェット」の上限値、つまり一度のクロールで回遊できるページ数は、Webサイトの表示速度によって変動するためです。
表示速度が遅いWebサイトを訪問したクローラーは、クロールバジェットを下げて見切りをつけます。つまり、Webサイトの「アクセシビリティ（利用しやすさ）」によって、クローラビリティが大きく変わるということ。この点はGoogleの公式ブログでも明記されているので、ぜひ確認しておきたいところです。
Webサイトの表示品質を大きく左右するのがWebサーバーのスペック。良質なWebサーバーを使用すると、各ページの表示速度が向上してサーバーエラーが減ります。クローラビリティが改善するため、Webサイトやコンテンツが正しく評価されるようになるでしょう。成果を重視するWebサイトこそ、Webサーバーの選定が重要です。
クローラーが巡回しにきているか確認する方法
クローラビリティを向上させるための対策を行ったあとは、「本当にクローラーが巡回しにきているか」を確認したいですよね。本章では、クロールの有無を確認できる下記2つの方法を解説します。
- 「site:」検索を使って確認する
- Google Search Consoleのクロール統計情報で確認する
「site:」検索を使って確認する
「site:」検索を使うと、特定のWebページにクローラーが訪れたか確認できます。Googleの検索ボックスに「site: https://n-works.link/blog」のように、「site: クロールの有無を確認したいWebページのURL」を入力してみましょう。確認したいWebページが表示された場合は、クロールが正常に行われたということです。
ただし、公開や更新を行ったWebページが検索結果に反映されるまでには、最低でも数日はかかります。数週間経っても表示されない場合は、クローラビリティの問題を疑ってみましょう。Google Search Consoleから、クロールリクエストやXMLサイトマップを送信すると、やがて検索結果に正しく反映されるはずです。
Google Search Consoleのクロール統計情報で確認する
サーチコンソールから「クロールの統計情報」を確認すると、クロールの長期的な状況がわかります。サーチコンソールにログインし、左側メニューの「クロールの統計情報」をクリックすると、クロールの統計情報を利用可能です。下記3つのグラフが表示されるので、データをチェックしてみましょう。
- 1日あたりのクロールされたページ数
- 1日にダウンロードされるキロバイト（KB）数
- ページのダウンロード時間（ミリ秒）
「1日あたりのクロールされたページ数」が上昇していれば、クローラビリティが高い傾向にあると考えられます。「1日にダウンロードされるキロバイト（KB）数」も同様に、多いほうが好ましいです。ただし、日によって大きく上下することもあるため、数か月単位の長期的な傾向を判断する必要があります。
「ページのダウンロード時間（ミリ秒）」は最も重要な指標で、低いほうが好ましいです。これは1ページあたりのクロールに要する時間を示します。ダウンロード時間が大幅に上昇している場合は、何らかの障害を疑ってみましょう。そのまま放置しておくとクローラビリティが低下するので、Webサイトやサーバーの改善が必須です。
クローラビリティに関してよくあるQ&A
クローラビリティに関するよくある質問のなかで、とくに重要なものを本章で解説します。クローラビリティについて疑問がある人は、ぜひ参考にしてみてください。
- クローラビリティはGoogleだけを意識すればいい？
- クロールの頻度を高めるための方法は？
- クロールバジェットってなに？
Q. クローラビリティはGoogleだけを意識すればいい？
クローラビリティ対策は、基本的にGoogleだけを意識して行えば問題ありません。国内の検索エンジン市場において、Googleが圧倒的なシェアを誇っています。次いでシェアが高いYahoo!もGoogleのシステムを導入しており、GoogleとYahoo!を合わせた国内シェアは9割以上。
Googleを意識してクローラビリティの向上に努めれば、9割以上のインターネットユーザーに対して効果的なSEO対策が行えます。本記事で紹介した施策も、すべてGoogleに特化したものです。クローラビリティの改善において、ほかの検索エンジンを意識する必要はありません。
Q. クロールの頻度を高めるための方法は？
Webサイトに新規コンテンツを追加したときが、クロールの頻度が最も高まりやすいタイミングだと考えられています。新規コンテンツはクロールの必要性が高く、クローラーが積極的に巡回しようとするためです。そのため、Webサイトを定期的に更新し続ければ、クロール頻度が高い状態を維持できるでしょう。
ただし、クロール頻度とクローラビリティには、必ずしも相関関係があるわけではありません。たとえWebサイトの更新頻度が高くても、コンテンツの品質に問題があればクローラビリティが低下するため、SEOの観点で不利になります。あくまでコンテンツの品質を優先して、可能な範囲で更新頻度を高めることが重要です。
Q. クロールバジェットってなに？
「クロールバジェット」とは、1回のクロールで訪問できるWebページの上限値のことです。訪問ページ数がクロールバジェットを超過した時点でクロールは終了し、クローラーはほかのWebサイトへ移ります。先ほども触れたように、クローラーはWebサイトの表示速度や品質によって変動するものです。
たとえば、コンテンツの品質や表示速度が著しく低い場合は、クローラーはクロールバジェットを低下させて見切りをつけます。記事数が1,000本以上あるサイトでは、クロールバジェットの上限に達するケースが増えるため、クロールバジェットを意識することは重要です。
クローラーにたくさんのWebページを訪問してもらうために、今回紹介した施策を実行してWebサイトを改善しましょう。
クローラビリティのまとめ
クローラビリティを向上させることにより、Webサイト全体が正確に評価されやすくなります。SEO評価を高めて検索順位を上げるために、サーチコンソールの活用や内部リンクの最適化、高品質なコンテンツ制作などを意識してみてください。
「株式会社ニュートラルワークス」では、クローラビリティ向上のための「Webサイト改善コンサルティング」のサービスを提供しています。Webサイトの品質や表示速度、クローラビリティについてお悩みの場合は、ぜひ弊社にご相談ください。最適な改善策を提案させていただきます。
＜無料＞資料ダウンロード
【サイト運営者必見】SEO対策入門ガイド
SEO対策のポイントやメリット・デメリットを分かりやすく解説！
