この記事のポイント
この記事でおさえておきたいポイントは以下です。
-
クローキングの概要とリスク
-
クローキングは、検索エンジンとユーザーに異なるコンテンツを表示する行為で、Googleのガイドライン（品質評価ガイドライン）に違反するため、重大なペナルティを受けるリスクがあります。
-
クローキングの具体的な手法
-
隠しテキストやIPアドレス判別など、一般的に用いられるクローキングの方法とその危険性について解説しています。
-
安全なサイト運営のための確認方法
-
Google Search Consoleを使ったキャッシュ確認やURL検査など、意図しないクローキングを防ぐための具体的なチェック方法を紹介しています。
クローキングとは、検索エンジンと実際のユーザーに異なる内容を表示させる手法であり、発覚すれば検索順位の低下やインデックスからの削除などの重いペナルティが課せられます。
また、意図せずにクローキングを実施していた場合でも、同様のペナルティが発生するため、サイト運営において注意しなければいけません。
本記事では、クローキングの具体的な手法やSEOへの悪影響、クローキングと評価されないための対策を詳しく解説しています。
この記事を読めば、クローキングにならない正しいSEO対策が実施できます。Googleのペナルティが不安な方は、ぜひ最後まで読んで意図しないクローキングを回避しましょう。
＜無料＞資料ダウンロード
見込み顧客の流入を増やす！SEOのお悩みを一括で解決
クローキングとは
クローキングとは、検索エンジンとユーザーに対して異なるコンテンツやURLを表示する手法です。
検索エンジンのアルゴリズムを欺くために行われる手法で、SEOの不正行為とされています。
以下の見出しでは、「クローキングの例」と「クローキングに該当しないケース」について、詳しく解説していきます。
クローキングの例
クローキングの手法例を以下表に示しました。
| クローキング例 | 詳細 |
|---|---|
| 画像とテキストの使い分け | ユーザーには画像が多く使われた見栄えの良いページを表示し、検索エンジンにはテキストベースのページを提供する |
| IPアドレスによる判別 | Googlebotなど検索エンジンが使用する特定のIPアドレスを認識すると、キーワードが多く含まれたページを表示する |
| 背景色と同じ色のテキストを使用 | 背景色と同じ色でキーワードのテキストをページ内に配置する |
これらのクローキング手法は、SEO評価を不正に操作する意図があるため、Googleのガイドラインで厳しく禁止されています。
Google のポリシーに違反しているサイトは、検索結果での掲載順位が下がったり、まったく表示されなかったりすることがあります。
引用：Google検索セントラル「Google ウェブ検索のスパムに関するポリシー」
クローキングに該当しないケース
すべてのコンテンツ変更が、クローキングに該当するわけではありません。
以下表では、正当な目的で行われるコンテンツの変更例を紹介します。
| クローキングに該当しないケース | 例 |
|---|---|
| 地域ごとの情報を表示する | アメリカ在住のユーザーには英語でページを表示し、日本在住のユーザーには日本語のページを表示する |
| デバイスに合わせたレイアウトを表示する （レスポンシブ対応） |
PCでは横幅の広いデザインを提供し、スマホでは縦長のレイアウトを用意する |
| 表示する時間帯に応じて内容を切り替える | キャンペーン期間中のみ表示される割引情報や、特定の時間帯限定のサービスを表示する |
クローキングにならないケースの共通点として、「ユーザーにとって便利な情報を提供しているか」が挙げられます。
正当な理由によるコンテンツの変更は、クローキングに該当しないため、基本的に特別な対策を実施する必要はありません。
レスポンシブデザインとは？今さら聞けない特徴やメリット・デメリットを解説
PCやスマホ、タブレットそれぞれのデバイスに最適なデザインでWebサイトを表示するレスポンシブデザインが今や当たり前になりました。レスポンシブデザインとは何か、何に注意して設計すべきかを基本的なところから解説します。
クローキングがSEOに与える影響
次に、クローキングがSEOに与える影響について、以下の内容で解説します。
- Googleからのペナルティのリスク
- スパム行為とみなされる理由
クローキングとSEOの関係性を理解して、適切なSEO対策を心がけましょう。
Googleからのペナルティのリスク
クローキングはGoogleのガイドラインに反する行為であり、SEO対策として実施すると、Googleからペナルティを受けるリスクがあります。
Google 検索は、自動システムによってスパムを検出します。スパムとは、ユーザーを欺いたり、検索システムを操ろうとしたりするコンテンツのことです。Google はこのようなスパムに対して対策を講じます。
引用：Google検索ヘルプ「コンテンツポリシー」
クローキングの実施で発生するペナルティとして、以下2つの項目が該当します。
- 検索順位の大幅な低下
- 手動ペナルティによるインデックスからの削除
クローキングにより一時的にSEO評価が上昇したとしても、Googleからのペナルティによって、施策実行前より評価が悪化してしまいます。
Googleペナルティとは？確認方法と具体的な解除方法
Googleペナルティは、検索エンジンのガイドライン違反により、サイトの順位が下がる現象です。本記事では、ペナルティの確認方法や具体的な解除手順について詳しく解説しています。
スパム行為とみなされる理由
クローキングがスパム行為とみなされる理由は、ユーザーと検索エンジンに対して異なる内容を意図的に表示して、検索結果を不正に操作する行為だからです。
例えば、検索エンジンに対しては、キーワードが豊富なコンテンツを表示して、実際のユーザーには全く別のページを表示すると、検索結果と表示内容が一致しなくなります。
クローキングが実施されたサイトは、検索エンジンを通じてアクセスしたユーザーの期待を裏切るため、信頼性の低いサイトだと認識されてしまいます。
クローキングの手法
次に、クローキングとして使用される手法を3つ紹介します。
- 隠しテキストや隠しリンクを使用する方法
- IPアドレスやユーザーエージェントを用いる方法
- 画像表示やFlashコンテンツを使う手法
意図せず実施しないためにも、クローキングの手法を理解しましょう。
隠しテキストや隠しリンクを使用する方法
クローキングの手法として、隠しテキストや隠しリンクを使用する方法があります。
ユーザーには見えないようにテキストやリンクをページ内に配置することで、検索エンジンのクローラーにだけ特定のキーワードやリンクを読み込ませます。
| 隠しテキストや隠しリンクの方法 | 例 |
|---|---|
| 背景色と同じ色でテキストを配置 | 白い背景のページに、白色のテキストでキーワードを追加すると、検索エンジンのクローラーのみにテキストが認識される |
| テキストのサイズを極端に小さくする | ユーザーが視認できないテキストサイズにして、検索エンジンだけが認識できるようにする |
IPアドレスやユーザーエージェントを用いる方法
IPアドレスやユーザーエージェントを用いるクローキングは、ユーザーや検索エンジンが利用している端末情報やネットワーク情報を元に、表示するページ内容を変える手法です。
ユーザーエージェントとは、アクセスしてきたブラウザやデバイスの情報のことです。
例えば、Googlebotなど検索エンジンのIPアドレスからアクセスがある場合には、SEO用のキーワードが多く含まれるページを表示して、一般ユーザーには別の内容を表示します。
他には、ユーザーエージェントがGooglebotなどのクローラーにSEO対策用のコンテンツを表示して、ユーザーには視覚的に見栄えの良いデザインや別のコンテンツを表示する方法もあります。
画像表示やFlashコンテンツを使う手法
画像表示やFlashコンテンツを使う手法も、クローキングに該当する可能性があります。
画像の背後や下にキーワードのテキストを配置して、CSSなどでユーザーには見えないようにする方法です。
例えば、ページの目立つ場所に画像を表示させて、その裏にキーワードを隠すと検索エンジンのクローラーにだけテキストを認識させられます。
また、Flashで見栄えの良いコンテンツを表示しながら、検索エンジンにはHTML形式でキーワードのテキストを認識させる手法でもクローキングが可能です。
こうした画像やFlashを使ったクローキング手法は、ユーザー体験を損ねるだけでなく、検索エンジンのガイドラインにも違反してるため、知らずに実施しないよう気をつけましょう。
クローキングの確認方法
クローキングの有無は、以下3つの方法で確認できます。
- キャッシュを確認
- ブラウザの拡張機能でチェックする方法
- Google Search Consoleでチェックする方法
検索エンジンからの評価を失わないためにも、念のため確認することをおすすめします。
キャッシュを確認
キャッシュの確認は、検索エンジンが実際にクロールした内容と、ユーザーの閲覧内容が一致しているかのチェックに有効です。
キャッシュとは、検索エンジンが特定のタイミングでページの内容を保存したものであり、検索結果から確認できます。
キャッシュと現在のページが異なる場合は、クローキングとみなされる可能性があるため、早めの変更が必要です。
定期的にキャッシュを確認して、検索エンジンが意図せずに異なる情報を取得していないか確認しましょう。
ブラウザの拡張機能でチェックする方法
ブラウザの拡張機能を使ってユーザーエージェント名を変更することで、クローキングの有無がチェックできます。
Google chromeでのユーザーエージェント変更方法を、以下に紹介します。
- 1.デベロッパーツールを開く
- 2.画面右上にある3つの点をクリックして「その他のツール→ネットワーク状態」を選ぶ
- 3.ユーザーエージェント項目にある「ブラウザのデフォルトを使用」のチェックを外す
- 4.プルダウンの中から「Googlebot」を選ぶ
- 5.デベロッパーツールを開いたままリロードする
- 6.クローラーが読み込むページの状態が表示される
クローラーが読み込んでいる情報と、本来の情報に違いがないかチェックしましょう。
Google Search Consoleを使った確認方法
Google Search Consoleでも、クローキングの確認ができます。
Google Search Consoleの「URL検査」により、Googleがページをどのようにクロールしているかが正確にわかります。
確認方法は、以下のとおりです。
- URL検査を開く
- 調べたいURLを入力する
- Googleがクロールした際の内容が表示される
新しいページを追加した際や、サイトデザインを変更した後には、Google Search Consoleにて対象のURLが正確にインデックスされているか確認しましょう。
Googleサーチコンソールとは？使い方と登録方法や設定を解説
Webサイトの集客状況を分析する際にGoogleアナリティクスと同じくらい役立つのがGoogleサーチコンソールです。サーチコンソールへの登録方法やGoogleアナリティクスとの連携方法について、わかりやすく解説します。
意図しないクローキングを避けるための注意点
サイト運営者が意図せずにクローキングを実施していた場合でも、重いペナルティが課せられてしまいます。
意図しないクローキングを避けるためにも、以下の注意点を意識しましょう。
- モバイルとPCでクローラーを振り分ける場合の注意
- ログインが必要な情報がクロールされていないか確認
- ハッキング対策の重要性
モバイルとPCでクローラーを振り分ける場合の注意
モバイルとPCで異なるコンテンツを表示する際には、クローラーにも適切に振り分ける必要があります。
特に、モバイルとPCの両方に向けたサイトを別々に構築している場合、クローキングとみなされるリスクがあるため、以下の点に注意しましょう。
| 注意点 | 詳細 |
|---|---|
| モバイルとPCのクローラーに適切なコンテンツを提供する | PCサイトにスマホ用クローラーを誘導したり、スマホサイトにPCクローラーを誘導するとクローキングと判断されるリスクがある |
| レスポンシブデザインを活用する | 同じURLでPCとモバイルの両方に対応したレイアウトが提供されるため、意図しないクローキングを防いでくれる |
モバイルとPCで異なるコンテンツを提供する際には、上記2点を意識しましょう。
ログインが必要な情報がクロールされていないか確認
ログインが必要な情報や会員専用ページは、クロールされないように設定する必要があります。
これらのページが誤ってクロールされると、クローキングとみなされる可能性があるからです。
Google Search Consoleでクロール状況を定期的に確認するのはもちろん、インデックスされている場合は、以下3つの方法で対処しましょう。
- robots.txtでクロールを制限する
- noindexタグを使用して検索結果に表示されないようにする
- セッションIDやログイン情報を要求するページを設定する
ハッキング対策の重要性
ハッカーによりサイトが不正操作されてしまうリスクを下げるためにも、ハッキングへの対策は確実に実施しましょう。
ハッカーの不正操作により、検索エンジンには通常のコンテンツを表示させながら、ユーザーにはスパムサイトや違法コンテンツを表示されると、サイトの評価や信頼性が損なわれるからです。
ハッキングされないためのセキュリティ対策として、以下3つの方法が挙げられます。
- CMS（コンテンツ管理システム）やプラグインは常に最新バージョンに更新する
- 複雑なパスワードを使用する
- 二要素認証を導入する
上記のハッキング対策を実施しながら、Google Search Consoleなどで定期的に異常がないかチェックしましょう。
意図しないクローキングがないか確認しよう
クローキングが発覚すると、「検索順位の低下」や「インデックスからの削除」などの重いペナルティが課せられます。
これらのリスクを避けるためにも、自サイトが意図せずクローキングしていないかを確認しながら、適切なSEO対策を実施しましょう。
＜無料＞資料ダウンロード
見込み顧客の流入を増やす！SEOのお悩みを一括で解決
