クローラー(Crawler)とは、インターネット上でWEBサイトのあらゆる情報を周期的に収集して、検索用データベースインデックスを作成する自動巡回プログラムのことです。
クローラーは収集した情報をもとに、どのWEBサイトを検索エンジンの上位に表示させるかを決めています。
別名でボット、スパイダー、ロボットなどとも呼ばれており、元々は「這う」を意味する英単語クロール(Crawl)の派生語であることから、インターネットという情報の海をクローラーが泳ぐイメージが浮かんでくるかと思います。
ちなみに、日本の検索エンジンの9割がGooglebotで運用されていて、シェアの大部分を占めていることになります。
このようにクローラーは、巡回→解析という一連の流れを踏んだ上で、検索結果に反映させています。このとき、インターネット上を回遊し、解析したWEBサイトをデータベースとして記録・分類しています。
その際、WEBサイトを上位に表示させるためには、クローラーによる巡回のしやすさ(クローラビリティ)を改善する必要があり、これが有効なSEO対策になります。
具体的には以下の7つが挙げられます。
①被リンクを増やす。
他のページからの回遊率が上がり、クローラーも巡回しやすくなります。
②URLの見直しを行う。
マイナス評価を受ける重複コンテンツをなくし、複数あるURLを1つに統一しましょう。
③サイトを3階層の構造にする。
階層が浅いページはクローラーも巡回しやすいです。
④Googleサーチコンソールを活用する。
巡回してもらいたいWebサイトの存在をGoogleに知らせましょう。
⑤画像リンクではなく、テキストリンクを使う。
クローラーはテキストを優先的に巡回します。
⑥アンカーテキストの改善
キーワードを盛り込むなど、ひと工夫を加えましょう。
⑦パンくずリストの作成
設置することで、クローラーがサイト内を巡回しやすくなります。
このように、ただコンテンツの作成に当たるのではなく、どんなWEBサイトがクローラーによる巡回がされやすいのかポイントを把握した上で、SEO対策を講じる必要があります。