English【英語】 Crawler
【読み】 クローラー
用語解説
インターネット上に存在するWebサイトや画像などのあらゆる情報を取得し、自動的に検索データベースを作成する巡回プログラムのことで、Google や Bing(Microsoft) などの検索サイトを提供している企業がそれぞれ運営しています。Web上を這う（クロールする）ことから「クローラー」と呼ばれます。クローラーの機能は検索エンジンの仕組みに結びついています。現在の検索エンジンは、ほとんどがロボット型検索エンジンです。ロボット型検索エンジンの主な仕組みは以下の通りです。インターネット上で収集したWebサイトのページ情報をデータベース化データベースに登録されたページのランク付け、その並び順で検索結果を表示。この仕組みのなかで、「インターネット上でWebサイトのページ情報を収集する」プログラムとして動いているのがクローラーです。(クローリングと言います。) 逆に言うと、Webサイトが検索エンジンの検索結果に表示されるには、クローラーの巡回で自社のサイトが認識されることが必要になります。
■詳細説明クローラーとは
クローラーとは、検索エンジンにおいて、プログラムがインターネット上のリンクを辿って自動でWebサイトを巡回し、Webページ上の情報を取得・蓄積するシステムのことである(クロール：crawlは「這いまわる」という意味)。Webクローラー、スパイダー、検索エンジンボットとも呼ばれる。主要なクローラーとしては、Googlebot※1（Google検索エンジン）、Bingbot※2（マイクロソフトが運営する検索エンジンBing）、Yahoo Slurp※3（Yahoo検索エンジン）、Baiduspider※4（百度、中国の検索エンジン）などがある。
クローラーとSEO対策
制作したWebサイトは、クローラーに情報を収集してもらい、データベースに登録されることで初めて検索エンジンの検索結果に表示されるようになる。したがって、Webページにユーザーを誘致したいのであれば、クローラーにクローリングされることが必須となる。また、検索結果の表示順位は、クローラーが収集した情報を基に決定されるため、クローラーが情報を収集しやすいWebページにする(クローラビリティを高める)、頻繁にクローラーに巡回してもらう、といったことがWebページの閲覧数を増やす上で重要となる。なお、日本では、Googlebot、Yahoo Slurp、Bingbotの3つが全クローラーのシェアの90%以上を占めるため、これら3つのクローラビリティを高めることがSEO対策上重要となる。
クローリングの申請・確認
Webページを作成した際、外部ページとリンクされているのであれば、クローラーが巡回し、情報がデータベースに登録され、検索エンジンで表示されるようになる。しかしページの運用状況やリンクの構造によっては、なかなかクローラーが巡回してこないため、いつまで経っても作成したWebページが検索エンジンで表示されない、ということも起こり得る。そのような場合、例えばGoogle Search Console※5から、新規サイトのクローリングを申請することができる。また、同様に既存ページの再クローリングを申請することもできる。Google Search ConsoleではWebページがクローリングされデータベースに登録されたかどうか、さらにはどの程度の頻度でクロールされているかなどを確認することもできる。なお、Google Search Consoleでは制作したWebページが、どのような検索ワードで検索され表示されたのか、検索結果の何番目に表示されたのか、どれくらい表示されたのか、どれくらいクリックされたのか、などの情報を得ることができる。
Google Search Consoleと類似したアクセス解析ツールにGoogle Analytics※6があるが、Google AnalyticsではWebページに訪問したユーザーの流入元や滞在時間、どのWebページをクリックしたかなどの情報を得ることができる。Google AnalyticsがWebページ訪問後の情報を収集できるのに対し、Google Search Consoleでは、検索エンジンでの検索後からWebページ訪問前の情報を収集できるという相違点に留意して、SEO対策に活用すべきである。
クローリングされやすいWebサイト
クローラーが巡回しやすいWebサイトにするために、注意すべきこととして、以下のようなものが挙げられる。
① パンくずリストを作る
パンくずリストとは、Webサイトを訪問した人が、現在サイト内のどこを閲覧しているのかが分かるように書かれたリストのことである(童話「ヘンゼルとグレーテル」で兄妹が自分たちの通ってきた道を見失わないようにパンくずを落として道標にしたことに由来する)。Webサイトにパンくずリストがあると、クローラーがサイトの階層を認識しやすくなり、クローラビリティが向上する。（不動産サイトの例：ホーム＞関東＞東京＞千代田区）
② 外部サイトからのリンクを制作する
クローラーは別のWebサイトのリンクを経由して新しいWebサイトへと移動していく。そのため、クローラーに発見されやすくなるためには、なるべく多くの外部サイトに制作したWebサイトのリンクを貼っておくことが有効である。
③ トップページからのクリック数を少なくする
トップページから他の全てのページに移動するまでのクリック数を短くすることで、クローラビリティを向上させることができる。トップページから他のページに行くまでのクリック数が多い(Webページの階層構造が深くなりすぎる)と、クローラーが到達できる可能性が下がってしまう。
④ トップページから主要ページへのリンクを必ず作る
クローラーに必ず巡回して欲しいページがある場合、トップページから直接移動できるリンクを貼っておくようにする。もしくはあらかじめ共通の案内リンクであるグローバルナビゲーションを作っておくという方法も有効である。
⑤ 画像リンクではなくテキストリンクを設定する
クローラーはテキストを優先的に巡回するため、画像リンクよりもテキストリンクを設定するほうがクローラビリティの向上につながるといえる。
※1,※5,※6 Googlebot、Google Search Console、Google AnalyticsはGoogle LLCが提供しているサービスです。
※2 BingbotはMicrosoft社の提供するサービスです。
※3 Yahoo SlurpはYahoo!社の提供するサービスです。
※4 Baiduspiderは百度社の提供するサービスです。