クローラーとは、Webサイトを巡回してあらゆる情報を取得し、検索順位を決めるロボットプログラムです。
クローラーの種類は、検索エンジンごとに存在し、GooglebotやYahoo! Slurp、Bringbotなどが挙げられます。Googleは、Web検索用のクローラーであるGooglebotのほかに、画像検索用のGooglebot-Imageや、モバイル検索用のGooglebot-Mobileの3種類のクローラーを使用しています。そのため他の検索エンジンよりも、検索順位表示の精度が高いと言えます。
クローラーにとって見つけやすいサイト作りをすることを「クローラビリティ」と言います。クローラビリティの改善は、SEO対策に大きな効果をもたらすので、非常に重要な取り組みです。
【クローラー】
英語:Crawler
読み方:クローラー
例文
(1)クローラーにサイトを見てもらうために、内部リンクを積極的に設置する。
(2)どれほど良いサイトでも、クローラーがサイトを巡回しなければ検索上位に表示されることはない。