クローラのソースを表示

{{Otheruses|コンピュータのプログラム|建設機械や農業機械に使用されるゴム製のクローラ|無限軌道}}
'''クローラ'''（Crawler）とは、[[World Wide Web|ウェブ]]上の文書や画像などを周期的に取得し、自動的に[[データベース]]化する[[プログラム (コンピュータ)|プログラム]]である。「ボット（Bot）」、「スパイダー」、「[[ロボット]]」などとも呼ばれる。

主に[[検索エンジン]]のデータベース、インデックス作成に用いられているほか、[[統計]]調査などの目的にも利用される。近年では[[電子メール]][[アドレス]]収集業者などもクローラを利用して、[[スパム (メール)|スパム]]の送信効率を上げている。

一般にクローラは、既知の[[HyperText Markup Language|HTML]]文書の新しいコピーを要求し、文書中に含まれる[[ハイパーリンク|リンク]]をたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

== 主なクローラ ==
* [[グーグルボット]]（[[Google]]）
* [[MSNBot]]（[[MSN]]）
* [[Yetibot]]（[[ネイバー]]）
* [[InfoSeek Sidewinder]]（[[インフォシーク]]）
* [[Yahoo! Slurp]]（[[Yahoo!]]）
*[http://www.keywalker.co.jp/satori/crawler.html KW Webクローラー]（[[キーウォーカー]]）
* [[Slurp]]（[[Inktomi]]）
* [[Scooter]]（[[AltaVista]]）
* [[Baiduspider]]（[[百度]]）
* [[インターネットNinja]]
* [[KenKen! Robot]]（[[建築系検索エンジンKenKen!]]）
* [[MitsuBachi]]（[[マイニングブラウニー]]）

== 関連項目 ==
* [[スパム (メール)]] - [[検索エンジンスパム]]
* [[メールアドレス検索ロボット]]
* [[インターネットボット]]
* [[Robots Exclusion Standard]]
* [[岡崎市立中央図書館事件]]

{{Computer-stub}}
{{DEFAULTSORT:くろら}}
[[Category:検索エンジン]]
[[Category:ネットワークソフト]]