クローラーとは、インターネット上でWEBサイトの情報を周期的に取得して、検索用データベースインデックスを作成する自動巡回プログラムのことです。別名でボット、スパイダー、ロボットなどとも呼ばれています。