クローラ（その他表記）crawler

図書館情報学用語辞典 第5版

クローラ

インターネット上の検索エンジンに登録するウェブページを収集し，索引作成を行うためのプログラム．原則的には人間がウェブページを見るために使うウェブブラウザと同じようにウェブクライアントである．与えられたウェブページ中のハイパーリンクを抽出し，リンク先のウェブページを再帰的にたどることで，理論上はリンクが張られたページすべてを収集することができる．ただし，インターネット上のウェブページすべてを収集することは，ページの数が膨大であるため，物理的な制約から現実的には難しい．

[参照項目] 検索エンジン

出典　図書館情報学用語辞典 第4版