Crawler
web上のdataを取得し、
database
を自動生成するprogramのこと
別名として
bot
・
spider
・
robot
がある
利用例は
検索engine
(例:
Google検索
)の
database
/
index
の作成
統計調査
crawlerは「起点となるweb page」から
page link
を使って他のweb pageを見つけ、広くdataを収集する