楼上(shang)说的很多，我补(bu)充一(yi)下(xia)，正确的应该叫网络蜘蛛，又称爬(pa)虫，本质是搜索引(yin)擎派(pai)出(chu)的一个执行抓取任务的(de)程(cheng)序蜘蛛池的(de)本质是(shi)大(da)量的(de)网站(zhan)互相链接，每个(ge)站单(dan)独产生大量的内容吸(xi)引(yin)蜘蛛来爬，几千个网站(zhan)互链时(shi)，可以(yi)想象(xiang)蜘蛛的链接(jie)