楼上说的很(hen)多，我(wo)补充一下，正确(que)的应该(gai)叫网(wang)络蜘蛛(zhu)，又(you)称(cheng)爬虫，本质是搜索引擎(qing)派出的一个执行抓取(qu)任(ren)务的程序蜘蛛池的本质是大量(liang)的(de)网站互相链接(jie)，每个站单独产(chan)生(sheng)大(da)量的(de)内容(rong)吸(xi)引(yin)蜘蛛(zhu)来爬，几(ji)千个网站互链时，可以想象蜘蛛(zhu)的链(lian)接