楼(lou)上说的很(hen)多，我(wo)补(bu)充一下，正确的应该(gai)叫网(wang)络蜘(zhi)蛛，又(you)称爬虫，本质是搜(sou)索(suo)引(yin)擎派出的一个执(zhi)行抓取(qu)任务的程序蜘(zhi)蛛池(chi)的本质是大量(liang)的网站互相链接(jie)，每个站单(dan)独产生大(da)量的内容吸引(yin)蜘(zhi)蛛来爬(pa)，几千个网站(zhan)互链(lian)时，可以想象蜘蛛的链接