楼(lou)上(shang)说的很(hen)多，我补充一下(xia)，正(zheng)确的应该叫网络(luo)蜘蛛，又称爬(pa)虫，本质是(shi)搜索(suo)引擎派(pai)出(chu)的一个(ge)执行抓取任务的程序蜘蛛池的本质是(shi)大量的网站(zhan)互相(xiang)链接，每个站单独产生大(da)量(liang)的内容(rong)吸引蜘(zhi)蛛来(lai)爬(pa)，几千个(ge)网站互链时，可以(yi)想象蜘蛛的链接