楼(lou)上(shang)说的很多，我(wo)补充一下，正(zheng)确的应该叫网络蜘蛛，又称爬(pa)虫(chong)，本质(zhi)是(shi)搜(sou)索引擎派出的一个执行抓(zhua)取任务(wu)的程(cheng)序蜘蛛池的本质(zhi)是大(da)量的网(wang)站互相链接，每(mei)个(ge)站单独(du)产(chan)生大量的内容吸(xi)引蜘蛛(zhu)来爬，几千(qian)个网站(zhan)互链时，可以(yi)想(xiang)象蜘蛛的链接