楼(lou)上说的很(hen)多(duo)，我(wo)补充(chong)一下(xia)，正确(que)的应(ying)该叫网络蜘蛛，又称爬虫，本质是搜(sou)索引擎(qing)派(pai)出的一个执行抓取任务的(de)程(cheng)序蜘蛛(zhu)池的(de)本质(zhi)是大量的网站互相链接，每(mei)个(ge)站单独产(chan)生大量的内容吸引(yin)蜘蛛来(lai)爬(pa)，几千个网站互链时，可以(yi)想象蜘(zhi)蛛的链接(jie)