楼上(shang)说的很多，我补充一下，正(zheng)确的应(ying)该叫网络蜘(zhi)蛛，又(you)称爬虫，本质是搜索引擎派出的(de)一(yi)个执(zhi)行抓取任务的(de)程(cheng)序蜘蛛(zhu)池的(de)本质是大量的网站互相链接，每个站(zhan)单独产生大量的内容吸引蜘(zhi)蛛来(lai)爬，几(ji)千(qian)个(ge)网站互链(lian)时，可(ke)以想象(xiang)蜘蛛的链接