楼(lou)上(shang)说(shuo)的(de)很(hen)多，我补(bu)充一(yi)下(xia)，正确的(de)应该叫网(wang)络蜘蛛(zhu)，又称爬虫，本质是搜(sou)索引擎派出的一个执行抓取任务的(de)程(cheng)序(xu)蜘蛛(zhu)池的本(ben)质是(shi)大(da)量的(de)网站互相链(lian)接，每个站单独产生(sheng)大量的内容吸引蜘蛛来爬，几(ji)千(qian)个网站互链时，可以想(xiang)象蜘蛛的链接