楼(lou)上说的很多，我补充一下，正(zheng)确的应该(gai)叫(jiao)网络蜘(zhi)蛛，又(you)称爬(pa)虫，本质是搜索(suo)引擎派出的一个执(zhi)行(hang)抓取任务的(de)程序蜘(zhi)蛛(zhu)池的本质是大(da)量的网站互相(xiang)链(lian)接，每个站单(dan)独产生大量的内容吸引蜘蛛来(lai)爬(pa)，几千个网(wang)站互链时(shi)，可以想(xiang)象蜘(zhi)蛛的链(lian)接