楼(lou)上(shang)说的很(hen)多，我(wo)补(bu)充一下，正(zheng)确的应该叫网络蜘蛛，又称(cheng)爬虫(chong)，本质是搜索引擎派(pai)出的一(yi)个执行抓取任务的(de)程序(xu)蜘蛛池的本质是大量的(de)网站(zhan)互相链接，每个(ge)站单独产(chan)生大量的(de)内(nei)容吸引蜘(zhi)蛛来爬(pa)，几千个网(wang)站互链时，可以(yi)想象蜘蛛的(de)链接(jie)