概述

搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛来抓取页面

搜索引擎的工作过程大体可以分成三个阶段：

　　(1)爬行和抓取：搜索引擎蜘蛛通过跟踪链接发现和访问页面，读取页面HTML代码，存到数据库。
　　(2)预...