17、robots.txt：如何让搜索引擎不要抓取没用的页面
robots文件是网站与搜索引擎蜘蛛之间的一个协议，通过robots文件告诉搜索引擎我们网站上的哪些页面是允许抓取的，哪些页面是不允许抓取的。
例如：
User-agent：* 的意思是面向所有搜索引擎。
Disallow：是不允许抓取的页面。
Sitemap：是网站地图，这个意思是说把网站上的链接都放到网站地图里展示给搜索引擎蜘蛛。
robots文件是网站与搜索引擎蜘蛛之间的一个协议，通过robots文件告诉搜索引擎我们网站上的哪些页面是允许抓取的，哪些页面是不允许抓取的。
例如：
User-agent：* 的意思是面向所有搜索引擎。
Disallow：是不允许抓取的页面。
Sitemap：是网站地图，这个意思是说把网站上的链接都放到网站地图里展示给搜索引擎蜘蛛。
