18、sitemap:如何让搜索引擎抓取到所有页面
Sitemap的意思就是把网站上的所有链接都放到一个文件里,方便搜索引擎来抓取,促进网站收录,有的网站链接层次太深了,不容易被收录,所以就要设置sitemap把网站链接提交给搜索引擎。
1、sitemap的地址是http://www.czwr168.com/sitemap.txt,这个链接下面有这个网站的所有网址,如下图:
2、网站地图生成完了以后,怎么让搜索引擎知道网站地图在这个地方呢?这时我们就需要在网站的robots.txt里面添加一个网站地图的地址,如下图,搜索引擎来抓取我们网站的时候,第一时间是抓取robots文件,从robots文件里面可以获取网站地图地址,在网站地图地址里面就可以抓取到我们网站的所有链接。
3、第二个添加网站地图的地方是百度资源平台里面,在这里面提交sitemap网站地图。