robots 作用

减少百度蜘蛛在站内的无谓爬取，避免爬取一些内部程序文件，比如xxx.php

下面是我网站的robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.zanglikun.com/wp-sitemap.xml

网站地图sitemap的优点

核心一点就是：给搜索引擎说 我网站有哪些可以去收录！

• 为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看;
• 为搜索引擎蜘蛛提供一些链接, 指向动态页面或者采用其他方法比较难以到达的页面;
• 作为-种潜在的着陆页面，可以为搜索流量进行优化;
• 如果访问者试图访问网站所在域内并不存在的URL,那么这个访问者就会被转到"无法找到文件”的错误
• 页面，而网站地图可以作为该页面的“准”内容。

百度不在支持索引型Sitemap！

索引型Sitemap：是百度的概念， 即：一个Sitemap包含了子Sitemap的地址。

如何使我们的Robots与Sitemap起作用？

等，是不可能等的，这辈子都不可能等的！要去百度站长平台分别提交Robots、Sitemap

Robots：

Sitemap：

据说 Sitemap收录大概需要7天！