1 网站改版

如果你的网站升级了，修改了一些网址，可能会急需搜索引擎去抓取和重新评估页面的内容。

这时候，其实有个方便的小技巧：那就是主动将URL添加到sitemap中，并在百度后台更新，并尽快通知搜索引擎其变化。

2 网站排名

大部分站长认为，百度熊掌号上线以来，解决了被收录的问题。 其实只有不断的获取目标URL，才能不断的重新评估权重，提升排名。

因此，当有页面需要排名时，必须放在爬取次数较多的列。

3 压力控制

页面爬取频率高不一定好。 从恶意爬虫的角度来看，往往会造成服务器资源的严重浪费甚至宕机，尤其是对于一些外链分析爬虫。

如有必要，使用Robots.txt 进行屏蔽可能会更好。

4 异常诊断

如果你发现一个页面很长时间没有被收录，那么你需要了解它的百度蜘蛛可访问性，可以使用百度官方后台爬虫诊断 , 看看为什么。