网站抓取,不存在的目录与页面的原因,怎么办?
2022-05-11 16:03:31 seo资讯 【 字体:大 中 小 】
网站抓取这个指标对于做seo来说很重要,没有抓取也就谈不上有收录,但我们在做网站抓取检测时,也经常会看到一些404返回码,这些页面在我们网站中根本都是不存在的,那么,网站抓取,不存在的目录与页面的原因,怎么办?
根据对百度搜索引擎的研究,我们认为:
1.网站为什么抓取一些不存在的页面?
网站被抓取了不存在页面是有很多因素导致的,比如:
①页面删除
WwW.123456。cn有很多时候,网站在优化过程中需要做调整,而你调整的页面并不一定都的没有被搜索引擎抓取的,有时,你看到的页面是没有被索引,但实际上这些页面有可能正在进行评估,所以一段时间后,蜘蛛仍然会抓取这些页面。
②老域名
还有时,我们做seo,为了更快做出效果,而采用老域名,然而老域名肯定是有建站历史的,不然我们也不会选择,有历史也大概率会自带蜘蛛,而蜘蛛是有记忆的,因此其总是爬行一些老url,所以说购买老域名有利有弊,不过还是利大于弊。
WwW.123456。cn③恶意扫描
当然,有时,我们的域名没有问题,也没有删除任何页面,依然会有不存在的页面被抓取,这时,你需要观察,这些抓取的ip是否有一定规律,有很多时候,我们网站会面临着各种需求的扫描,比如,漏洞扫描、文章采集等抓取,而这些ip如果有规律,大概率是扫描漏洞。
2.如何处理抓取不存在页面
了解了一些抓取不存在页面的原因,那么,我们如何解决这些问题呢?
WwW.123456。cn①robots
首先我们知道,这些不存在页面反复被抓取,是需要我们自己做出措施,告诉蜘蛛,这些页面不允许抓取,我们可以利用Robots协议来禁止这些页面抓取,通常对于大部分蜘蛛来说,这种方式是有效的,因为这个是所有正规搜索引擎都需要遵守的协议。
②提交死链
WwW.123456。cn如果依旧有被反复抓取的问题,你可以查看这些页面是否有残存的百度快照,如果有快照,蜘蛛会反复抓取,因为你屏蔽的是没有被索引的页面,而这些页面已经被索引,我们可以汇总这些页面url,通过资源平台提交死链。
③屏蔽ip
当然以上方式,都对各大搜索引擎蜘蛛所做的策略,如果是被恶意扫描,或非搜索引擎蜘蛛抓取了怎么办?
我们认为,最直接的方式是屏蔽这些ip,你可以通过修改服务器中的文件来实现这个功能:
WwW.123456。cn1)云主机
下载.htaccess文件,直接修改,并上传覆盖原文件即可。
2)宝塔
到宝塔后台找到安全选项,选择防火墙,在防火墙中选择屏蔽该ip即可。
3)插件
现在各大cms系统,都推出了各种功能插件,我们可以直接搜索屏蔽ip来找到插件,进行ip屏蔽。
总结:网站抓取,不存在的目录与页面的原因,怎么办的问题,我们就讨论到这里,以上内容,仅供参考。
猜你喜欢
如何提高关键词的投资收益价值?
浅析,搜索引擎中的粒度问题
信息流广告的优点和弊端是什么?
域名变更,会删除之前排名的页面吗?
熊掌号进行SEO优化需要注重哪些
个人单打独斗,是否能够做好SEO?
如何全面的开展网站的seo优化工作
“同一个关键词”,在多篇文章,会造成排名竞争吗?
关键词排名,分阶段操作,你应该怎么做?
网站内部孤立页面,是否会传递权重?
玉術李红:璀璨玉石,闪耀人生
如何提高关键词的投资收益价值?
浅析,搜索引擎中的粒度问题
如何巧妙布局关键词提升网站seo优化效果?
玉術李红是大公司吗?创始人有哪些故事?
信息流广告的优点和弊端是什么?
百度优化的关键词选择应该从客户行业入手
域名变更,会删除之前排名的页面吗?
熊掌号进行SEO优化需要注重哪些
个人单打独斗,是否能够做好SEO?