在做网站排名优化的时候，包含的网站内容越多，搜索引擎越喜欢网站的内容，从而给网站一个好的排名。 但是，在网站优化的过程中，我们会遇到这种情况。 该网站的某些页面已被删除，但搜索引擎仍会抓取这些页面。 为什么是这样？ 接下来就跟着免费的网站优化公司来了解一下吧！

1. 外链引导蜘蛛爬虫到不存在的页面

SEO大佬在做网站优化和排名的时候会为网站做一些外链，而这些外链不仅指向网站首页，而且 指向网站的各个页面。 当网站的部分页面被删除时，虽然该页面不存在，但是该页面的外链是存在的，百度蜘蛛会沿着外链进入该页面，导致搜索引擎抓取不存在的页面 . .

2. 没有最近删除的页面

如果最近删除了网站页面，也会导致这种情况，因为虽然网站页面被删除了，但是这些页面已经被搜索引擎收录了，他们 会存在于搜索引擎中，搜索引擎会反复爬取。 为了避免这种情况发生，您需要将这些页面提交给搜索引擎并告诉搜索引擎。 引擎的这些页面不存在，也不用于爬取。

3. 搜索引擎算法调整

当搜索引擎算法调整时，搜索引擎也可能会抓取一些网站中不存在的页面。 这是因为，虽然网站更新了，但是对于搜索引擎来说，更新后的网站页面并没有被搜索引擎收录，所以百度蜘蛛会反复爬取这些历史一流的链接。

4. 网站被攻击

在对网站进行排名时，网站可能会频繁受到竞争对手的攻击，攻击的方法是提交给搜索引擎。 现有页面，导致搜索引擎对网站的排名较低，进而影响网站的排名。

总之，当网站出现这种情况时，一定要及时处理。 可以用robots.txt封禁，也可以做404页面，有利于网站的长远发展。