影响搜索引擎蜘蛛爬行页面的因素_南昌点子科技有限公司

小编在南昌网站优化诊断过程中经常遇到这样一个问题：有一些网页内容优质，用户也可以正常访问。但搜索引蜘蛛却无法正常访问并抓取，造成搜索结果覆盖率缺失，这对搜索引擎和站点都是一种损失。这种情况叫做“抓取异常”。对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验上的缺陷并降低对网站的评价，使网站在抓取、索引、排序上都会受到一定程度的负面影响，结果将影响网站从百度获取流量。那么影响搜索引擎蜘蛛爬行页面的因素有哪些呢？下面小编就带大家了解一下。

一、服务器连接异常
服务器连接异常有两种情况，一种是站点不稳定，搜索引擎蜘蛛尝试连接网站的服务器时出现暂时无法连接的情况；另一种是搜索引擎蜘蛛一直无法连接网站的服务器。

造成服务器连接异常的原因通常是网站服务器过大，超负荷运转，也有可能是网站运行不正常。这时应检查网站的Web服务器是否安装且正常运行，并使用浏览器检查主要页面能否正常访问。

二、网络运营商异常
国内的网络运营商主要有电信和联通。如果搜索引擎蜘蛛无法通过电信或联通的网络访问网站，则需要与网络运营商联系，购买拥有双线服务的空间、或者购买CDN服务。

三、DNS异常
当搜索引擎蜘蛛无法解析网站的IP地址时会出现DNS异常的现象，这可能是网站IP地址错误或者域名服务商把搜索引擎蜘蛛封禁所致。可以使用WHos或者bs查询网站的IP地址是否正确且可解析，如果不正确或无法解析，应与域名注册商联系，更新IP地址。

四、死链
页面已经无效，无法对用户提供任何有价值信息的页面就是死链。死链包括协议死链和内容死链两种形式。协议死链即页面的 Tcp/Http协议状态明确表示的死链。常见的有404、402、502状态等。内容死链，即服务器返回状态是正常的。但内容经变更为不存在、已删除或需要权限等与原内容无关的信息页面的死链。

对于死链，我们建议使用协议死链，并通过站长平台—死链工具提交，以便百度更快地发现死链，减少死链对用户及搜索引擎造成的负面影响。

五、其他异常
1、JS跳转异常
网页加载了百度无法识别的JS跳转代码，使得用户通过搜索结果进入页面后发生了跳转的情况。

2、压力过大引起的偶然封禁
百度会根据站点的规模、访问量等信息。自动设定一个合理的抓取压力。但是在异常情况下，如压力控制失常时，服务器会根据自身负荷进行保护性的偶然封禁。这种情况下可以返回异常代码503，这样搜索引擎蜘蛛会过段时间再来尝试抓取这个链接。如果网站已空闲，则会被成功抓取。

关于影响搜索引擎蜘蛛爬行页面的因素就先说到这里了，如果还有哪些不明白的地方，可随时来电咨询点子科技，我们将专业为您解答！