可可网络
专注效果,用心服务
电话

免费服务热线

19925363846

二维码
搜索引擎蜘蛛少抓网站,如何分析原因?

来源: 2021-02-05

搜索引擎蜘蛛少抓网站,如何分析原因?
很多站长在SEO诊断过程中经常遇到这种问题。部分网页,内容优秀,用户也可以正常访问,但搜索引擎蜘蛛不能正常访问和捕捉,因此没有搜索结果覆盖,搜索引擎对网站的损失。百度将这种情况称为“捕捉异常”。对于无法妥善掌握大量内容的网站,搜索引擎认为网站存在用户体验上的缺陷,并降低对网站的评价。对捕捉、索引、排序有一定的负面影响,最终影响百度获得的流量。下面的小篇将总结几个常见的捕捉异常原因,与大家一起分享。

导致搜索引擎蜘蛛不能顺利爬行的因素
一、服务器连接以上
服务器连接例外有两种情况。一种情况是站点不稳定,搜索引擎在尝试连接到站点的服务器时临时无法连接。另一个是搜索引擎无法连接到站点的服务器。服务器连接异常的原因通常是web服务器太大,过载而工作。网站可能无法正常工作。请确认网站的web服务器(例如Apache、IIS)已安装并正常工作,并使用浏览器确认主页是否正常访问。您的站点和主机可能会阻止蜘蛛的访问,因此必须检查站点和主机的防火墙。
二、网络运营商以上
网络运营商分为通信和联通两种,搜索引擎不能通过通信或网通访问您的网站。在这种情况下,您需要联系网络服务运营商,购买提供二线服务的空间,或购买cdn服务。
三、DNS以上
当搜索引擎无法确定站点的IP时,会引发DNS异常。您的站点IP地址可能不正确,或者域名服务公司阻止了搜索引擎。请使用host或主机验证自己的站点IP地址是否正确且可确认。如果不正确或无法确认,请联系域名注册者更新IP地址。
四、IP禁令
IP封锁是:限制网络的出口IP地址,禁止该IP段的用户访问内容。特别是搜索引擎IP被禁止。只有当你的网站不愿意蜘蛛访问的时候,才需要这个设置。如果想让搜索引擎蜘蛛访问网站,请确认相关设置中是否错误地添加了搜索引擎蜘蛛IP。您的网站所在的空间服务企业可能已经封锁了IP。这是你需要联系服务商更改设置。
五、禁止UA
UA是服务器通过UA识别访问者的用户代理。网站访问指定的UA时,如果返回异常页面(例如402、500)或移动到其他页面,则禁止UA。只有当站点不希望访问搜索引擎蜘蛛时,才需要此设置。要使搜索引擎蜘蛛访问网站,请检查用户代理的相关设置中是否存在搜索引擎蜘蛛UA,然后进行修改。六、死亡链
页面不再有效,无法向用户提供有价值的信息的页面是包括协议死链和内容死链在内的死链接。协议死链,即页面的TCP协议状态/HTTP协议状态,明确表示死链,如404、402、502状态等。内容死链,即服务器返回状态是正常的,但内容不存在、已删除或需要权限等,已更改为与原始内容无关的信息页面的死链。对于死结,小编建议在网站上使用协议死结,通过百度站长平台3354死结工具提交给百度,百度可以更快地发现死结,减少死结对用户和搜索引擎的页面影响。
七、异常跳跃
将网络请求重新指向其他位置是跳跃。异常跳跃是指以下情况:
1、当前此页面是无效页面(内容已删除,死链),直接移动到上一个目录或主页。四叶草SEO编辑建议站长删除这个无效页面的入口超链接。
2、转到错误或错误的页面。
八、其他以上
1.百度引用的例外:网页从百度引用返回与正常内容不同的行为。
2.对百度UA的异常:网页对百度UA返回与页面原始内容不同的行为。
3、JS跳转异常:网页加载搜索引擎无法识别的JS跳转代码,显示用户通过搜索结果进入页面后发生跳转的情况。
4.压力造成的意外封锁:搜索引擎会根据网站规模、访问次数等自动设置合理的捕获压力。但是,在异常情况下(例如,压力控制时间),服务器会根据自身负载意外阻止。在这种情况下,在返回代码502中,搜索引擎蜘蛛将在一会儿后抓住此链接。如果站点已处于空闲状态,则成功捕获。