百度网站抓取异常有哪些原因?

发布时间: 2021-11-08
百度抓取异常的原原因主要分两大类,一是网站异常,二是链接异常。在哪里看呢,在百度搜索资源平你添加后数据统计—抓取异常那里。
一、网站异常原因:
1、dns异常
当百度蜘蛛(Baiduspider)无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁了。可以用WHOIS或者host查询自己网站IP地址是否正确而且可以解析,如果不正确或无法解析,与域名注册商联系,更新网站IP地址。
2、连接超时
抓取请求连接超时,可能原因是:服务器过载或网络不稳定。
3、抓取超时

抓取请求连接建立后,下载页面速度过慢,导致超时。可能原因服务器过载,带宽不足。


4、连接错误
无法连接或者连接建立后对方服务器拒绝。
二、链接异常原因:
1、访问被拒绝
爬虫发起抓取,httpcode返回码是403。
2、找不到页面
爬虫发起抓取,httpcode返回码是404。
3、服务器错误
爬虫发起抓取,httpcode返回码是5XX
4、其他错误
爬虫发起抓取,httpcode返回码是4XX,不包括403和404。
三、网站抓取异常的原因有哪些
网站抓取异常的原因主要有以下五个方面:
1、服务器异常
服务器连接异常最大的可能是网站服务器过大,超负荷运转,通过检查浏览器输入你的域名是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。
2、域名过期
域名过期网站肯定不能访问,域名解析就会失效了。如果存在这类情况,你可以与你域名注册商联系解决,看是否被抢注,还是可以续费回来。
3、网络运营商异常
电信和联通这两种都是属于网络运营商,蜘蛛无法访问的网站。
如果是因为电信或联通网络运营商出现问题,与网络服务运营商联系或者购买CDN服务。
3、robots.txt文件设置问题
robots.txt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取,但也可能会存在把重要的页面也给屏蔽了,可以检查下robots文件设置。
深圳市昊客网络科技有限公司(昊客网络)是一家专业从事搜索引擎关键词营销的互联网服务型企业,公司集产品设计、技术开发、市场运营于一体。
昊客业务
网站建设
网络推广
SEM代运营
走进昊客
关于我们
核心团队
加入我们
联系我们
电话:134-1889-4797
邮箱:odur@hke28.com
咨询热线:0755-33942380
总部地址:深圳市龙岗区大运软件小镇35栋3楼D
坂田地址:深圳市龙岗区坂田星河WORLD-B座1006室
东莞地址:东莞市保利珑远国际广场13楼1306室
昊客网络是一家专注于深圳网络营销、深圳网站推广、深圳百度推广、深圳网络推广外包等服务的深圳网络推广公司
在线咨询
0755-33942380
© 2016-2020 版权所有 深圳昊客网络科技有限公司 粤ICP备16076723号-1