然后疯狂百度,查了一大堆,发现无法就是下面的集中解决办法!
解决办法:
1、检查IP地址是否与网站解析的IP地址一致,如果不一致,则点击报错申诉;
2、检查服务器是否安装了安全狗等安全软件或者防火墙,暂关闭;
3、检查服务器是否用了宝塔的CC防御流量限制,暂关闭;
4、检查服务器是否用了宝塔的强制HTTPS,暂关闭。
然后按照上面的提示操作,关闭了HTTPS ,然后百度诊断抓取真的正常了!
心想,既然正常了,那我就重新开启HTTPS吧,有意思的事情发生了,百度诊断抓取,又抓不到东西了,提示抓取失败!
然后前后对比发现如下规律
解决办法:只要是开启了https,网页抓取就肯定失败,只有关闭了https,通过http进行网页抓取的时候,才能正常访问!
产生这种情况的原因:由于 nginx 将 http强制转换成https了,导致http 无法直接访问,而百度抓取的是http站点, 将强制跳转https,关了就好了!