当前位置:首页 > IT编程 > 正文

网站开启Https后,百度抓取诊断抓取失败 ,提示socket 读写错误怎么办?

今天在使用百度抓取诊断的时候发现一个问题:进行网页抓取的时候,返回状态是百度抓取失败,提示为socket 读写错误。

百度抓取诊断socket读写错误

然后疯狂百度,查了一大堆,发现无法就是下面的集中解决办法!

解决办法:

1、检查IP地址是否与网站解析的IP地址一致,如果不一致,则点击报错申诉;

2、检查服务器是否安装了安全狗等安全软件或者防火墙,暂关闭;

3、检查服务器是否用了宝塔的CC防御流量限制,暂关闭;

4、检查服务器是否用了宝塔的强制HTTPS,暂关闭。

然后按照上面的提示操作,关闭了HTTPS ,然后百度诊断抓取真的正常了!

心想,既然正常了,那我就重新开启HTTPS吧,有意思的事情发生了,百度诊断抓取,又抓不到东西了,提示抓取失败!

然后前后对比发现如下规律

抓取前后对比

解决办法:只要是开启了https,网页抓取就肯定失败,只有关闭了https,通过http进行网页抓取的时候,才能正常访问!

产生这种情况的原因:由于 nginx 将 http强制转换成https了,导致http 无法直接访问,而百度抓取的是http站点, 将强制跳转https,关了就好了!

文章链接:https://www.chengpeng666.com/it/81.html

最新文章