20百度蜘蛛抓取失败解决

发布于 2020-10-11  66 次阅读


[v_notice]眼看着百度蜘蛛抓取天天失败,那比重天天降低,愁得不行,最开始以为是CDN,排查无效;云存储?排查无效;回源错误?排查无效;压缩问题?排查无效。
就这样心态抑郁,结果最后发现是一个傻逼插件“fail2ban”把百度蜘蛛IP禁了,我寻思黑名单也没有,Google/360都可以咋就你百度蜘蛛?️娇贵,离谱至极。[/v_notice]