近期收到一些开发者反馈，为什么网站或智能小法式资源的内容很是优质，可是没有查询到百度蜘蛛抓取纪录，或在百度搜索中没有获得收录和展现？
在手艺剖析后发现，有些网站或智能小法式存在封禁百度蜘蛛的情形，导致百度蜘蛛无法正常抓取，以是无法在百度搜索中正常收录和展现，或在搜索效果中的摘要展现为“存在robots封禁”字样。
为了让宽大开发者的网站或小法式，在百度搜索中获得正常的收录和展现，建议开发者实时凭证以下内容自查，扫除封禁问题，并通过链接提交工具自动提交给我们。
常见的封禁行为包罗robots封禁、封禁百度UA、封禁百度IP等。
若何验证网站和智能小法式是否存在封禁百度蜘蛛的情形？
1、首先， 审查robots.txt文件，是否存在封禁纪录。（一样平常robots.txt文件放置在网站根目录下。）
【建议方案】扫除robots封禁：robots封禁情形，请检查robots.txt文件，实时修改。
robots文件说明：https://ziyuan.baidu.com/college/articleinfo?id=1516
2、robots文件无异常，进一步排查是否存在封禁百度UA情形；
方案一：执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注：正常返回码是200，其他情形为异常。
xxxxxxx为网站域名，如：http://abc.com.cn。
准确识别和获取百度蜘蛛，https://ziyuan.baidu.com/college/articleinfo?id=2855
方案二：变换浏览器UA验证；
【建议方案】扫除百度UA封禁：审查网站反爬虫战略，举行战略调整。或针对百度UA添加战略白名单。
3、以上验证均无异常，最后进一步排查是否存在IP级此外封禁；
常见的IP封禁，源自网站的防火墙系统设置，需要审查防火墙设置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。
【建议方案】扫除百度IP封禁：审查网站反爬虫战略，举行战略调整。
豫公网安备41018402000614号