轻松两步,教你快速识别百度蜘蛛(User-Agent)

来源:178直播 发布时间: 2025-06-17 18:14:31

轻松两步,教你快速识别百度蜘蛛(User-Agent)

 

经常听到开发者问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP地址范围动态变化不固定,我们无法对外公布。

那么如何才能识别正确的百度蜘蛛呢?今日干货带你轻松两步正确识别百度蜘蛛:


一、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:


移动UA:


Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)


Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 


PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


小程序UA:
 

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

 

二、双向DNS解析认证

第一步:DNS反查IP
 

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

 

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

 

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

 

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。


第二步:对域名运行正向DNS查找
 

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 


> host baiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

标签

发表评论 共有 条评论
验证码: 匿名发表

热门TAG

视频下载 欧冠直播360高清直播视频下载 欧冠直播超清在线观看免费 欧冠直播cctv5皇马曼城比赛 欧冠直播超清免费观看 欧冠联赛直播高清直播极尽体育 欧冠联赛直播雨燕直播 欧冠直播360高清直播视频 熊熊直播体育app 欧冠直播爱奇艺体育在线观看 欧冠直播360高清直播视频回放 直播足球免费直播在线观看 视频直播欧冠联赛 欧冠直播360高清直播回放视频 国语 欧冠直播超清在线观看国语 欧冠在哪看直播 欧冠视频直播360 欧冠比赛直播在线观看免费 实用技巧 欧冠决赛在哪里看直播免费 欧冠直播在哪看免费网站 欧冠比赛直播在线观看尤文 欧冠直播免费观看直播在线 UEFAChampionsLeague 今天欧冠直播在哪看回放 欧冠免费观看 欧冠视频在线直播 欧联杯直播360高清直播视频 方法 欧冠直播免费观看方法 欧冠直播免费观看平台 欧联杯直播360高清直播回放 今天欧冠直播在哪看比赛 电视app 雨燕免费直播在线观看直播足球赛 欧冠直播电视app 欧冠直播免费观看高清版 雨燕免费直播在线观看直播NBA 欧冠直播360高清直播在线观看 雨燕体育 足球直播雨燕 欧冠哪里看直播2025 皇家马德里比赛直播免费观看 咪咕体育免费直播在线观看 欧冠直播平台2025 咪咕体育免费直播nba 足球直播免费高清直播nba 欧冠联赛直播在哪看免费的平台 欧冠免费直播观看