请选择 进入手机版 | 继续访问电脑版

Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 82|回复: 0

用宝塔NGINX建立的网站,怎么查看百度蜘蛛爬虫是否来过,...

[复制链接]

71

主题

71

帖子

227

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
227
发表于 2020-11-22 14:58:10 | 显示全部楼层 |阅读模式

因为国内一家独大,百度是否收录对于每一个站长来说真是至关重要,但现在百度收录越来越慢越来越难,大批的站长网站建立了好几个月只是被收录了一个首页,具体怎么提高被百度收录的速度是一个世纪难题,你看你搜到各种SEO广告都吹的满天响,实际根本没有一个绝佳的办法能真正提高被百度收录的速度。但还是有一些办法管一点用,大家如果感兴趣,请发贴留言。这里跟大家分享一个很关键的指标 ,就是百度蜘蛛爬虫有没有来过你的网站,如果连来都没来过,或者来的频率非常的低,那被收录的可能性也就非常的小。那如果查看百度蜘蛛爬虫是否来过呢?这里针对用宝塔建立网站的方法分享如下。

一、查找NGINX日志文件

宝塔建立的网站日志文件位置与默认目录 不同,默认的一般是的    NGINX\LOGS目录  文件名为 access_log

而宝塔建立的网站日志文件在  /www/wwwlogs  如果你有多个网站,这个目录下就会有多个以域名命名的文件,比如www.1rmb.net.log.


尊重知识产权,转载请注明并复制本段,一元复始技术论坛原创http://www.1rmb.net.

二、提取日志文件中百度爬虫的访问记录

登录VPS,CD到日志目录下执行命令   ingFang SC", sans-serif;">cat www.1rmb.net.log | grep Baiduspider > bs.log  //域名换成你的

ingFang SC", sans-serif;">执行后,在目录下会生成bs.log文件,下载到本地用EXCEL打开,否则排序很乱无法查看分析。文件示例见下图

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /install/tpl/images/loading.gif HTTP/1.1" 404 6412 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /libs/xheditor/xheditor_plugins/editor.gif HTTP/1.1" 404 6453 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /install/tpl/images/loading.gif HTTP/1.1" 404 6412 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /images/email.png HTTP/1.1" 404 6299 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /libs/xheditor/xheditor_plugins/editor.gif HTTP/1.1" 404 6453 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /images/swfupload.png HTTP/1.1" 404 6315 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/email.png HTTP/1.1" 404 6299 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/blank.gif HTTP/1.1" 404 6299 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/swfupload.png HTTP/1.1" 404 6315 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/top.jpg HTTP/1.1" 404 6291 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/blank.gif HTTP/1.1" 404 6299 "-" "Baiduspider"
218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/top.jpg HTTP/1.1" 404 6291 "-" "Baiduspider"
112.34.110.6 - - [15/Mar/2020:21:27:28 +0800] "GET /baidu_verify_oC4iQv4kT3.html HTTP/1.1" 200 10 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
14.152.92.121 - - [19/Mar/2020:15:38:20 +0800] "GET / HTTP/1.1" 200 12428 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.142 - - [02/Apr/2020:12:20:24 +0800] "GET / HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.120 - - [02/Apr/2020:12:20:25 +0800] "GET / HTTP/1.1" 200 31371 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.122 - - [02/Apr/2020:13:27:04 +0800] "GET / HTTP/1.1" 200 31376 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

尊重知识产权,转载请注明并复制本段,一元复始技术论坛原创http://www.1rmb.net.ingFang SC", sans-serif;">

以上显示了百度蜘蛛访问的日期和IP等信息。可以查看来的频率如何,如果很少就要想想办法了。

想提高百度蜘蛛爬虫访问的频率还是有一些技巧的,如果你感兴趣,请发贴留言。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一元网络论坛

GMT+8, 2020-12-6 02:39 , Processed in 0.066862 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表