预糊化纤维厂家
免费服务热线

Free service

hotline

010-00000000
预糊化纤维厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

教你观察日志中蜘蛛的访问行动

发布时间:2019-03-12 22:09:07 阅读: 来源:预糊化纤维厂家

网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要观察访问统计数据,那用或百度统计工具就可以了,但是如果你想观察各搜索引擎的蜘蛛是不是准时来爬行自己的网站,那就要学会自己查看网站日志文件了。结合飞卖品工作室新上线的成都铭扬科技网站做为一个实例,我们来做一个介绍:

首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,固然不同的服务器类型,日志文上床故事件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。

进入日志文件夹,你会发现,日志文件是按每一天的访问情况为一个文件保存的:

好吧,我的服务器只保存最近三天的日志文件,真吝啬,我还用过一个国外的服务器,人家是按月记录,并且当月结束后会将当月的日志打包供下载,只要你不人为删除,该日志文件会永久存在,这才叫个性化,但是没办法,谁叫我们只能用国内的服务器。

OK,埋怨了几句,随意下载一天的日志文件,用Windows文本工具打开该日志文件,会看到一堆酷似代码的字符,祝文件大小打开速度也不同:

注意看有背景的这一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,为何要查找baiduspider,这里先普及一下关于搜索引擎蜘蛛的一点小知识,各大搜索引擎的蜘蛛都有名字:

百度的叫baiduspider;

谷歌的叫Googlebot;

微软的叫bingbot;

搜狐的叫Sogou web spider;

腾讯的叫Sosospider;

由于国内主要是以百度为优化对象,我们来看看关于百度蜘蛛爬行记录的信息分析,在日志记录中随意找一个百度蜘蛛的信息:

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] GET / HTTP/1.1 200 5374 - Mozilla/5.0 (patible; Baiduspider/2.0; +://.baidu./search/ml)

怎样解读这些信息呢?蜘蛛IP--【访问时间】获得路径HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。

好吧,这里面获得路径与HTTP反馈值是非常重要的信息,200为正常读取,读取了5374个字节。我们再分析一条记录:

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] GET /product/p?id=93 HTTP/1.1 301 249 - Mozilla/5.0 (patible; Baiduspider/2.0; +://.baidu./search/ml)

认真看获得路径这一项,由于我的网站是老域名,原来的主人被收录的路径/produc小纹身图案大全t/p?id=93,百度蜘蛛一样爬行,结果我的新网站里肯定不会有这一条信息,由于HTTP反馈了301,而301代表已移动 要求的数据具有新的位置且更改是永久的。其实这对我来说是一件好事,蜘蛛爬行不通,知道这条收录记录已失效,渐渐就会从百度的收录数据库中删除。现在百度正在审核我的新站点,一天爬行只有23次,也很不错了的。

好了,大家是否是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢?下次,飞卖品工作室将重点再分享一下HTTP的反馈值,大家通过这个反馈值可以得悉自己网站的健康状态哦,非常重要。

固然,有朋友会说为何不利用一些日志查看工具,人工手动观察费时费力,是的,有马思纯整容前后些不错的工具可以提供更便捷的操作,今天飞卖品工作室所述内容旨在用最低级的方法教会大家学会观察自己网站的日志。希望以上内容能对你有点帮助。

文章由飞卖品工作室原创,转载请注明成都铭扬科技://.cdmingyang./