推荐十款更好的网站日志分析工具,帮助站长更好地分析日志

作者:老羽      发布时间:2021-09-01      浏览量:70002
网站SEO优化过程中,难免会分析网站日志。网站日志的分析和诊断就像在网站上看病。通过对网站日志的分析,我们可以更清楚地了解网站的健康状况。使用这些数据更有利于网站的发展。SEO优化。通过网站日志,您可以清楚地知道用户在什么IP、什么时间、什


网站SEO优化过程中,难免会分析网站日志。网站日志的分析和诊断就像在网站上看病。通过对网站日志的分析,我们可以更清楚地了解网站的健康状况。使用这些数据更有利于网站的发展。SEO优化。

通过网站日志,您可以清楚地知道用户在什么IP、什么时间、什么操作系统、什么浏览器、什么分辨率监控下访问了您网站的哪个页面,以及访问是否成功。对于专门从事搜索引擎优化的工作者来说,网站日志可以记录每个搜索引擎蜘蛛机器人抓取网站的详细信息,例如:百度蜘蛛机器人哪天访问了哪个IP、访问了哪些页面、访问了HTTP状态页面返回的代码。



常见的蜘蛛名称:

百度蜘蛛:百度蜘蛛

百度蜘蛛-图片:百度图片蜘蛛

谷歌机器人:谷歌机器人

Googlebot-Image:谷歌图像机器人

360蜘蛛:360蜘蛛

搜狗蜘蛛:搜狗蜘蛛

1。网站日志的作用
1。通过网站日志可以了解蜘蛛在网站上的基本爬行情况,可以知道蜘蛛的爬行轨迹和爬行量。

2。网站的更新频率也与网站日志中蜘蛛的爬行频率有关。一般来说,更新频率越高,蜘蛛的爬行频率越高。我们网站的更新不仅仅是新内容的增加,更是我们的微调操作。

3。我们可以根据网站日志的反应,对我们空间中的某些事情和问题进行预警,因为如果服务器有问题,会第一时间反映在网站日志中。一定要知道服务器的稳定速度和打开速度这两种速度都会直接影响我们的网站。

4。通过网站日志,我们可以知道网站的哪些页面很受蜘蛛的欢迎,哪些页面没有被蜘蛛触及。同时我们也可以发现一些蜘蛛在过度抓取我们的服务器资源。损耗很大,我们要进行屏蔽工作。

2。如何下载网站日志
1。首先,我们的空间必须支持网站日志下载。这个非常重要。购买空间时需要提前了解是否支持日志下载,因为部分服务商不提供此服务。如果有,空间后台 一般有日志WebLog日志下载功能,下载到根目录,然后通过FTP上传到本地。如果使用服务器,可以设置下载日志文件到指定路径。

2。这里有一个很重要的问题。强烈建议将站点日志设置为每小时生成一次。小型企业站点和页面内容较少的站点可以设置为一天。默认为一天。如果内容很多或者大站点设置为每天生成一次,那么一天只生成一个文件。这个文件会很大。有时电脑开机时,会导致死机。如果你设置好了,你可以找一个空间提供者来协调设置。

三、网站日志数据分析

1。网站日志中的数据量太大,所以我们一般需要使用网站日志分析工具来检查。常用的日志分析工具包括:光年日志分析工具、网络日志浏览器、WPS表格等。

117.26。203.167--[02/May/2011:01:57:44 -0700] “获取/索引。php HTTP/1.1” 500 19967 “-” "Mozilla/4.0(兼容;MSIE 8。0; 视窗 NT 5。1; 三叉戟/4。0; AskTbCS-ST/5.11。3.15590; 。NET CLR 2.0。50727; Alexa 工具栏)”

分析:

117.26。203.167访问ip;

02/May/2011:01:57:44 -0700 访问日期-时区;

获取/索引。php HTTP/1.1 根据 HTTP/1.1 协议捕获(在域名下)/索引。php 页面(GET 表示服务器操作);

500 服务器响应状态码;

服务器响应状态码通常有以下状态码:200、301、302、304、404、500等。200 表示用户成功获取到请求的文件。如果是搜索引擎,则证明蜘蛛在这次爬取过程中成功发现了一些新内容。301表示用户访问的某个页面的URL已经被301重定向(永久),302是临时重定向。404 表示访问的页面不再存在,或者访问的 URL 是错误的。500 是服务器错误。

19967 表示已经捕获了 19967 个字节;

Mozilla/4.0(兼容;MSIE 8。0; 视窗 NT 5。1; 三叉戟/4。0; AskTbCS-ST/5.11。3.15590; 。NET CLR 2.0。50727; Alexa Toolbar是指访问者使用火狐浏览器和Alexa Toolbar等访问终端信息;

2。如果你的日志格式不一样,说明日志格式设置不一样。

3。在很多日志中可以看到20000 0和20000 64都代表正常爬行。

4。爬取频率通过查看每日日志中百度蜘蛛爬取次数获得。爬行频率没有标准的时间表或频率编号。我们一般通过比较多天的日志来判断。当然,我们希望百度蜘蛛每天尽可能多地抓取。

5。有时在我们的路径中存在斜线问题并且没有斜线。蜘蛛会自动识别为 301 跳转到带斜杠的页面。这里我们发现搜索引擎可以判断我们的目录。, 所以我们要统一我们的目录。

6。我们一直在分析日志。我们可以看到蜘蛛的爬行规则。可以看到同一目录下单个文件的爬取频率间隔和不同目录下的爬取频率间隔。可以看到这些爬取频率间隔是蜘蛛根据网站权重和网站更新频率自动确定的。

7。蜘蛛对我们页面的爬取是分层的,按照权重递减。一般顺序是首页、目录页、内页。

四、通过网站日志我们可以知道什么?
1。我们买的空间能稳定吗

2。蜘蛛更喜欢我们的页面,不喜欢哪些页面?

3。蜘蛛什么时候经常抓取我们的网站,我们什么时候需要更新内容

总结:
所以无论是新站还是老站,无论你是百度还是谷歌,我们都可以通过网站日志来分析搜索引擎蜘蛛的抓取情况; 如果网站长期收录有问题,那么我们也可以在网站日志中比较搜索引擎的蜘蛛行为,了解网站出了什么问题; 如果网站被屏蔽或K,我们可以观察网站日志的情况来了解原因。我们要查看的网站日志的分析和诊断就像在网站上看病一样。通过对网站日志的分析,我们可以简单明了的了解网站的健康状况,可以帮助我们更好的优化网站,所以对于真正的SEO专家来说,分析蜘蛛日志是最直观有效的。




在线客服 在线客服 QQ咨询
返回顶部 返回顶部 返回顶部