文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何分析出用户信息

2024-04-02 19:55

关注

本篇内容主要讲解“如何分析出用户信息”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何分析出用户信息”吧!

如何分析出用户信息

别急着开始

当我们要分析日志的时候,先用 ls -lh 命令查看日志文件的大小,如果日志文件大小非常大,最好不要在线上环境做。

比如我下面这个日志就 6.5M,不算大,在线上环境分析问题不大。

如何分析出用户信息

如果日志文件数据量太大,你直接一个 cat 命令一执行,是会影响线上环境,加重服务器的负载,严重的话,可能导致服务器无响应。

当发现日志很大的时候,我们可以使用 scp 命令将文件传输到闲置的服务器再分析,scp 命令使用方式如下图:

如何分析出用户信息

慎用 cat

大家都知道 cat 命令是用来查看文件内容的,但是日志文件数据量有多少,它就读多少,很显然不适用大文件。

对于大文件,我们应该养成好习惯,用 less 命令去读文件里的内容,因为 less  并不会加载整个文件,而是按需加载,先是输出一小页的内容,当你要往下看的时候,才会继续加载。

如何分析出用户信息

可以发现,nginx 的 access.log 日志每一行是一次用户访问的记录,从左到右分别包含如下信息:

不过,有时候我们想看日志最新部分的内容,可以使用 tail 命令,比如当你想查看倒数 5 行的内容,你可以使用这样的命令:

如何分析出用户信息

如果你想实时看日志打印的内容,你可以使用 tail -f 命令,这样你看日志的时候,就会是阻塞状态,有新日志输出的时候,就会实时显示出来。

PV 分析

PV 的全称叫 Page View,用户访问一个页面就是一次 PV,比如大多数博客平台,点击一次页面,阅读量就加 1,所以说 PV  的数量并不代表真实的用户数量,只是个点击量。

对于 nginx 的 acess.log 日志文件来说,分析 PV 还是比较容易的,既然日志里的内容是访问记录,那有多少条日志记录就有多少 PV。

我们直接使用 wc -l 命令,就可以查看整体的 PV 了,如下图一共有 49903 条 PV。

如何分析出用户信息

PV 分组

nginx 的 acess.log 日志文件有访问时间的信息,因此我们可以根据访问时间进行分组,比如按天分组,查看每天的总  PV,这样可以得到更加直观的数据。

要按时间分组,首先我们先「访问时间」过滤出来,这里可以使用 awk 命令来处理,awk 是一个处理文本的利器。

awk 命令默认是以「空格」为分隔符,由于访问时间在日志里的第 4 列,因此可以使用 awk '{print $4}' access.log  命令把访问时间的信息过滤出来,结果如下:

如何分析出用户信息

上面的信息还包含了时分秒,如果只想显示年月日的信息,可以使用 awk 的substr 函数,从第 2 个字符开始,截取 11 个字符。

如何分析出用户信息

接着,我们可以使用 sort 对日期进行排序,然后使用 uniq -c 进行统计,于是按天分组的 PV 就出来了。

可以看到,每天的 PV 量大概在 2000-2800:

如何分析出用户信息

注意,使用 uniq -c 命令前,先要进行 sort 排序,因为 uniq 去重的原理是比较相邻的行,然后除去第二行和该行的后续副本,因此在使用  uniq 命令之前,请使用 sort 命令使所有重复行相邻。

UV 分析

UV 的全称是 Uniq Visitor,它代表访问人数,比如公众号的阅读量就是以 UV 统计的,不管单个用户点击了多少次,最终只算 1  次阅读量。

access.log 日志里虽然没有用户的身份信息,但是我们可以用「客户端 IP 地址」来近似统计 UV。

如何分析出用户信息

该命令的输出结果是 2589,也就说明 UV 的量为 2589。上图中,从左到右的命令意思如下:

UV 分组

假设我们按天来分组分析每天的 UV 数量,这种情况就稍微比较复杂,需要比较多的命令来实现。

既然要按天统计 UV,那就得把「日期 + IP地址」过滤出来,并去重,命令如下:

如何分析出用户信息

具体分析如下:

上面只是把 UV 的数据列了出来,但是并没有统计出次数。

如果需要对当天的 UV 统计,在上面的命令再拼接 awk '{uv[$1]++;next}END{for (ip in uv) print ip,  uv[ip]}' 命令就可以了,结果如下图:

如何分析出用户信息

awk 本身是「逐行」进行处理的,当执行完一行后,我们可以用 next 关键字来告诉 awk 跳转到下一行,把下一行作为输入。

对每一行输入,awk 会根据第 1 列的字符串(也就是日期)进行累加,这样相同日期的 ip 地址,就会累加起来,作为当天的 uv 数量。

之后的 END 关键字代表一个触发器,就是当前面的输入全部完成后,才会执行 END {} 中的语句,END 的语句是通过 foreach 遍历 uv  中所有的 key,打印出按天分组的 uv 数量。

终端分析

nginx 的 access.log 日志最末尾关于 User Agent  的信息,主要是客户端访问服务器使用的工具,可能是手机、浏览器等。

因此,我们可以利用这一信息来分析有哪些终端访问了服务器。

User Agent 的信息在日志里的第 12 列,因此我们先使用 awk 过滤出第 12 列的内容后,进行 sort 排序,再用 uniq -c  去重并统计,最后再使用 sort -rn(r 表示逆向排序, n 表示按数值排序) 对统计的结果排序,结果如下图:

如何分析出用户信息

分析 TOP3 的请求

access.log 日志中,第 7 列是客户端请求的路径,先使用 awk 过滤出第 7 列的内容后,进行 sort 排序,再用  uniq -c 去重并统计,然后再使用 sort -rn 对统计的结果排序,最后使用 head -n 3 分析 TOP3 的请求,结果如下图:

如何分析出用户信息

到此,相信大家对“如何分析出用户信息”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-前端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯