文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

有哪些Shell常用命令和例子

2023-06-09 18:43

关注

本篇内容主要讲解“有哪些Shell常用命令和例子”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“有哪些Shell常用命令和例子”吧!

在Windows下的用户要使用shell命令符的话请先安装cygwin,安装方法自行Google(搜技术问题请使用google,百度搜不到活该)

下面粗略介绍下SEO日志分析常用的命令符用法,需要详细了解每个命令符请使用Google。

less 文件名 查看文件内容 按“q” 退出

cat 文件名 打开文件,可以多次打开几个文件 | cat 1.log 2.log |cat *.cat
grep -参数 文件名
-i 不区分大小写
-v 显示不符合条件的所有行
-c 显示符合条件的所有行数(符合条件的数量)

egrep 属于grep的升级版,在正则这一块的支持更完善,使用正则的时候建议使用egrep

head -2 文件名 显示2行
head -100 文件名 | tail -10 >>a.log 提取文件第91-100行数据

wc -参数 文件名 统计文本大小,字符多少,行数
-c 统计文本字节数
-m 统计文本字符数
-l 统计文本有多少行

sort – 参数 文件名 对文件进行排序
-n 对文件按照数字排序
-r 反向排序

uniq -参数 文件名 对文件去重,去重前需要使用排序

sort
-c 显示数据重复的次数

split -参数 文件名 对文件进行切割
-100 (每100行切割成一个文件)
-C 25m/b/k (每25兆/字节/K 分割成一个文件)

| 管道,把上一条命令的结果传输给下一条命令

“>” 和“>> ” 重定向写入文件中 “>”相当于“w”清空并写入 “>>”相当于“a” 追加进文件

 awk -F ‘分割符'  Pattern {action} 文件名 使用指定的字符对每一行数据进行分段,默认是空格(网站日志就是空格分开)
-F后面跟的是分隔符
pattern 就是action执行的条件,这里可以使用正则表达式
$n 即时第几段数据 $0表示整行数据
NF表示当前记录的字段数
$NF 表示最后一个字段
BEGIN和END,这两者都可用于pattern中,提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作

bash shell.sh 运行shell.sh脚本

dos2unix xxoo.sh 将“\r\n”转换成“\n” Windows——>linux (由于Windows和Linux下的换行符不同,所以我们在Windows下面下的代码需要使用dos2unix 转换成Linux下的换行符,否则运行shell脚本会报错)

unix2dos xxoo.sh 将“\n”转换成“\r\n” linux——>Windows
rm xx.txt 删除xx.txt文件

一些简单的命令符介绍到这里,需要了解shell,建议大家查看相关的书籍.

下面我们开始使用shell分析日志

切割百度的抓取数据(将文件切割出来对专门的爬虫数据进行处理能提高效率)

代码如下:


cat log.log |grep -i ‘baiduspider' >baidu.log


2、网站状态码个数查询 

代码如下:


awk ‘{print $9}' baidu.log|sort|uniq -c|sort -nr


3、百度总抓取量

代码如下:


wc -l baidu.log


4、百度不重复抓取量 

代码如下:


awk ‘{print $7}' baidu.log|sort|uniq|wc -l


5、百度平均每次抓取的数据大小(结果是KB)

代码如下:


awk ‘{print $10}' baidu.log|awk ‘BEGIN{a=0}{a+=$1}END{ print a/NR/1024}'


6、首页抓取量

代码如下:


awk ‘$7~/\.com\/$/' baidu.log|wc -l


7、某目录抓取量

代码如下:


grep ‘/news/' baidu.log|wc -l


8、抓取最多的10个页面

代码如下:

awk ‘{print $7}' baidu.log|sort|uniq -c|sort -nr|head -10


9、找出抓取的404错误页面

代码如下:

awk ‘$9~ /^404$/ {print $7}' baidu.log|sort|uniq|sort -nr


10、找出抓取了多少js文件和文件抓取的次数

代码如下:

awk ‘$7~ /.js$/ {print $7}' baidu.log|sort|uniq -c |sort -nr

到此,相信大家对“有哪些Shell常用命令和例子”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯