文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

搞定 Linux Shell 文本处理工具,看完这篇还不够

2024-12-14 00:11

关注

本文将介绍Linux下使用Shell处理文本时最常用的工具:find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;提供的例子和参数都是最常用和最为实用的;对shell脚本使用的原则是命令单行书写,尽量不要超过2行;如果有更为复杂的任务需求,还是考虑python吧.

1、find 文件查找

查找txt和pdf文件 

  1. find . ( -name "*.txt" -o -name "*.pdf" ) -print 

正则方式查找.txt和pdf 

  1. find . -regex  ".*(.txt|.pdf)$"  
  2. #-iregex:忽略大小写的正则 

否定参数:查找所有非txt文本 

  1. find . ! -name "*.txt" -print 

指定搜索深度:打印出当前目录的文件(深度为1) 

  1. find . -maxdepth 1 -type f 

定制搜索 

  1. #按类型搜索:  
  2. find . -type d -print  //只列出所有目录  
  3. #按时间搜索:  
  4. -atime 访问时间 (单位是天,分钟单位则是-amin,以下类似)  
  5. -mtime 修改时间 (内容被修改)  
  6. -ctime 变化时间 (元数据或权限变化)  
  7. 最近7天被访问过的所有文件:  
  8. find . -atime 7 -type f -print  
  9. #按大小搜索:  
  10. 寻找大于2k的文件  
  11. find . -type f -size +2k  
  12. #按权限查找:  
  13. find . -type f -perm 644 -print //找具有可执行权限的所有文件  
  14. #按用户查找:  
  15. find . -type f -user weber -print// 找用户weber所拥有的文件 

找到后的后续动作删除: 

  1. #删除当前目录下所有的swp文件:  
  2. find . -type f -name "*.swp" -delete  
  3. #执行动作(强大的exec)  
  4. find . -type f -user root -exec chown weber {} ; //将当前目录下的所有权变更为weber  
  5. 注:{}是一个特殊的字符串,对于每一个匹配的文件,{}会被替换成相应的文件名;  
  6. eg:将找到的文件全都copy到另一个目录:  
  7. find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD ; 

结合多个命令tips: 如果需要后续执行多个命令,可以将多个命令写成一个脚本。然后 -exec 调用时执行脚本即可; 

  1. -exec ./commands.sh {} ;  
  2. #-print的定界符 

2、grep 文本搜索

grep match_patten file // 默认访问匹配行

常用参数:

grep -c "text" filename

在多级目录中对文本递归搜索(程序员搜代码的最爱):

  1. grep "class" . -R -n 

匹配多个模式 

  1. grep -e "class" -e "vitural" file 

grep输出以作为结尾符的文件名:(-z)

  1. grep "test" file* -lZ| xargs -0 rm 

xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数;这样,可以配合很多命令来组合使用。比如grep,比如find;

将多行输出转化为单行输出 

  1. cat file.txt| xargs 
  1. cat single.txt | xargs -n 3  
  2. #-n:指定每行显示的字段数 

xargs参数说明

  1. cat file.txt | xargs -I {} ./command.sh -p {} -1  
  2. #-0:指定为输入定界符  
  3. #统计程序行数  
  4. find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l 

3、sort 排序

字段说明:

  1. sort -nrk 1 data.txt  
  2. sort -bd data // 忽略像空格之类的前导空白字符 

4、uniq 消除重复行

消除重复行 

  1. sort unsort.txt | uniq 

统计各行在文件中出现的次数 

  1. sort unsort.txt | uniq -c 

找出重复行 

  1. sort unsort.txt | uniq -d 

可指定每行中需要比较的重复内容:-s 开始位置 -w 比较字符数

5、用 tr 进行转换

通用用法 

  1. echo 12345| tr '0-9''9876543210' //加解密转换,替换对应字符  
  2. cat text| tr '    '' '  //制表符转空格 

tr删除字符 

  1. cat file | tr -d '0-9'   // 删除所有数字

-c 求补集 

  1. cat file | tr -c  '0-9'   //获取文件中所有数字 
  2. cat file | tr -d -c '0-9'  //删除非数字数据 

tr压缩字符 

  1. tr -s 压缩文本中出现的重复字符;最常用于压缩多余的空格  
  2. cat file | tr -s ' ' 

字符类:tr中可用各种字符类

  1. 使用方法:tr [:class:] [:class:]  
  2. eg: tr   
  3. '[:lower:]''[:upper:]' 

6、cut 按列切分文本 

  1. #截取文件的第2列和第4列:  
  2. cut -f2,4 filename  
  3. #去文件除第3列的所有列:  
  4. cut -f3 --complement filename  
  5. #-d 指定定界符:  
  6. cat -f2 -d ";" filename 

cut 取的范围

  1. cut -c1-5 file //打印第一到5个字符  
  2. cut -c-2 file  //打印前2个字符 

7、paste 按列拼接文本

将两个文本按列拼接到一起 

  1. cat file1  
  2.  
  3. cat file2 
  4. colin  
  5. book 
  6. paste file1 file2 
  7. 1colin  
  8. 2 book 

默认的定界符是制表符,可以用-d指明定界符 

  1. paste file1 file2 -d ","  
  2. 1,colin  
  3. 2,book 

8、wc 统计行和字符的工具 

  1. wc -l file // 统计行数  
  2. wc -w file // 统计单词数  
  3. wc -c file // 统计字符数 

9、sed 文本替换利器

首处替换 

  1. seg 's/text/replace_text/'file   //替换每一行的第一处匹配的text 

全局替换 

  1. seg 's/text/replace_text/g' file 

默认替换后,输出替换后的内容,如果需要直接替换原文件,使用-i: 

  1. seg -i 's/text/repalce_text/g' file 

移除空白行: 

  1. sed '/^$/d' file 

变量转换

已匹配的字符串通过标记&来引用. 

  1. echo this is en example | seg 's/w+/[&]/g'  
  2. $>[this]  [is] [en] [example] 

子串匹配标记

第一个匹配的括号内容使用标记 来引用 

  1. sed 's/hello([0-9])//' 

双引号求值

  1. p=patten  
  2. r=replaced  
  3. echo "line con a patten"| sed "s/$p/$r/g"  
  4. $>line con a replaced 

字符串插入字符:将文本中每行内容(PEKSHA) 转换为 PEK/SHA

  1. sed 's/^.{3}/&//g' file 

10、awk 数据流处理工具

awk脚本结构 

  1. awk ' BEGIN{ statements } statements2 END{ statements } ' 

工作方式

print 打印当前行,使用不带参数的print时,会打印当前行; 

  1. echo -e "line1 line2"| awk 'BEGIN{print "start"} {print } END{ print "End" }'  
  2. #print 以逗号分割时,参数以空格定界;  
  3. echo | awk ' {var1 = "v1" ; var2 = "V2"var3="v3" 
  4. print var1, var2 , var3; }'  
  5. $>v1 V2 v3  
  6. #使用-拼接符的方式(""作为拼接符);  
  7. echo | awk ' {var1 = "v1" ; var2 = "V2"var3="v3" 
  8. print var1"-"var2"-"var3; }'  
  9. $>v1-V2-v3 

特殊变量:NR NF 01 $2

  1. echo -e "line1 f2 f3 line2 line 3"| awk '{print NR":"$0"-"$1"-"$2}'   
  2. #打印每一行的第二和第三个字段  
  3. awk '{print $2, $3}' file   
  4. #统计文件的行数:  
  5. awk ' END {print NR}' file  
  6. #累加每一行的第一个字段:  
  7. echo -e "1 2 3 4 "| awk 'BEGIN{num = 0 ;print "begin";} {sum += $1;}END {print "=="; print sum }'     
  8. #传递外部变量  
  9. var=1000  
  10. echo | awk '{print vara}' vara=$var #输入来自stdin  
  11. awk '{print vara}' vara=$var file # 输入来自文件 

用样式对awk处理的行进行过滤 

  1. awk 'NR < 5' #行号小于5  
  2. awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来  
  3. awk '/linux/'  #包含linux文本的行(可以用正则表达式来指定,超级强大)  
  4. awk '!/linux/'  #不包含linux文本的行 

设置定界符

使用-F来设置定界符(默认为空格) 

  1. awk -F: '{print $NF}'/etc/passwd 

读取命令输出

使用getline,将外部shell命令的输出读入到变量cmdout中; 

  1. echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }' 

在awk中使用循环 

  1. for (i=0;i<10;i++){print $i;}  
  2. for (i in array){print array[i];} 

以逆序的形式打印行:(tac命令的实现) 

  1. seq 9|awk '{lifo[NR] = $0; lno=NR}END{ for(;lno>-1;lno--){print lifo[lno];}} ' 

awk实现head、tail命令 

  1. head:  
  2.  awk 'NR<=10{print}' filename  
  3. tail:  
  4.   awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){  
  5.   print buffer[i %10]} } ' filename 

打印指定列 

  1. #awk方式实现:  
  2. ls -lrt | awk   
  3. '{print $6}'  
  4. #cut方式实现  
  5. ls -lrt | cut -f6 

打印指定文本区域 

  1. #确定行号  
  2. seq 100| awk 'NR==4,NR==6{print}'  
  3. #确定文本  
  4. 打印处于startpattern 和endpattern之间的文本;  
  5. awk '/start_pattern/, /end_pattern/' filename  
  6. seq 100| awk '/13/,/15/'  
  7. cat /etc/passwd| awk '/mai.*mail/,/news.*news/' 

awk常用内建函数

  1. echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'  
  2. #printf 类似c语言中的printf,对输出进行格式化  
  3. seq 10| awk '{printf "->%4s ", $1}'  #迭代文件中的行、单词和字符 

    1.  迭代文件中的每一行 

  1. while 循环法  
  2. while read line;  
  3. do  
  4. echo $line;  
  5. done < file.txt 

改成子shell: 

  1. cat file.txt | (  
  2. while read line;  
  3. do  
  4.  echo $line;  
  5. done  

awk法: 

  1. cat file.txt| awk '{print}' 

  迭代一行中的每一个单词 

  1. for word in $line;  
  2. do  
  3. echo $word;  
  4. done 

  迭代每一个字符{#word}:返回变量word的长度 

  1. for ((i=0;i<${#word};i++))  
  2. do  
  3. echo ${word:i:1);  
  4. done  
来源:Linux学习内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯