linux如何取出两个文件的并集(重复的行只保留一份)

这篇文章将为大家详细讲解有关linux如何取出两个文件的并集(重复的行只保留一份)，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Linux 取出两个文件并集的命令

在 Linux 系统中，可以利用以下命令取出两个文件的并集，并去除重复行：

sort file1.txt file2.txt | uniq

其中：

• sort 命令将文件的内容按行排序。
• | 管道符将 sort 命令的输出作为 uniq 命令的输入。
• uniq 命令去除重复行，只保留唯一行。

详细解释

1. 排序：

   sort 命令根据行的第一个字符对文件中的行进行排序。这确保了两个文件中的相同行出现在相邻的位置。

2. 连接：

   管道符（|）将 sort 命令的输出连接到 uniq 命令的输入。这将 sort 的已排序输出作为 uniq 的输入。

3. 去除重复行：

   uniq 命令读取已排序的输入并去除重复行。它将相邻的重复行合并为一行，只保留其中一个副本。

示例

为了说明如何使用此命令，假设我们有两个文件 file1.txt 和 file2.txt，其中含有以下行：

file1.txt
----------
apple
banana
cherry
file2.txt
----------
banana
cherry
dog

要取出这两个文件的并集并去除重复行，可以运行以下命令：

sort file1.txt file2.txt | uniq

这将产生以下输出：

apple
banana
cherry
dog

其他选项

uniq 命令还提供了其他选项，可以自定义其行为：

• -i：忽略大小写差异。
• -c：显示每行的出现次数。
• -d：仅显示重复行。

替代方法

除了 sort 和 uniq 命令之外，还有其他方法可以取出两个文件的并集和去除重复行，例如：

• 使用 comm 命令：comm -12 file1.txt file2.txt
• 使用 Perl：perl -a -F" " -e "print for sort keys %seen; $seen{$_}++" file1.txt file2.txt
• 使用 Python：python -c "import sys; seen = set(); with open(sys.argv[1]) as f: for line in f: seen.add(line); with open(sys.argv[2]) as f: for line in f: seen.add(line); for line in sorted(seen): print(line, end="")"

以上就是linux如何取出两个文件的并集(重复的行只保留一份)的详细内容，更多请关注编程学习网其它相关文章！