uniq：去除重复行

xiaohai 2021-06-10 11:30:34 共4168人围观 标签： Linux 
简介 uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。
说明

  uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。

格式

  uniq [option] [filename/input]

常用参数说明
  • -c：去除重复行，并计算每行出现的次数
  • -d：只显示重复的行
  • -u：只显示唯一的行
示例

1、不带参数进行去重

[root@localhost ~]# cat uniq.txt 
2018-06-08
2018-06-09
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09
[root@localhost ~]# uniq uniq.txt #去除了2018-06-09连续出现的相同行
2018-06-08
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09

2、排序再去重

[root@localhost ~]# sort uniq.txt > uniq.txtu
[root@localhost ~]# cat uniq.txtu
2018-05-04
2018-06-08
2018-06-08
2018-06-08
2018-06-09
2018-06-09
2018-06-09
[root@localhost ~]# uniq uniq.txtu
2018-05-04
2018-06-08
2018-06-09

#直接使用管道进行处理
[root@localhost ~]# sort uniq.txt|uniq
2018-05-04
2018-06-08
2018-06-09

3、-c参数的使用，计算重复的次数

[root@localhost ~]# sort uniq.txt|uniq -c
      1 2018-05-04
      3 2018-06-08
      3 2018-06-09

4、-d和-u参数的使用

[root@localhost ~]# sort uniq.txt|uniq -d
2018-06-08
2018-06-09
[root@localhost ~]# sort uniq.txt|uniq -u
2018-05-04

相同类型文章

热门标签

每日一句

    人的知识、精力都是有限的，把有限的精力、时间集中起来办一件事，成功的机率就大。

    ——李永英

今日排行

  • mac git用户名和密码修改

    在Mac电脑中，如何对Git的用户名和密码进行修改呢？起初不懂Mac，所以整了很久，本文将记录如何对这个进行操作，以便后期使用。

  • 《康熙王朝》经典对白

    《康熙王朝》是一部非常优秀的电视连续剧，陈道明演的康熙是我觉得最有帝王气魄，让人意犹未尽，本文主要记录一小段非常经典的对白。

  • VirtualBox网络配置之Bridged Adapter（网桥模式）

    为了能让虚拟机能连接网络，并且能与宿主机能相互进行访问，所以需要多虚拟机几种网络模式进行学习，以便后期能快速的进行配置。

  • 单一职责原则(Single responsiblility principle)

    单一职责原则（Single Responsibility Principle，SRP）又称单一功能原则，由罗伯特·C.马丁（Robert C. Martin）于《敏捷软件开发：原则、模式和实践》一书中提出的。这里的职责是指类变化的原因，单一职责原则规定一个类应该有且仅有一个引起它变化的原因，否则类应该被拆分（There should never be more than one reason for a class to change）。

  • 图片视频下载利器：you-get

    you-get是一个基于Python的开源命令行工具，主要用于下载来自多个视频网站的视频、音频和图片资源。它支持YouTube、Bilibili、Vimeo等平台，可通过简单命令快速获取下载链接并支持自定义保存路径和格式。 ‌

点击排行

友情链接