uniq：去除重复行

xiaohai 2021-06-10 11:30:34 共1709人围观 标签： Linux 
简介 uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。
说明

  uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。

格式

  uniq [option] [filename/input]

常用参数说明
  • -c：去除重复行，并计算每行出现的次数
  • -d：只显示重复的行
  • -u：只显示唯一的行
示例

1、不带参数进行去重

[root@localhost ~]# cat uniq.txt 
2018-06-08
2018-06-09
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09
[root@localhost ~]# uniq uniq.txt #去除了2018-06-09连续出现的相同行
2018-06-08
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09

2、排序再去重

[root@localhost ~]# sort uniq.txt > uniq.txtu
[root@localhost ~]# cat uniq.txtu
2018-05-04
2018-06-08
2018-06-08
2018-06-08
2018-06-09
2018-06-09
2018-06-09
[root@localhost ~]# uniq uniq.txtu
2018-05-04
2018-06-08
2018-06-09

#直接使用管道进行处理
[root@localhost ~]# sort uniq.txt|uniq
2018-05-04
2018-06-08
2018-06-09

3、-c参数的使用，计算重复的次数

[root@localhost ~]# sort uniq.txt|uniq -c
      1 2018-05-04
      3 2018-06-08
      3 2018-06-09

4、-d和-u参数的使用

[root@localhost ~]# sort uniq.txt|uniq -d
2018-06-08
2018-06-09
[root@localhost ~]# sort uniq.txt|uniq -u
2018-05-04

相同类型文章

热门标签

每日一句

    学会忍受不公平，学会恪尽职责。

    ——林肯

今日排行

  • Electron打包错误“Error: Application entry file ..”解决方案

    打包出现如下错误：Error: Application entry file "dist\electron\main.js" in the "D:\gui\demo2\build\win-unpacked\resources\app.asar" does not exist. Seems like a wrong configuration.

  • Docker编译出现:temporary error (try again later)

    Docker编译镜像出现：fetch http://dl-cdn.alpinelinux.org/alpine/v3.12/main/x86_64/APKINDEX.tar.gz ERROR: http://dl-cdn.alpinelinux.org/alpine/v3.12/main: temporary error (try again later) WARNING: Ignoring APKINDEX.2c4ac24e.tar.gz: No such file or directory问题

  • Git保存和清除用户名、密码

    在使用Git的过程中，不想每次都输入用户名和密码去拉取代码，所以就需要保存这些信息，那么既然有保存了，就必须有清除功能。

  • 嗨！Tauri

    Tauri 是一个框架，用于为所有主要桌面平台构建小巧、快速的二进制文件。开发人员可以集成任何可编译为 HTML、JS 和 CSS 的前端框架，以构建他们的用户界面。应用程序的后端是一个基于 Rust 的二进制文件，带有一个前端可以与之交互的 API。 Tauri 应用程序的用户界面目前在 macOS 和 Windows 上利用 tao 作为窗口处理库，在 Linux 上通过 Tauri 团队孵化和维护的 WRY 利用 WebKit、Windows 上的 WebView2 和 Linux 上的 WebKitGTK 创建一个统一的系统 webview（和其他好东西，如菜单和任务栏）接口。

  • 费马点模型

    费马点是指到一个三角形三个顶点距离之和最小的点，称为三角形的费马点。

点击排行

友情链接