Linux - ソート済みのファイルから重複した行を削除。

構文： uniq (オプション) [入力ファイル名] [出力ファイル名]

ファイルで重複している行を削除する。但し、ファイルはソートしてある必要がある。尚、出力ファイルを指定しない場合は、標準出力に出力する。

使用例を以下に示します。

$ cat sample.txt
03-xxxx-xxxx   tokyo    user1   man
092-yyy-yyyy   fukuoka  user2   man
06-zzzz-zzzz   osaka    user3   woman
03-xxxx-xxxx   tokyo    user1   man
$ uniq sample.txt
03-xxxx-xxxx   tokyo    user1   man
092-yyy-yyyy   fukuoka  user2   man
06-zzzz-zzzz   osaka    user3   woman

表1 uniqの主なオプション

オプション	機能
-u, --unique	ユニークな行を表示する。
-d, --repeated	重複行を表示する。
-c, --count	行表示の際、それぞれの行の数も表示する。
-[行数], -f, --skip-fields [行数]	判断を開始するフィールドを指定する。指定したフィールド以降が判断に使用される。
+[文字数], -s, --skip-chars=[文字数]	判断を開始する文字数を指定する。指定した文字以降が判断に使用される。
-w, --check-chars=[文字数]	判断の終了文字数を指定する。指定しない場合は、行末とする。


http://kank.o.oo7.jp/2016/linux/text_008.html 初版：2002.09.16 更新：2013.7.2(リニューアル) 更新：2016.8.17(リニューアル)