uniq
#コマンド
ファイル内の重複する行を一つにまとめるコマンド
先に
sort
しておく必要がある
uniq -d file > uniqed_file