uniq
#コマンド
ファイル内の重複する行を一つにまとめるコマンド
先にsortしておく必要がある
uniq -d file > uniqed_file