web-dev-qa-db-ja.com

bashを使用して重複ファイルを削除する方法

md5sum(Macではmd5による))ファイルが重複しているフォルダーがあり、見つかったファイルを削除する cron ジョブをスケジュールしたい。

しかし、私はこれを行う方法にこだわっています。これまでのところ:

md5 -r * | sort

これは次のようなものを出力します:

04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg
1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg
266ea304b15bf4a5650f95cf385b16de nebraskasupercell_fr-fr11286079811_1366x768.jpg
324735b755c40d332213899fa545c463 grossescheidegg_en-us10868142387_1366x768.jpg
3993028fcea692328e097de50b26f540 Soyuz Spacecraft Rolled Out For Launch of One Year Crew.png
677bcd6006a305f4601bfb27699403b0 lechaustria_zh-cn7190263094_1366x768.jpg
80d03451b88ec29bff7d48f292a25ce6 ontariosunrise_en-ca10284703762_1366x768.jpg
b6d9d24531bc62d2a26244d24624c4b1 manateeday_row10617199289_1366x768.jpg
ca1486dbdb31ef6af83e5a40809ec561 Grueling Coursework.jpg
cdf26393577ac2a61b6ce85d22daed24 Star trails over Mauna Kea.jpg
dc3ad6658d8f8155c74054991910f39c smoocave_en-au10358472670_1366x768.jpg
dc3ad6658d8f8155c74054991910f39c smoocave_en-au10358472670_1366x7682.jpg

ファイルのMD5に基づいて処理して重複を削除するにはどうすればよいですか?私は本当に気にしませんwhich「元の」私は保持しますが、保持したいのは1つだけです。

これに別の方法でアプローチする必要がありますか?

9
warren

次のコマンドを使用して、重複ファイルを識別できます。

md5sum * | sort -k1 | uniq -w 32 -d
7
Marcin