finddup.1

   1 .TH "FINDDUP" "1.1" "Apr 2010" "Francois Fleuret" "User Commands"
   2
   3 \" This man page was written by Francois Fleuret <francois@fleuret.org>
   4 \" and is distributed under a Creative Commons Attribution-Share Alike
   5 \" 3.0 License.
   6
   7 .SH "NAME"
   8
   9 finddup \- Find files common to two directories (or not)
  10
  11 .SH "SYNOPSIS"
  12
  13 \fBfinddup\fP [OPTION]... [DIR1 [[and:|not:]DIR2]]
  14
  15 .SH "DESCRIPTION"
  16
  17 With one directory as argument, \fBfinddup\fP prints the duplicated
  18 files found in it. If no directory is provided, it uses the current
  19 one as default.
  20
  21 With two directories, it prints either the files common to both DIR1
  22 and DIR2 or, with the `not:' prefix, the ones present in DIR1 and not
  23 in DIR2. The `and:' prefix is assumed by default and necessary only if
  24 you have a directory name starting with `not:'.
  25
  26 This command compares files by first comparing their sizes, hence goes
  27 reasonably fast.
  28
  29 When looking for identical files, \fBfinddup\fP associates a group ID
  30 to every content, and prints it along the file names. Use the \fB-g\fP
  31 to switch it off.
  32
  33 Note that
  34 .B finddup DIR
  35 is virtually the same as
  36 .B finddup -i DIR DIR
  37
  38 .SH "OPTIONS"
  39 .TP
  40 \fB-v\fR, \fB--version\fR
  41 print the version number and exit
  42 .TP
  43 \fB-h\fR, \fB--help\fR
  44 print the help and exit
  45 .TP
  46 \fB-d\fR, \fB--ignore-dots\fR
  47 ignore files and directories starting with a dot
  48 .TP
  49 \fB-0\fR, \fB--ignore-empty\fR
  50 ignore empty files
  51 .TP
  52 \fB-c\fR, \fB--hide-matchings\fR
  53 do not show which files from DIR2 correspond to files from DIR1
  54 (hence, show only the files from DIR1 which have an identical twin in
  55 DIR2)
  56 .TP
  57 \fB-g\fR, \fB--no-group-ids\fR
  58 do not show the file group IDs
  59 .TP
  60 \fB-t\fR, \fB--time-sort\fR
  61 sort files in each group according to the modification times
  62 .TP
  63 \fB-p\fR, \fB--show-progress\fR
  64 show progress information in stderr
  65 .TP
  66 \fB-r\fR, \fB--real-paths\fR
  67 show the real path of the files
  68 .TP
  69 \fB-i\fR, \fB--same-inodes-are-different\fR
  70 files with same inode are considered as different
  71 .TP
  72 \fB-e \fI<command>\fR, \fB--exec \fI<command>\fR
  73 execute the provided command for each group of identical files, with
  74 their names as arguments
  75
  76 .SH "BUGS"
  77
  78 None known, probably many. Valgrind does not complain though.
  79
  80 Since files with same inodes are considered as different when looking
  81 for duplicates in a single directory, there are weird behaviors -- not
  82 bugs -- with hard links.
  83
  84 The current algorithm is dumb, as it does not use any hashing of the
  85 file content.
  86
  87 Here are the things I tried, which did not help at all: (1) Computing
  88 md5s on the whole files, which is not satisfactory because files are
  89 often not read entirely, hence the md5s can not be properly computed,
  90 (2) computing XORs of the first 4, 16 and 256 bytes with rejection as
  91 soon as one does not match, (3) reading files in parts of increasing
  92 sizes so that rejection could be done with only a small fraction read
  93 when possible, (4) using mmap instead of open/read.
  94
  95 .SH "WISH LIST"
  96
  97 The format of the output should definitely be improved. Not clear how.
  98
  99 Their could be some fancy option to link two instances of the command
 100 running on different machines to reduce network disk accesses. This
 101 may not help much though.
 102
 103 .SH "EXAMPLES"
 104
 105 .B finddup -p0d blah
 106
 107 .fi
 108 List duplicated files in directory ./blah/, show a progress bar,
 109 ignore empty files, and ignore files and directories starting with a
 110 dot.
 111
 112 .P
 113 .B finddup sources not:/mnt/backup
 114
 115 .fi
 116 List all files found in \fB./sources/\fR which do not have
 117 content-matching equivalent in \fB/mnt/backup/\fR.
 118
 119 .P
 120 .B finddup -g tralala cuicui
 121
 122 .fi
 123 List groups of files with same content which exist both in
 124 \fB./tralala/\fR and \fB./cuicui/\fR. Do not show group IDs, instead
 125 write empty lines between groups of files of same content.
 126
 127 .SH "AUTHOR"
 128
 129 Written by Francois Fleuret <francois@fleuret.org> and distributed
 130 under the terms of the GNU General Public License version 3 as
 131 published by the Free Software Foundation. This is free software: you
 132 are free to change and redistribute it. There is NO WARRANTY, to the
 133 extent permitted by law.