[REQ] Inverse Duplicat Suche

ok kennt auch keiner was... schade

Thread erst jetzt gesehen bzw. gezeigt bekommen, und muss sagen: Das ist jetzt so schwer aber nicht?
(ungetestet)

Code:

export LC_ALL=C
find /path1 -type f -exec md5sum {} +| sort -n > path1.txt
find /path2 -type f -exec md5sum {} + | sort -n > path2.txt
comm -1 -3 path1.txt path2.txt #files, die in path2 sind, aber nicht in path1

Reicht dir das?

Edith ruft noch: das ist in etwa das, was mrnice vorgeschlagen hat. Aber halt loeffelbarer

Edith ruft NOCHMALS: Ist so noch nicht ganz fertig - die Dateien beinhalten ja sowohl die Pruefsummen, als auch die relativen Pfade der Dateien. Du musst also path1.txt und path2.txt nochmal weiterverwursten, indem du nur die md5sums rausholst (`awk '{print $1}'`), und dann den Vergleich mittels `comm` ueber diese Files laufen laesst. Die resultierenden Pruefsummen kannst du mit den urspruenglichen Files ("path1.txt" und "path2.txt") wieder zu Pfadinformationen "mappen". Ich kann dir gerne dabei helfen, aber nicht jetzt

so, alle schritte durch. musste die md5-datein noch sorten und dann konnt ich "comm" verwenden.

jetzt fehlt nurnoch die Dateinamen aus der "originaldatei" ("path1") heraus zu holen.
gibts da auch einen netten Einzeiler:
stells mir ca. so vor:
awk 'awk '{print}' diff.txt {print $1}' extern.txt
morgen nochmal drüber schaun wie das funkt

ich merks mal wieder was für ein bash schwammerl ich bin :P


edit: join kanns

Ja ist mittlerweile behoben (denk ich )
Danke nochmal. Hab mir ein kleines Script gebastelt dass ich euch natürlich ned vorenthalten will. (bitte nicht gleich lynchen ist glaub ich das 1. halbwegs sinnvolle Script ...)

Code:

#!/bin/bash

#filename=$(basename $1)
#extension=${filename##*.}
#filename=${filename%.*}


export LC_ALL=C
DIFF="diff.txt"
MISSING="missing_files.txt"

function testing {
    echo "this is just for testing"
}


function md5 {

    if [ $# != 2 ]; then
	echo "Usage: $0 --md5 PATH NAME_OF_DEVICE"
	exit
    fi
    path=$1
    if [ ! -d "$path" ]; then
	echo "Error: $path does not exist";
	exit;
    fi
    dirname=$(basename $1)
    device=$2
    filename=${device}_${dirname}

    
    find $path -type f -exec md5sum {} +| sort > $filename.txt
    awk '{print $1}' $filename.txt | sort > $filename\_md5.txt
}

function compare {
    if [ $# != 3 ]; then
	echo "Usage: $0 -c MD5_FILE1 MD5_FILE2 FILE_WITH_FILENAMES"
	echo "check for files which are in file2 but not in file1"
	exit
    fi
    
    if [ ! -f "$1" ] || [ ! -f "$2" ] || [ ! -f "$3" ]; then
	echo "One File does not exist"
	exit
    fi
    #echo $1 $2
    comm -13 $1 $2 > $DIFF
    join $DIFF $3 | awk -F "  " '{print}'  > $MISSING  

}

case "$1" in
    -c)
	shift
	compare $@
	;;
    --md5)
	shift
	md5 $@
	;;
    --test)
	shift
	testing $@
	;;
    *)
	echo "blubb"
	exit;;
esac