photools.com Community

IMatch Discussion Boards => General Discussion and Questions => Topic started by: ChristopherFoto on November 10, 2018, 02:39:39 PM

Title: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 10, 2018, 02:39:39 PM
Hallo,

ich habe ein Problem beim aktualisieren von Verzeichnissen.
Wenn ich eine Aktualisierung eines Verzeichnisses durchführe, dauert dies von mehreren Minuten.
Ich habe nun das Debug-Log eingeschaltet und mir diese mal angesehen.


11.10 14: 19: 40+ 0 [1C6C] 50 I> #FindRelated: 0 Master, 3 Definitionen, 0 Links gefunden. 0 Dateien analysiert.
11.10 14: 19: 40+ 0 [1C6C] 02 I> CIMRelationManager :: UpdateRelations für 0 Dateien und 0 Links in 0 ms

11.10 14: 20: 06 + 26281 [2A20] 10 I> CIMCacheManager :: UpdateStats in 63ms
11.10 14: 22: 46 + 160000 [0DC0] 50 I> #FindRelated: 274 Master, 3 Definitionen, 0 Links gefunden. 17078064 Dateien analysiert.
11.10 14: 22: 46+ 0 [0DC0] 02 I> CIMRelationManager :: UpdateRelations für 274 Dateien und 272 Links in 219672 ms

11.10 14: 23: 26 + 40078 [1C6C] 50 I> #FindRelated: 273 Master, 3 Definitionen, 0 Links gefunden. 17078064 Dateien analysiert.
11.10 14: 23: 26+ 16 [1C6C] 02 I> CIMRelationManager :: UpdateRelations für 273 Dateien und 272 Links in 226375 ms

11.10 14: 23: 26+ 0 [1C6C] 10 M> 20 [227094ms #sl] CIMEngine5 :: ScanFolders
11.10 14: 23: 26+ 15 [3AEC] 10 M>> 20 PTETWrapper :: ProcessClose 'v: \ development \ imatch5 \ src \ imengine \ ptetwrapper.cpp (3506)'


Laut der Log-Datei werden 17.078.064 (also über 17 Millionen) Dateien analysiert.
Meine ganze Datenbank hat aber nur etwas über 35.000 Dateien, wo kommt diese riesige Zahl her?
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: Mario on November 10, 2018, 02:57:04 PM
Zeig mal Deine File Relation Definitions.
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 10, 2018, 03:04:07 PM
Hier die gewünschten Infos
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 10, 2018, 03:06:54 PM
Hier noch die komplette LOG-Datei
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: Mario on November 10, 2018, 03:23:44 PM
Deine erste Regel durchsucht für jeden Master die gesamte Datenbank um Versionen zu finden.  Und bei den 274 Mastern im Beispiel kommt da wohl eine ganze Menge zusammen (Millionen von Tests!). Die andere Regel durchsucht zwei Verzeichnisbäume. Das ist wohl auch nicht ohne.

Da solltest Du noch mal drüber nachdenken. Das zieht IMatch total runter.
Nicht umsonst wird in der Hilfe vor solchen "Alles und überall"-Regeln ausdrücklich gewarnt. IMatch ist schnell, kann aber nicht zaubern.
Deine Datenbank hat nur 35K Dateien, das ist noch sehr wenig. Aber wenn IMatch jedesmal 35,000 Dateien prüfen muss, wenn es einen Master neu einließt...

Eine clevere Verzeichnisstruktur ist ein Schlüssel für effektives DAM.

Versionen befinden sich üblicherweise in einem Unterverzeichnis, oder meinetwegen auf einen anderen Datenträger, aber auch dort in einem per RegExp/Variable direkt zu erreichenden Verzeichnis.
Damit reduziert man die Menge an zu prüfenden Dateien für das Versioning auf ein Minimum. Jedes Mal die ganze Datenbank abzusuchen ist vielleicht in der Definition einfach, aber zur Laufzeit sehr aufwändig.
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 10, 2018, 03:30:15 PM
Danke für deine Antwort.Ist die Erste Regel die "Nikon NEF" oder geht es hier um die "Bilderstapel" Regel?
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: Mario on November 10, 2018, 04:32:15 PM
Da wo "Wo soll gesucht werden" Gesamte Datenbank steht. screen shot 1
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 11, 2018, 02:57:07 PM
Hallo Mario,
habe mir nun noch mal die Hilfe durchgelesen und die Anpassung durchgeführt.
Das funktioniert nun deutlich schneller, Danke für deine Unterstützung.
Eine Frage habe ich aber noch zu der ich in der Hilfe leider nichts gefunden habe.
Zu dem im Screenshot hinzugefügten Verzeichnis "D:\Bilder\Bilder-Sonstige\", möchte ich auch noch das "Hauptdatei-Verzeichnis" hinzufügen, wie kann ich das erreichen?
Hintergrund, in der Regel lege ich meine bearbeiteten bzw. exportierten Bilder in einem Ordner unterhalb von "D:\Bilder\Bilder-Sonstige\" ab, es kommt aber auch vor, das eine Anwendung das Entwickelte Bild in den Ordner der RAW-Datei schreibt, daher wäre es für mich schön wenn ich das "Hauptdatei-Verzeichnis" auch noch hinzugefügt bekomme.
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: Mario on November 11, 2018, 06:27:05 PM
1. Für jeden Master jedesmal die ganze d:\Bilder... Hierarchie zu durchsuchen ist immer noch ineffizient. Hast Du dort keine Hierarchie für eine weitere Entschränkung?
2. Einfach einen weiteren Eintrag mit einem Folder Pattern (Verzeichnismuster) hinzufügen. In der Hilfe:

Folder Patterns (https://www.photools.com/help/imatch/#rel_config.htm?dl=h-19)
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: ChristopherFoto on November 11, 2018, 07:21:50 PM
Hallo Mario,
doch habe ich und wurde auch angegeben in "D:\Bilder\Bilder-Sonstige\" habe eine Screenshot "Hierarchie Bilder-Sonstige.jpg" angefügt, wie ich dies noch effizienter gestalten soll, ist mir nicht klar.

Nun zum NEF Verzeichnis, Hier gibt es für jedes Jahr einen Ordner und in diesem Ordner gibt es dann noch mal einen Ordner pro Monat, auch hierzu habe ich einen Screenshot (Hierarchie-NEF.jpg) angefügt.
Es soll dann nur noch zum Ordner inkl. Unterordner "D:\Bilder\Bilder-Sonstige\" in dem jeweiligen Monatsordner in dem die Masterdatei liegt gesucht werden.
Wenn ich die Hilfe richtig verstehe, muss hier als Verzeichnismuster "{p0}" verwendet werden, ist das korrekt?
Title: Re: [GERMAN] Frage zur Log-Datei und der Verzeichnisaktualisierung
Post by: Mario on November 11, 2018, 07:52:55 PM
Aus der Hilfe Folder Patterns (https://www.photools.com/help/imatch/#rmh_folder_pattern.htm)


c:\data\images\travels\summer

p0: c:\data\images\travels\summer
p1: c:\data\images\travels
p2: c:\data\images
p3: c:\data\
p4: c: