[German] - mache ich was falsch bzw. was tut IMatch seit Stunden?

Started by RobiWan, January 17, 2022, 07:02:48 PM

Previous topic - Next topic

RobiWan

Hallo,

vermutlich mache ich wieder was falsch oder irgendeine falsche Einstellung o.ä.
Aus bestimmten Gründen habe ich am WE für alle meine RAW Dateien *.md5 Checksummen angelegt. Die angelegte Dateien haben Format z.B dateiname.cr3.md5. Nach lesen der Hilfe und Überprüfung der Dateiformate in Einstellungen finde ich nichts zu MD% Format. So gehe ich davon aus, dass IMatch diese Dateien komplett ignoriert/ ignorieren soll.
Inzwischen mehrere Stunden ist IMatch damit beschäftigt "Hinzufügen und aktualisieren von Dateien". Bisheriges Ergebnis - keine Datei ist hinzugefügt und und bis jetzt 30000 aktualisiert was mich doch wundert, denn an den RAW oder XMP Dateien hat sich definitiv nichts verändert.
Durch die Anlage der Checksummen sind ja im Filesystem mehrere tausend Verzeichnisse "angefasst" worden und so hatte ich damals verstanden ist ein Signal für IMatch nach Änderungen zu schauen. Nur geht das Programm jetzt durch und schaut bei jedem einzelnem Bild von den 160000 Bildern ob sich eins verändert hat?

Gruß Robert

Mario

Wenn Du Änderungen im Dateisystem durchführst, scannt IMatch die Verzeichnisse neu ein.
Das ist aber normalerweise sehr schnell, weil IMatch nach neuen Dateien sucht und bei existierenden Dateien einfach die Zeitstempel vergleicht.
Ohne log file kann ich nichts genaues sagen.
Welchen Viren-Checker nutzt Du?

.MD5 ist kein Format, dass IMatch indiziert, IMatch hat eigene Prüfsummen für jede Datei und Du kannst Sie jederzeit mit der File Verifier app prüfen.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

RobiWan

Ich glaube ich habe den Fehler gefunden (hoffe ich zumindest). Daher will ich Dich nicht mit Logfile zu Version 2020 belasten.

Durch einen Fehler in Einstellungen (cr3 Format) hatte IMatch vor ~1 Woche mir sehr viele RAW Dateien verändert. Das ist für mich ein NoGo egal wie gut eine Software sein mag. Ich habe die RAW Dateien wieder so hergestellt wie es vorher war. Warum auch immer hatte IMatch das gar nicht so mitbekommen. Erst nach dem ich die *.md5 Checksummen erstellt hate, ist er los und hat auch alle Einstellungen aus den RAW Dateien die ich widerhergestellt habe neu eingelesen.


Mario

Wenn Du IMatch nicht erlaubst, EXIF- und GPS-Daten zwischen XMP und CR3 abzugleichen, hast Du ggf. widersprüchliche Informationen in beiden Formaten.
Etliche Datenfelder existieren sowohl in EXIF, GPS und XMP und diese sollten immer synchron gehalten werden.
Wenn Du jemals Probleme mit irgendwelchen Metadaten hast, erinnere und daran, das Du nicht mit den empfohlenen Standardeinstellungen arbeitest. Dann können wir ggf. den Support deutlich abkürzen.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

lbo

Quote from: Mario on January 18, 2022, 04:20:09 PM
Wenn Du IMatch nicht erlaubst, EXIF- und GPS-Daten zwischen XMP und CR3 abzugleichen, hast Du ggf. widersprüchliche Informationen in beiden Formaten.
Etliche Datenfelder existieren sowohl in EXIF, GPS und XMP und diese sollten immer synchron gehalten werden.

Der Ansatz, RAW-Daten nie zu ändern, ist berechtigt und sollte von IMatch immer unterstützt werden, d.h. nicht als "problematisch" sondern als "legitim" angesehen werden.

Mario

Eine RAW-Datei ist eine TIFF-Datei, mit einem proprietären Block (Heap) der die Bayer-Daten enthält.
Metadaten in TIFF-Dateien schreiben wir seit mehr als 30 Jahren.
Es ist nichts Heiliges an eine RAW-Datei.
Du kannst immer eine unmodifizierte Version der RAW-Datei sichern und für später aufheben.

-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

sinus

Quote from: Mario on January 19, 2022, 09:49:52 AM
Eine RAW-Datei ist eine TIFF-Datei, mit einem proprietären Block (Heap) der die Bayer-Daten enthält.
Metadaten in TIFF-Dateien schreiben wir seit mehr als 30 Jahren.
Es ist nichts Heiliges an eine RAW-Datei.
Du kannst immer eine unmodifizierte Version der RAW-Datei sichern und für später aufheben.

Das kann ich nur unterstützen. Ich meine, wenn jemand seine Raw-Dateien wirklich schon als  fast "unantastbares Heiligtum" ansehen, dann kann man so eine Datei ja eben auch als Backup unmodifiziert, direkt von der Kamera, sichern.

Ich tue dies schon seit Jahren. Heisst, ich speichere die unmodifzierte Datei in ein Raw-Verzeichnis (auf einer separaten Harddisk) und das wäre es.

Mit der anderen Raw-Datei (nef in meinem Fall) arbeite ich ganz normal mit IMatch und Photoshop.
WENN ich nun mal auf eine Raw-Datei, direkt von der Kamera zurückgreifen will, ist das schnell gemacht. Denn den Original-Dateinamen speichere ich auch in der Raw-Datei, welche ich für die Bearbeitung nutze.
Nur ist es so, dass ich so eine unangetastete Datei seit Jahren (hm, über 10 Jahre) niemals mehr gebraucht habe. Deshalb bin ich irgendwann dazu übergegangen, alte Raws auf dieser speziellen Harddisk, zu löschen. Man kann das ja dann so machen, dass man zb alles, was älter als 3 Jahre ist (als Beispiel) löscht. Oder man behält sie einfach, denn Disks sind heute nicht mehr so teuer.

Weil ich nie ein Problem hatte, habe ich kein Problem damit, meine raws mit IMatch zu "bearbeiten".

Was allerdings auch zu bedenken wäre, da hat man zb Raws schön unmodifiziert gesichert ... wer kann mir dann versichern, dass ich die in 10, 20 Jahren noch lesen kann?
Da finde ich reine Tiffs sicherer und jpgs allein wegen der Masse, welche jpgs verwendet. Da kann ich mir schlecht vorstellen, dass man die nicht mehr lesen kann, selbst wenn Lizenzen dahinter sind.
Aber klar, man weiss nie.

Und nur noch abschliessend, OT:
Ich persönlich habe kein Problem damit, auch gute Bilder allenfalls nur mit jpg zu sichern. Klar, nicht verlustfrei ...
nur, wenn man ein jpg  zb in Photoshop nur schon mit Qualität 7 speichert, ist das schon sehr gut und wenn man die ändert, für eine Grösse auf A4 mit 300 dpi, dann habe ich schon x Tests gemacht, da bemerkst Du auf dem Schirm bei sehr grosser Vergrösserung in den Flächen eine Veränderung, aber dass Du diese Verluste bei normaler Grösse auch bei grossen Monitoren, da braucht es schon sehr viel.

Und bei Ausdrucken auch für sehr gute Qualität, siehst Du es nichts (ausser Du machst auch dort einen supergrossen Ausschnitt.
Und Qualität 7 bei Photoshop ist ja noch nicht Ende der Fahnenstange. Aber "alte Hasen" lassen sich halt nicht beirren, da wollen Grafiker (nun ähm, ja, meist älteren Semesters) halt einfach ein Tiff, selbst wenn Sie ein Bild 1 x für eine Zeitschrift auf A6 gestalten müssen. Da sage ich jeweils nichts mehr, speichere Tiff und sende es. Und lasse es gut sein.  ;D
Best wishes from Switzerland! :-)
Markus

Mario

Ich habe 300,000 meiner eigenen RAW-Dateien, alle mit IMatch/ExifTool bearbeitet. Aus allen älteren Dateien habe ich die IIM3 (legacy) IPTD-Datenb gelöscht (nur noch EXIF/GPS/XMP). Funktioniert prima.
Ich nutze Lightroom, Photoshop und Affinity-Produkte. IMatch Anwender nutzen so ziemlich jede RAW- und Bildbearbeitungssoftware. Ohne Probleme und seit vielen Jahren.

IMatch nutzt ExifTool seit 2015 und in den wenigen Fällen, wo es Probleme beim Öffnen einer von ExifTool modifizieren RAW-Datei mit einer anderen Anwendung gab, war das Problem die andere Anwendung, nicht die Metadaten.

TIFF und JPG sind für Langzeitarchivierung zugelassen, RAW-Dateien sind es nicht...


-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

lbo

es geht nicht nur um Kompatibilitätsprobleme (die gibt es zwar selten, aber immer wieder) sondern auch um Backup und Synchronisation.

Es ist schon ein Unterschied, ob bei einer winzigen Änderung eine 30MB RAW-Datei gesichert/synchronisiert wird oder ein XMP-Sidecar.

Ich will das hier auch nicht als beste Lösung für alle Anwender verkaufen, aber die Möglichkeit muss problemlos gegeben sein und nicht als "gefährlicher Sonderweg" eingestuft werden.

In der RAW-Datei sind "frisch aus der Kamera" üblicherweise kaum Metadaten enthalten, die nachher vom Benutzer verändert werden.

Mario

QuoteEs ist schon ein Unterschied, ob bei einer winzigen Änderung eine 30MB RAW-Datei gesichert/synchronisiert wird oder ein XMP-Sidecar.

Das hört sich so an, als würde Dein Backup auf Dateibasis arbeiten. Das kann man machen, es ist aber recht zeit- und platzraubend.

Moderne Backup-Software wie Macrium Reflect (das nutze ich), Acronis TrueImage usw. arbeiten auf Sektorbasis und verwenden die Windows-Funktionen zum "Shadow Copying".
Das bedeutet, dass Macrium nur seit dem letzten Backup veränderte Sektoren sichert (512 Byte pro Sektor). Eine Veränderung einer 30 MB RAW-Datei (bspw. IMatch update der Metadaten) erzeugt vielleicht ein oder 2 KB (!) Backup-Volumen. Es wird nicht die ganze Datei gesichert, sondern nur die tatsächlich veränderten Sektoren.
Mein tägliches inkrementelles Backup-Volumen beträgt lediglich 50 bis 200 MB - und das auf einem Entwicklerrechner, auf dem jeden Tag tausende von Dateien (auch RAW-Dateien) geändert werden.

QuoteIn der RAW-Datei sind "frisch aus der Kamera" üblicherweise kaum Metadaten enthalten, die nachher vom Benutzer verändert werden.

GPS-Daten und EXIF-Daten die in Kopie in XMP vorliegen. Eine Reihe von Zeitstempeln, die Beschreibung, Copyright usw. existieren in XMP und EXIF und müssen synchron bleiben. Das gleiche gilt für GPS-Koordinaten usw.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

lbo

Quote from: Mario on January 22, 2022, 01:11:08 PM
Das hört sich so an, als würde Dein Backup auf Dateibasis arbeiten. Das kann man machen, es ist aber recht zeit- und platzraubend.

ich verwende deduplizierende Software für Backups, aber auch dateibasierende sowohl für Backups (Diversität) als auch zur Synchronisation, manchmal über limitierte Bandbreite (ja, ich kenne Synchronisatiossoftware mit Delta-Kodierung).

BTW: Auch bei einem deduplizierenden System muss die ganze Quelldatei erst mal gelesen werden, passende Blöcke gefunden usw.

Quote from: Mario on January 22, 2022, 01:11:08 PM

QuoteIn der RAW-Datei sind "frisch aus der Kamera" üblicherweise kaum Metadaten enthalten, die nachher vom Benutzer verändert werden.

GPS-Daten und EXIF-Daten die in Kopie in XMP vorliegen. Eine Reihe von Zeitstempeln, die Beschreibung, Copyright usw. existieren in XMP und EXIF und müssen synchron bleiben.

Müssen sie nicht, wenn die Software es unterstützt. Genau darum geht es.

Und es ist sinnvoll, in den RAW-Dateien möglichst keine/wenig "veränderbare" Metadaten zu halten. Eine Beschreibung würde ich z.B. nicht in eine Kamera eingeben wollen sondern erst am PC.

Mario

QuoteMüssen sie nicht, wenn die Software es unterstützt. Genau darum geht es.

Du kannst natürlich machen, was Du willst. IMatch hält aus gutem Grund und seit Version 5 (!) die Daten automatisch synchron. Das funktioniert für fast 100% aller Anwender perfekt.
Wenn Du dass nicht willst, kannst Du es abschalten. Aber Du übernimmst dann auch die Verantwortung, ich supporte das nicht.
Out-of-sync Metadaten sind eine Pest. Du solltest keine zwei Wahrheiten für die gleichen Metadaten haben.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

RobiWan

Quote from: lbo on January 22, 2022, 04:49:18 PM
Und es ist sinnvoll, in den RAW-Dateien möglichst keine/wenig "veränderbare" Metadaten zu halten.

Ich glaube bei diesem Thema gibt es kein Schwarz oder Weiß, sondern ganz viele Grautöne über die man sich einfach immer bewusst sein soll.

Hier so 2 Beispiele die ich selbst die Tage bei mir erlebt habe

1. Olympus schreibt in die RAW Dateien unsinnigerweise unter Autor, Copyright, usw alles mit 256 Zeichen. Es entsteht also so etwas wie Autor "Max Mustemann           " <- und weitere Blanks bis 256 Zeichen gefüllt sind. Das ist totaler Mist und ich will so etwas in meinen XMP Dateien nicht haben.
Ergo ich lasse es in die XMP Dateien "richtig" schreiben.
Die RAW lasse ich einfach unverändert.

2. Wie in einem Thread geschrieben, hatte ich das Problem, dass LR plötzlich und ohne erkennbaren Grund der Meinung war 22000 sind verändert und er muss diese Änderungen in die XMP Dateien schreiben.
Da hatte ich mir überlegt - OK ich lasse LR das schreiben und anschließend IMatch noch mal alles "überschreiben" in dem ich den Menüpunkt "Exiftool Zeilenprozessor" nehme und "Metadaten schreiben wähle.
Dummerweise habe ich dabei übersehen, dass IMatch an der Stelle gar nicht in eigene Datenbank schaut sondern "TagsFromFile" macht was dazu geführt hat, dass die org. Olympus Einträge aus den RAW Dateien plötzlich sich in den XMP gefunden haben.

So gesehen hat Mario schon irgendwie recht - es ist auf jedem Fall einfacher in bestimmten Situationen. Entscheiden muss es jeder selbst und eben sich bewusst dass es bei wirklichen Problemen zumindest kompliziert werden kann. (Auch wenn Mario sagt "so etwas supporte ich nicht" gehe ich zumindest davon aus, dass er versuchen wird dem Kunden zu helfen. Ob das zum Erfolg führen wird oder ob es sich herausstellt, dass es sehr lange und aufwändig sein wird und damit doch kein Support.... steht auf ganz anderem Blatt)

Schöne Grüße
Robert