[German] Optimierung der Datenbank dauert sehr lange

[Viscus]

Die Diagnose läuft in 3 Minuten durch, wenn das Datenbanksystem keine Validierung der Datenbank durchführt.

C: ist eine SSD nehme ich an?

Ja. Es ist die empfohlen die SSD. Ich habe ja nun die DB auf C kopiert und auch das Userprofil und jetzt auch die Auslagerungsdatei.

Angehängt ein Screenshot vom Process Explorer. Eigentlich sollte genau bei 14:36:55 alles stoppen und dann der Abschluss gemeldet werden. Nur fängt der Scan wieder von vorne an. Und will nie enden.
Ist im ZIP File in den Logs 20220326-logfiles3. Es sind nun über 4 Stunden gewesen, die alles gebraucht hat.

Weiter in den Anhängen die CSV Files vom Process Explorer.
01.zip ist ein Durchlauf vor dem Screenshot

Auch hier ist ein Delta zwischen Thread Exit und dann dem erneuten Scannen

14:23:49,6933524,"IMatchChromiumHelper.exe","4136","RegQueryKeySecurity","HKU\S-1-5-21-3868714175-93433372-2337235299-1004_Classes","SUCCESS",""
14:23:54,9499190,"IMatchChromiumHelper.exe","4136","Thread Exit","","SUCCESS","Thread ID: 25548, User Time: 0.0000000, Kernel Time: 0.0000000"
14:24:18,2679216,"IMatch2021x64.exe","9208","CreateFile","D:\_daten-bilder","SUCCESS","Desired Access: Read Attributes, Disposition: Open, Options: Open Reparse Point, Attributes: n/a, ShareMode: Read, Write, Delete, AllocationSize: n/a, OpenResult: Opened"
14:24:18,2679862,"IMatch2021x64.exe","9208","QueryBasicInformationFile","D:\_daten-bilder","SUCCESS","CreationTime: 16.06.2014 03:49:58, LastAccessTime: 26.03.2022 14:22:53, LastWriteTime: 27.06.2021 10:19:11, ChangeTime: 27.06.2021 10:19:11, FileAttributes: DNCI"
14:24:18,2680171,"IMatch2021x64.exe","9208","CloseFile","D:\_daten-bilder","SUCCESS",""

Dann das -02.zip mit den Daten mit dem Ausschnitt aus dem Screenshot und -03.zip gestartet kurz bevor ich abgebrochen habe.

Gibt es eine Erklärung warum der Scan sich in einem Loop befindet?
Leider ist das Logfile nicht so ausführlich als, dass der Scan der Verzeichnisse auch mitgeloggt wird.
Bitte schaue dir die Daten an. Auf meine Frage bezüglich Neuaufbau der DB hat sich leider niemand geäussert. Auch ob es hilft, wenn ich mal die Hülle ohne Daten zur Verfügung stelle.
Oder ob alles löschen hilft und dann neu einlesen?

[Mario]

CreateFile
QueryInformation
CloseFile

beschreibt einfach das IMatch die Informationen über ein Verzeichnis anfordert.
Nach dem Ende der Diagnose wird IMatch das für jedes Verzeichnis in der Datenbank tun. AUCH wenn Du die Optimierung mittels CTRL unterdrückst.
Und ca. alle fünf Minuten, wenn der Cache geleert wird. Und auch wenn IMatch Meldungen von Windows empfängt.
Das alles hat nichts mit Deinem Problem zu tun. IMatch scannt ständig Folder im Hintergrund.

Dein Problem ist der Analyseschritt, bei dem das Datenbanksystem die Datenbank auf Fehler untersucht. Wenn Du das unterdrückst: 3 Minuten. Sonst: Stunden.
Die Inegrity Check phase dauerst in Deinem Logfile 7959 Sekunden, also 2.5 Stunden oder so! Ist aber erfolgreich. Normal wären ein paar Minuten bei einer 50GB-Datenbank.
Die Analyze 6800 Sekunden.

Sowas habe ich noch nicht gesehen und ich weiß auch nicht, was ich weiter tun kann.
Die Analyse ist eine atomare Funktion der Datenbank IMatch ruft sie einfach auf und wartet, bis die Funktion zu IMatch zurückkehrt.
Wenn nicht einmal eine komplette Neuerstellung der Datenbank durch Kopie (Database > Database Tools > Compact & Optimize) hilft, liegt in Deiner Datenbank vielleicht eine Situation vor, die das Datenbanksystem in eine sehr lang dauernde Analyseschleife schickt. Sowas habe ich aber noch nie gesehen und meines Wissens auch nicht auf der Mailingliste des Datenbankherstellers gesehen.

[Viscus]

Wenn nicht einmal eine komplette Neuerstellung der Datenbank durch Kopie (Database > Database Tools > Compact & Optimize) hilft, liegt in Deiner Datenbank vielleicht eine Situation vor, die das Datenbanksystem in eine sehr lang dauernde Analyseschleife schickt. Sowas habe ich aber noch nie gesehen und meines Wissens auch nicht auf der Mailingliste des Datenbankherstellers gesehen.

Ok. Ich bin schon dran, mal den gesamten Inhalt (alle Bilder) aus der DB zu schmeissen (Natürlich eine Kopie). Mal schauen was dann passiert, ob ich diesen Effekt immer noch habe. Falls diese Schleife nicht mehr der Fall sein sollte, lese ich wieder alles neu ein und schaue mal dann ob diese Schleife wieder da ist, oder sich dies allenfalls durch den Neuaufbau in Luft auflöst. Sonst bleibt wohl nur noch der Weg mit erstellen einer neuen DB und import der Teile die möglich sind und sonst manueller Nachkonfiguriation.

[Mario]

Der Integritätstest läuft aus mir unerfindlichen Gründen bei Deiner Datenbank völlig aus dem Ruder.
Bei meiner 900,000 Dateien Testdatenbank mit 40GB dauert der Integritätstest 10 Minuten. Bei normal großen Datenbanken mit ca. 100,000 Dateien dauert der Check vielleicht eine Minute.
Bei deiner Datenbank Stunden. Ich habe das mal in das Support-Forum des Datenbankanbieters eingestellt. Bei einem Einzelfall und einer DB die 50GB gross ist, mache ich mir da aber nicht wirklich viel Hoffnung.
IMatch oder ich können hier leider nichts tun, dass ist eine Funktion des Datenbanksystems, die IMatch aufruft. Und das ich wichtig, weil nur so Defekte erkannt werden können - und das ist ja der Sinn der Diagnose.

[Viscus]

Ich habe nun mal den Test gemacht und alles rausgelöscht mit Ausnahme von 10 Bildern in der DB.

Sowohl die "Datenbankdiagnose" und "Komprimieren und Optimieren" laufen durch ohne dass es zu Problemen kommt.
Die DB ist nun auch 867MB gross.

Es macht mir den Anschein, dass Problem mit dem Loop erst ab einer bestimmten Grösse anfängt und vielleicht noch ein anderer Faktor reinspielt? Ich importierte mal wieder alle Daten neu und schaue dann erneut. Aber ich bin nicht sicher ob ich dies morgen noch fertig kriege. Sonst geht es sicher mehr als eine Woche bis ich mich wieder melden kann.

[Mario]

Die einzige Lösung, die ich sehe, wäre das ich irgendwie an die Datenbank komme um Tests durchzuführen.
Der Datenbankhersteller hat mir ein paar Tests vorgeschlagen, aber dafür brauche ich die Datenbank hier vor Ort.

Kannst Due die Datenbank irgendwo hochladen?
Normalerweise würde ich Dir vorher Anweisungen geben, wie Du die Thumbnails entfernen kannst, um die Datenbank zu schrumpfen.
Aber dann verschwindet wohl auch das Problem und wir stehen wieder am Anfang.

[sinus]

Ich habe nun mal den Test gemacht und alles rausgelöscht mit Ausnahme von 10 Bildern in der DB.

Sowohl die "Datenbankdiagnose" und "Komprimieren und Optimieren" laufen durch ohne dass es zu Problemen kommt.
Die DB ist nun auch 867MB gross.

Es macht mir den Anschein, dass Problem mit dem Loop erst ab einer bestimmten Grösse anfängt und vielleicht noch ein anderer Faktor reinspielt? Ich importierte mal wieder alle Daten neu und schaue dann erneut. Aber ich bin nicht sicher ob ich dies morgen noch fertig kriege. Sonst geht es sicher mehr als eine Woche bis ich mich wieder melden kann.

Also, wenn ich das so gemacht hätte wie Du, alles gelöscht ausser 10 Bildern und es klappt nun.
Dann würde ich jetzt nicht alle Daten neu importieren, sondern würde nur einige Ordner neu importieren, so dass dann vielleicht ca. 10 Prozent aller Daten neu drin sind.
Dann würde ich die Analysen (Diagnose/Opitmizer ...) laufen lassen und bei Erfolg wieder 10 Prozent mehr importieren.

Dann wüsste ich erstens, wieviel das jeweils auf die Zeitdauer ausmacht (Import/Analyse) und zweitens, wenn dann plötzlich das Problem auftritt, könnte man ev. besser eruieren, ob da was an den files ist (was auch immer) oder am System.

Das würde ich machen, heisst aber natürlich nicht, dass das gut ist. Wenn Dein Weg mit allen Daten importieren klappt, dann wäre das natürlich schneller und am Schluss auch besser. 

Einfach so meine Gedanken.

[Viscus]

Die einzige Lösung, die ich sehe, wäre das ich irgendwie an die Datenbank komme um Tests durchzuführen.
Der Datenbankhersteller hat mir ein paar Tests vorgeschlagen, aber dafür brauche ich die Datenbank hier vor Ort.

Kannst Due die Datenbank irgendwo hochladen?
Normalerweise würde ich Dir vorher Anweisungen geben, wie Du die Thumbnails entfernen kannst, um die Datenbank zu schrumpfen.
Aber dann verschwindet wohl auch das Problem und wir stehen wieder am Anfang.

Ich kann dir diese gerne zur Verfügung stellen. Die ganz abgespeckte Variante hat 800MB und der Reimport 4 GB und ich habe das Gefühl, dass die Probleme da schon wieder anfangen.
Was mich auch noch wundert, dass die Version fast ohne Bilder noch so gross ist. Denn eine frische DB ist viel kleiner.

Ich habe den Reimport auf eine neue DB schon wieder gestartet und mein Eindruck ist, dass es viel flüssiger geht, wobei ich da jetzt nicht gerade den gesamten vollen Bildbestand auf Import gesetzt habe.
Ich habe die Version der DB schon seit ein paar Jahren mitlaufen lassen und diese hat auch ein paar Versionssprünge von Imatch mitgemacht.
Den Link schicke ich per PN. Ich mache ein ZIP draus.

[Viscus]

Dann wüsste ich erstens, wieviel das jeweils auf die Zeitdauer ausmacht (Import/Analyse) und zweitens, wenn dann plötzlich das Problem auftritt, könnte man ev. besser eruieren, ob da was an den files ist (was auch immer) oder am System.

Auffällig ist, dass es einen Durchlauf durch alle Verzeichnisse gibt, der repetitiv durchläuft. Und das habe ich jetzt schon wenn ich einen kleineren Datenstand importiere. Vielleicht findet Mario noch einen Hinweis, dann kann ich die alte DB ev. noch nutzen falls die Ursache gefunden wird.

[Mario]

Das Problem hat nichts mit Verzeichnissen zu tun.
Es gibt ein Problem mit einem Schritt in der Datenbankanalyse, der exorbitant länger dauerst als er dürfte.
Ohne Deine Datenbank hier im Labor zu haben, kann ich nichts weiter tun.

[Mario]

Gute Nachrichten: Ich konnte das Problem hier nachvollziehen - anscheinend eine Endlosschleife im DB-System.
Ich habe auf die neueste Version des Datenbanksystems upgedatet und das Problem tritt hier nicht mehr auf. Die Diagnose läuft in 32 Minuten durch.

[Viscus]

Gute Nachrichten: Ich konnte das Problem hier nachvollziehen - anscheinend eine Endlosschleife im DB-System.
Ich habe auf die neueste Version des Datenbanksystems upgedatet und das Problem tritt hier nicht mehr auf. Die Diagnose läuft in 32 Minuten durch.

Oh cool. Das heisst mit einer neuen Version von Imatch kommt dann auch eine aktuelle Version des Datenbanksystem?
Danke für alle Bemühungen.

[Mario]

Oh cool. Das heisst mit einer neuen Version von Imatch kommt dann auch eine aktuelle Version des Datenbanksystem?

Ja. Ich teste bereits mit der neuen Version des Datenbanksystems und werde es in der nächsten IMatch-Version mit ausliefern.

Das Problem betrifft aber wirklich vermutlich nur genau Deine Datenbank. Eine vermutlich einzigartige Kombination von Inhalten und Indizes.
Ich habe mehrere gleich große und sogar doppelt so große Datenbanken (Anzahl verwalteter Dateien, nicht unbedingt doppelte Größe der Datenbankdatei auf dem Datenträger) getestet und bei allen lief die Diagnose problemlos durch, in 20 bis 60 Minuten.

[Viscus]

Danke fürs Update (Die Geduld hat sich gelohnt). Es läuft nun wieder alles durch.