Import Metadata of all pics into attributes?

Started by Buster, November 17, 2013, 05:34:09 PM

Previous topic - Next topic

Buster

Is ist possible to import Metadata of all files at one go into an attributes set?
I created a set containing all tags I usually need and would like to have all my pics (200.000) imported - drag and drop won't work. :):)
Database will have all time to do its work.
---
Best wishes,
Reiner

Mario

What would be the sense in duplicating all metadata again in the Attribute feature? The database will grow a lot and become a bit slower, most likely. And since you can access metadata in all features you can access Attributes as well, I don't see a big advantage. Plus, you have to keep the Attributes and metadata in synch manually, which is an open end...


This can be done with a script, of course. Check out the Import Metadata into Attributes plug-in script. You find this script in the Import & Export panel. Drag a folder, files, categories etc. to that module and follow the instructions.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

Buster

Oh nein, dann habe ich mich falsch ausgedrückt. Nicht alle Metadaten. Mein Set enthält den Dateinamen, Erstellungsdatum, Keywords, Beschreibung und den Fotografen, mehr nicht - alles andere kann ich ja bei Bedarf finden.
Nur kann ich halt nicht 200000 files per drag and drop in das Script-Panel ziehen. Ich wollte wissen, ob ich das Script manuell starten kann, um die drei Variablen und zwei Tags bei allen Files in die Attribute zu schreiben. So habe ich es in IM3 immer gemacht und habe eigentlich nur über 'text in properties' nach bestimmten Bildern gesucht. Dass dieser Vorgang viele Stunden dauern wird, ist mir bewusst - aber die Nacht ist lang. :)
---
Best wishes,
Reiner

Mario

QuoteNur kann ich halt nicht 200000 files per drag and drop in das Script-Panel ziehen.

Warum nicht? Gibt es eine Fehlermeldung?

Das Script wurde als Import & Export plug-in konzipiert. Es hat einen Fallback wenn es direkt gestartet wird und arbeitet dann mit der aktuellen Auswahl im Dateifenster.
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

Buster

Ich habe nicht gewagt, 200000 files im Dateifenster zu zeigen. Ich mache es jetzt step by step über die Timeline. Klappt prima beim Fernsehen. :):)
---
Best wishes,
Reiner

Mario

200,000 files is a lot, but it should work. Just give it a try.
Then Ctrl+A, and drag and drop the the Import & Export module.
Will be a great stress test for the script as well.

Note: Even attempting to manage 200,000 files will break most other DAM solutions, even the 10,000 US$ + systems which require their own hardware...   
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

Buster

Nothing like this with IM5. I sometimes have to wait a bit, see a white screen, but everything I want to do works fine - even with this amount of files.  You really did  a good job!!
I had started using the time line, 50000 files are already treated.  I don't want to start a new with all files.  Eight years are left.  :-) :-)
---
Best wishes,
Reiner

Buster

I recognized that there is no sense in using attributes like I planned. After having 50000 files treated I had to start my notebook again (not due to IM5). When I started IM5 I was asked whether I wanted to load the attributes (round about 235000) - this lasted 20 min.
For all my pictures you can multiply it by five. :(
Where is the difference to the properties in IM3? There I had all information I needed for nearly 450000 files loaded within five minutes.
---
Best wishes,
Reiner

Mario

The "Warning" message IMatch displays is a left-over from an early test. It is shown when there are more than 200,000 attributes in one set - the message can be ignored and has been removed for the next build.

IMatch only loads the Attributes for the currently selected files in the file window. If you have selected 1000 files, IMatch loads the attributes for the 1000 files in order to present the "Merged" view in the Attribute Panel. But that takes almost no time, especially not 20 minutes.

If you have 100,000 files selected, IMatch needs to load 100,000 * number of attributes per file, which can be a lot.

Can you give me some more numbers to work with?
And a log file, because this will tell us how long loading the attributes took (in Debug mode, please).

If your computer has shut-down while IMatch was running, IMatch should have asked you to run a diagnosis? Did you do that?
-- Mario
IMatch Developer
Forum Administrator
http://www.photools.com  -  Contact & Support - Follow me on 𝕏 - Like photools.com on Facebook

Buster

That shut-down was by purpose, and I had closed IM5 before. So no diagnosis had been necessary. I had killed the set, but now I have created a new one and started import of all 200220 files. I am Looping forward to seeing the result and will tell you. :)
---
Best wishes,
Reiner

Buster

#10
Hi Mario, das muss ich auf deutsch machen, sorry.  Auf einen Schlag  klappt das mit 200000 Bildern nicht. Irgendwann wird der Import extrem langsam, dann kommt eine Fehlermeldung, dass z. B. das exif-date nicht gelesen werden kann. Gleiches passiert, wenn ich Häppchen für Häppchen importiere. 20000 files sind kein Problem (ca. 30 min),  bei der zweiten Gruppe ist dann Schluss.  Neustart der Datenbank, und es geht weiter. 
Aber: ich habe jetzt,  während ich am Pad schreibe, eine einzige Datei der gerads importierten Bilder angeklickt, um mir die Attribute anzuschauen - der Ladevorgang dauert mittlerweile zehn Minuten.  In den Attributen ist Einzeldarstellung aktiviert. Irgendetwas stimmt also noch nicht.  Ich möchte den Vorgang jetzt nicht abbrechen und werde meine Hunde lüften.  Soll ich anschließend IM5 schließen und Dir die Logdatei schicken?
Jetzt ist der Ladevorgang beendet, allerdings kann ich kein anderes Bild anklicken.  Im Thumbfenster befinden sich 43 Bilder.  Ich kann dort überhaupt nichts mehr machen, als wenn. IM5 sich aufgehängt hätte. Das ist aber nicht der Fall, denn auf dem zweiten Monitor kann ich zwischen den Panelen Kategorien, Schlüsselwörtern und Attributen hin und her schalten,  ein Wechsel zwischen Metadaten und Filterpanel geht allerdings nicht.  Die Maus ist dort ohne Funktion.  Seltsam.  Auch beenden kann ich IM5 nicht mehr.  Das Menü lässt sich nicht anklicken. 
Es geht witzig weiter : über Ctrl G konnte ich zu einer anderen Kategorie wechseln.  Sobald ich mir ein Attribut zeigen lasse, friert alles ein.  Ich kann zwar mit dem Mausrad scrollen, aber nichts mehr anklicken.  Das sah nach einem gewaltsamen Ende aus, allerdings half ein Wechsel in ein anderes Programm. Das Problem lässt sich reproduzieren: Sobald ich mir die Attribute für ein Bild anzeigen lassen will, friert alles ein, ohne dass IM5 sich aufhängt. Wechsele ich in eine andere Applikation, kann ich anschließend wieder arbeiten - bis ich mir die Attribute anzeigen lassen will. :)

Ergänzung: Die Sache wird immer seltsamer: Obwohl IM5 sich definitiv nicht aufgehängt hat, bekomme ich einen Crash-Report. Ich wollte den Dumpfile ebenfalls dranhängen, aber das sind gepackt 193 MB. Sobald ich ihn in mein Downloadverzeichnis geschickt habe, gibt es einen Downloadlink.

[attachment deleted by admin]
---
Best wishes,
Reiner

Buster

---
Best wishes,
Reiner