[GERMAN] Meldung "AutoTagger - Dateien mit Problemen"

[wolboe]

Hallo,
scheinbar stehe ich hier wie die oft zitierte "Kuh vorm neuen Tor" und komme nicht weiter.
Egal, ob ich OpenAI (API-Schlüssel ist vorhanden) oder Ollama benutze -(Screenshots angehängt) - ich erhalte immer die Meldung "AutoTagger - Dateien mit Problemen". 

Hello,
I seem to be standing here like the often quoted 'cow in front of the new gate' and can't get any further, no matter whether I use OpenAI (API key is available) or Ollama - (screenshots attached) - I always get the message 'AutoTagger - files with problems'. 
Greetings
Wolfgang

[sinus]

Leider kann ich nicht helfen. 
But LLaVA 13b geht bei mir nicht, da ist, denke ich, mein PC zu schwach. 
Ich verwende, glaube ich LLaVA 7 b, weil ich zu Hause bin, sehe ich es nicht.

[Mario]

Die Logdatei enthält die Fehlermeldungen der AI. Die brauchen wir.

[wolboe]

Die Logdatei enthält die Fehlermeldungen der AI. Die brauchen wir.

Debug oder normale Version?

[wolboe]

Das "neue Tor hat sich ein wenig geöffnet" - Ollama funktioniert jetzt mit LLaVA 7 b (Danke für Deinen Hinweis, Markus) und nachdem ich zusätzlich die Wartezeit erhöht habe.
OpenAI zeigt weiterhin die Meldung.
Logdatei angehängt.

Gute Nacht!

The 'new gate has opened a little' - Ollama is now working after I increased the wait time.
OpenAI still shows the message.
Log file attached.

Good night!

[sinus]

Mario wird das bestimmt gut analysieren können.
Es scheint auch mit der Quote zu tun zu haben, weil man bei bestimmten Modellen nur eine bestimmte Anzahl von Aufrufen machen kann.

Das mit den Models ist mir auch immer noch nicht klar.
Für Leute wie mich ist vieles bei KI noch ein Rätsel. Zb versuchte ich Mistral runterzuladen, puh, so kompliziert, auch die Hilfe und auch der KI-bot, ich habe es gelassen.

Ich für mich setze LLAvA 7b ein, weil das auf der IMatch-Hilfe super beschrieben ist (ink. downloaden von Ollama), weil es local funktioniert und weil es recht gut ist.
Aber ich bin eh überzeugt, dass es in einigen Monaten ein besseres Modell gibt und deshalb bleibe ich mal dabei.

Aber ich teste das einfach damit, und verwende dabei die sehr guten 3 AI-Tags, die Mario eingesetzt hat.
Nach meinem Verständnis tangieren die die normalen tags nicht und so kann ich nichts kaputt machen. Zudem wird dieser Text bei neuen Versuchen immer wieder überschrieben, so dass man super testen kann.

Anbei noch meine Einstellungen.

Weiterhin alles Gute, Du bekommst das bestimmt hin.

[Mario]

OpenAI sagt:

'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.';

Wie in der Hilfe beschrieben (Rate Limit) hat OpenAI ein striktes Rate Limit in den ersten Tagen eines bezahlen Zugriffs. 3 Prompts pro Minute, aber das kann schwanken. Normalerweise handhabt AutoTagger das und hält die unter Rate Limits in der AutoTagger-Konfiguration  eingetragenen Werte ein.

Bei Dir hat OpenAI komplett zugemacht. Ist das ein bezahltes Konto?

Das "neue Tor hat sich ein wenig geöffnet" - Ollama funktioniert jetzt mit LLaVA 7 b (Danke für Deinen Hinweis, Markus) und nachdem ich zusätzlich die Wartezeit erhöht habe.

Wenn 7b funktioniert, aber die Antworten länger als 5 Sekunden dauern, ist die Grafikkarte überfordert oder es ist weniger als 8 GB VRAM (Speicher auf der Grafikkarte) verbaut. Ollama muss dann Teile des Models im normalen RAM halten, und das macht alles 10 Mal langsamer.

Lokale AI braucht eine kräftige Grafikkarte.

[Mario]

Das mit den Models ist mir auch immer noch nicht klar.

Ein Modell ist das was rauskommt, wenn OpenAI, Mistral oder Meta eine AI monatelang trainieren.
Je nachdem, wie das Model trainiert wurde, und mit welchen Daten, kann es nachher mathematische Probleme lösen, beim Programmieren helfen, sich mit Dir unterhalten oder den Inhalt von Bildern analysieren.

Software wie Ollama oder LMStudio können solche Modelle laden und "ausführen" (Inferenz).

Mit speziellen Techniken können die großen Modelle, wie sie auf den Servern von OpenAI oder Meta laufen, so verkleinert werden, dass sie auch auf kräftigen Grafikkarten lokal laufen. Dabei geht ein Teil Präzision und "Intelligenz" verloren, was aber je nach Einsatzzweck irrelevant ist.

Meta (LLama) und andere Firmen/Forscher machen solche Modelle frei verfügbar (Danke!) und das erlaubt uns normalen Leuten, moderne AI auf unseren Computern laufen zu lassen, z.B. das LLaVA-Modell oder Meta's LLama Vision in IMatch mit Ollama.

Die Modelle von OpenAI und Mistral sind sehr viel größer und können mehr. Allerdings benötigen diese Modelle extrem teure Grafikkarten und ein Rechenzentrum drumherum. Glücklicherweise ist es sehr preiswert für uns, diese Power zu mieten.

Das große Modelle mehr könne, zeigt sich beispielsweise, wenn man Antworten in anderen Sprachen als Englisch haben möchte. Mistral ist dabei sehr gut. Durch das Verkleinern der Modelle für den lokalen Einsatz geht Mehrsprachigkeit oftmals verloren.

Die AI-Forschung arbeitet an all diesen Problemen. Modelle verkleinern oder spezialisieren. Es auch für normale Leute möglich machen, Modelle anzupassen (fine-tuning) usw. Wenn das verfügbar ist, könntest Du ein Model an einem Haufen Deiner Bilder trainieren (also wie Du Motive verschlagwortest und beschreibst) und die AI macht das dann automatisch genauso für den Rest und alle neuen Bilder.

Es wird auch neue Prozessoren und NPUs für PCs geben, die auf AI getrimmt sind. Der neue AI Max chip von AMD verwendet beispielsweise nur eine Sorte Hauptspeicher für Prozessor und Grafikkare/NPU (wie Apple). Dadurch stehen nicht 8 oder 12 GB RAM für AI-Modelle zur Verfügung, sondern 32, 64 oder mehr. Und das bedeutet, wie können größere Modelle lokal ausführen, die noch besser sind.

Aufregende Zeiten.

Zb versuchte ich Mistral runterzuladen, puh, so kompliziert, a

Du kannst Mistral nicht runterladen. Du eröffnest ein Konto, legst eine Bezahlmethode fest und bekommst einen API-Key, den Du in AutoTagger einträgst. Dann hast Du Zugriff auf das Model von Mistral, und das ist richtig gut.

[sinus]

Danke Mario, für die sehr guten Ausführungen. 
Man lernt immer dazu, und Deine Help-Seiten sind ja echt sehr gut, auch die Videos. 

[wolboe]

Ist das ein bezahltes Konto?

Nein!

Mein AI-Nadelöhr ist damit sicher die Grafikkarte (PC von 2017 - war "damals" u. a. mit SSD und 32GM RAM gut ausgestattet)

Habe aktuell durch diese Hardware keine Probleme mit iMatch.

Dank für Deinen immer hervorragenden Support.

Wolfgang

[Mario]

Wenn Du 10€ bei OpenAI hinterlegst und die automatische Erneuerung abschaltest, hast Du volle Kostenkontrolle. Und mit 10€ kannst Du 10,000 oder mehr Bilder verschlagworten. Für lokale AI ist alles unter einer NVIDIA 2070 Super (8 GB) nicht wirklich geeignet. Eine 500€ 4060Ti mit 16GB VRAM ist schon recht gut (ich habe so eine). Die 4060 mit 8GB auf meinem Laptop funktioniert auch gut mit dem LLaVA 7b, kann aber weder 13b noch LLama Vision in vernünftiger Geschwindigkeit - nicht genug Speicher. VRAM ist entscheidend. Passt das Model nicht in den VRAM, wirds 10x langsamer.

Für 500 kannst Du aber jahrelang Bilder mit OpenAI oder Mistral verschlagworten und beschreiben lassen.

[sinus]

Für lokale AI ist alles unter einer NVIDIA 2070 Super (8 GB) nicht wirklich geeignet. Eine 500€ 4060Ti mit 16GB VRAM ist schon recht gut (ich habe so eine).  

Ich habe die NVIDIA GeForce RTX 2060 Super, aus meiner Sicht, was ich bis jetzt gesehen habe, mit LLAvA 7b ist das für mich längst noch genug schnell. 

Aber klar, schneller ist meist besser. 

[Mario]

Die 2060 hat auch 8GB RAM, und da passt LLaVA 7b komplett rein. Je nach Prompt Antwortzeiten zwischen 3 und 10 Sekunden? Die 2070 Super war die einfach älteste Karte (> 5 Jahre?) die ich testen konnte.

[sinus]

Genau, hast Recht mit der Karte.
Antwortzeiten zwischen 3 und 7 Sekunden, so wie ich das sehe.
Für mich persönlich genug. 

[Mario]

Ist doch OK, Du must ja nicht warten, weil IMatch das im Hintergrund macht. Irgendwann ist es fertig.

Wenn OpenAI voll ausgelastet ist, lassen die sich mit den Antworten auch mal 3 oder mehr Sekunden Zeit!
Allerdings kann IMatch bei OpenAI mehrere Prompts gleichzeitig laufen lassen, das geht mit Ollama / Lokaler AI noch nicht.