Lokale LLM Modelle unter Windows

T

the_muck

Level-2
Beiträge
358
Reaktionspunkte
86
Zuviel Werbung?
-> Hier kostenlos registrieren
Aktuell teste ich auf einem Ryzen Ai MAX+ 395 (128gb) lokale LLM Modelle. Bespielen tu ich sie aktuell mit LM Studio & Open WebUI (Docker). Da ich den Eimer auch als Desktop nutze, noch unter Windows... qwen & gpt versionen sind super schnell. Andere haben wohl noch keine AMD Unterstützung. Gerade ärgert mich nach Windows updates der Vulkan Treiber, da wird alles in den RAM und nicht VRAM geladen und die GPU nicht mehr benutzt. Vielleicht muss ich noch mal Ollama testen, ROCm läuft. Aber die OCR Tools mögen das irgendwie nicht. Die Erfahrungen sind durchwachsen, wir testen OCR Modelle zur Texterkennung auf Bildern. Manche Modelle schmieren noch ab, was aber gut geht, mit Python und "KI OCR" Modellen die Generierten Texte an die Lokale LLM schicken. Mit passenden Prompts kommt dann eine JSON die man dann "Maschinen lesbar" nutzen kann. Aber da ist auch etwas die Schwierigkeit, die KI dazu zubringen nicht von den Vorgaben ab zu weichen :D.
Mit Texten in PDFs ist es auch so eine Sache, das funktioniert leider alles noch nicht sooo gut wie Online bei den Großen Modellen.

Das Ganze läuft leider nur nebenbei wenn Zeit ist :D. Wer spielt denn noch in dem Bereich rum?
 
Ich hab damit unter Linux gespielt. Ich glaub da ist die Hardwareunterstützung in der Zwischenzeit in dem Bereich besser als unter Windows.
Mit den lokalen LLMs hast du Recht. Da liegt Licht und Schatten nah beisammen. Kein Vergleich zu online. Aber das ist ja auch nicht unbedingt der Sinn der lokalen LLMs.
Die Beispiele die man online findet lassen sich schon recht einfach nachbauen. Bei eigenen Anpassungen wird’s aber schnell komplex. Also schnell mal nebenbei … eher nicht.
 
Zurück
Oben