Lokale LLM Modelle unter Windows

Zuviel Werbung?
-> Hier kostenlos registrieren
Also in Sachen Codesys und Hardware nah sind die Modell ja wirklich sehr bescheiden. Einmal sollten sie mir ein Programm schreiben für einen Encoder und hat da wild versucht Überläufe zu korrigieren, was bei der Anwendung nicht nötig ist. Das andere mal sollten sie mir eine Variablen Tabelle machen und hat da Wild die Adressierungen überlagert :(. Cloude hat das schonmal besser gemacht als ChatGPT. Aber das ist alles nicht so robust wie das was ich in C oder Python bis jetzt gemacht hab :D
Auch wenn ich absolut kein Freund von Elon Musk bin, so muss ich doch sagen, dass grok bei Fragestellungen rund ums Programmieren meist deutlich besser ist als ChatGPT. Bei den Dingen, die ich ausprobiert hab, lieferte ChatGPT zwar fast immer einen guten Start, aber daraus eine eine lauffähige Lösung zu bekommen war meist nicht möglich. Grok geht "gefühlt" etwas pragmatischer an Lösungen heran.
Claude hab ich noch nicht getestet.
 
Bezüglich datenschutz und online ki- modelle: verwendet jemand aws bedrock?

Da kann man ja theoretisch die volle ki- power nutzen (zb lokal über eine api) und die daten sollten trotzdem sicher sein.

Zumindest lt homepage werden alle relevanten regeln/normen usw eingehalten, damit die daten nicht die eigene aws- „cloud“ verlassen.

Hat da jemand erfahrung damit?
 
Zuviel Werbung?
-> Hier kostenlos registrieren
werden alle relevanten regeln/normen usw eingehalten, damit die daten nicht die eigene aws- „cloud“ verlassen.
Hat da jemand erfahrung damit?
nein 🤷

Ich würd davon ausgehen, dass Daten immer und überall abgegriffen werden, es sei denn, Dein eigener Server/PC/Laptop/Telefon... hat/hatte nie Zugriff zum Internet... und der Praktikant nimmt auch nichts mit nach Hause...
 
Zuletzt bearbeitet:
CLOUD Act ist schon ein gutes Stichwort.
Die ganzen US-Tec-Konzerne versuchen ja gerade alles Mögliche um den zu umgehen. Da werden im Hintergrund Gesellschaften gegründet, Firmensitze nach Europa umgemeldet, ...
Die IT der Schwarz-Gruppe (Lidl, Kaufland, ...) hat ein Abkommen mit Google getroffen. Google liefert Software, Schwarz-IT setzt die eigene Authentifizierung davor und betreibt es in eigenen Rechenzentren. Ähnlich macht es die Telekom mit Microsoft.
Mittlerweile verbieten viel Firmen die Nutzung der "klassischen" aws-Cloud oder haben strikte Richtlinien geschaffen welche Anwendungen noch in aws genutzt werden dürfen.
 
CLOUD Act ist schon ein gutes Stichwort.
Die ganzen US-Tec-Konzerne versuchen ja gerade alles Mögliche um den zu umgehen.
ja, CLOUD Act "regelt" den Zugriff der staatlichen Stellen, also die erste Seite der Medaille.
Die zweite Seite, inwieweit können die Tech-Konzerne selber auf die Daten der "Kunden" zugreifen und für welchen Zweck tun die das...
 
Zuviel Werbung?
-> Hier kostenlos registrieren
ja, CLOUD Act "regelt" den Zugriff der staatlichen Stellen, also die erste Seite der Medaille.
Die zweite Seite, inwieweit können die Tech-Konzerne selber auf die Daten der "Kunden" zugreifen und für welchen Zweck tun die das...
Ich hab vor kurzem ein Interview gelesen mit dem Chef der IT der Schwarz-Gruppe.
Die gehen weg von Microsoft-Office und wechseln zum selbst gehosteten Google Workspace.
Betrifft wohl rund 250.000 Endgeräte.
 
ja, CLOUD Act "regelt" den Zugriff der staatlichen Stellen, also die erste Seite der Medaille.
Die zweite Seite, inwieweit können die Tech-Konzerne selber auf die Daten der "Kunden" zugreifen und für welchen Zweck tun die das...
Um Daten zu verkaufen und da werden die AMIS skrupellos sein,
wenn man sieht wie einfache Daten, wie Standortdaten verkauft
werden.
Was sonst noch so mit euren Daten passiert, der
Spion in der Hosentasche.
Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.
 
Ich hab vor kurzem ein Interview gelesen mit dem Chef der IT der Schwarz-Gruppe.
Die gehen weg von Microsoft-Office und wechseln zum selbst gehosteten Google Workspace.
Betrifft wohl rund 250.000 Endgeräte.
Ich habe heute Morgen in einem Report über chinesische KI gehört, dass viele europäische Großkonzerne mittlerweile ausschließlich chinesische KI Modelle nutzen - gehostet auf europäischen Servern. Primär Qwen.
 
Ich habe heute Morgen in einem Report über chinesische KI gehört, dass viele europäische Großkonzerne mittlerweile ausschließlich chinesische KI Modelle nutzen - gehostet auf europäischen Servern. Primär Qwen.
Vor einiger Zeit mal ne nette Aussage zu qwen gelesen:
"qwen lässt die amerikanische AI-Blase platzen"
Technisch gehören die meisten Modelle zur Spitzenklasse.
Die Bedenken beim Datenschutz begegnet qwen (Alibaba) mit einem sehr hohen Open Source Anteil.
Es lässt sich zudem problemlos selbst hosten.
Kostenpflichtig wird es anscheinend erst, wenn 100 Millionen User pro Monat überschritten werden.

Ich denk mal, dass es die amerikanischen Big Tech Konzerne zunehmend schwer haben werden.
 
Zuviel Werbung?
-> Hier kostenlos registrieren
Vor einiger Zeit mal ne nette Aussage zu qwen gelesen:
"qwen lässt die amerikanische AI-Blase platzen"
Technisch gehören die meisten Modelle zur Spitzenklasse.
Die Bedenken beim Datenschutz begegnet qwen (Alibaba) mit einem sehr hohen Open Source Anteil.
Es lässt sich zudem problemlos selbst hosten.
Kostenpflichtig wird es anscheinend erst, wenn 100 Millionen User pro Monat überschritten werden.

Ich denk mal, dass es die amerikanischen Big Tech Konzerne zunehmend schwer haben werden.
Vor allen Dingen wenn man bedenkt, dass es beim Datenschutz fast egal ist. Die USA sind schon immer die Datenkrake (Google hatte diesen Ruf von Anfang an / AI Act etc.) und scheren sich nicht um Nutzerrechte. Man schafft sich die LLMs ja nicht an, um mit ihnen kritisch über chinesische Innenpolitik zu diskutieren.
Aber das mit der Blase wurde Deepseek auch beim Launch nachgesagt.
 
Und wie schneidet es in der Qualität ab?
Du kannst es ja selber online testen ;). Ich finde es schwer da aussagen zu treffen weil die "Ideen" was an Lokaler Leistung möglich ist und was man erwarten kann sehr abweichen ;).

https://chat.qwen.ai/ und dann auf das 27b Modell umstellen.

Ich sag es mal so... es ist natürlich "nichts" im Gegensatz zu Sonnet 4.6 mit Roo in VS Studio, wo ja Orchestriert und die Modi gewechselt werden. Aber für kleinkram, also Listen bearbeiten, Texte aus PDF Extrahieren und in eine CSV Wandeln (Modbus Register aus dem Handbuch), kleinere Code Schnipsel und so taugt es IMHO sehr. Auch Texte überarbeiten, Emails, oder Übersetzungen alles wunderbar. Kleine Excelformeln anpassen, Listen Strukturieren und zusammenschieben... also wir nutzen es sehr als "dirty little helper". Jetzt habe ich eine Software geschrieben wo eine Industrie Kamera über eine SPS getriggert wird, ein Programm holt sich das Bild, das Bild wird aufbereitet und mit einem Prompt zum Lokalen Qwen modell geschickt... Wir sind alle mehr als überrascht wie gut die Analysen sind die gemacht werden sollen, und pfeilen gerade am Prompt. Mit dem alten modell 3.5 waren die Ergebnisse nicht annähren so gut.

Ein witziger Test aus dem Forum ich meine von @Blockmove, ungetestet hier rein kopiert.
Aufgabe:
Schreibe eine deterministische, rechenzeitarme CODESYS-Funktion (Structured Text) zur Berechnung der aktuellen Sonnenposition (Azimut und Höhenwinkel) basierend auf geografischer Lage und Uhrzeit. Der Code soll direkt in einer industriellen SPS lauffähig sein, keine externen APIs oder OS-Abhängigkeiten nutzen und nach dem NOAA-Solar-Calculator-Algorithmus (vereinfacht für eingebettete Systeme) implementiert sein.

Code:
FUNCTION CalcSolarPosition : BOOL
{
  // Berechnet Sonnenposition nach NOAA-Algorithmus (vereinfacht für SPS)
  // Laufzeit: < 80 µs auf typischer ARM-Cortex-SPS
  // Deterministisch: Keine Schleifen, keine dynamische Speicherverwaltung, keine OS-Calls
}
VAR_INPUT
    iYear           : INT;    // Jahr (z.B. 2026)
    iMonth          : INT;    // Monat (1..12)
    iDay            : INT;    // Tag (1..31)
    iHour           : INT;    // Stunde (0..23) Ortszeit
    iMinute         : INT;    // Minute (0..59) Ortszeit
    iSecond         : INT;    // Sekunde (0..59) Ortszeit
    fTimeZoneOffset : REAL;   // UTC-Abweichung in Stunden (z.B. 1.0 für MEZ, 2.0 für MESZ)
    fLatitude       : REAL;   // Breitengrad, +Nord / -Süd  (z.B. 52.5200)
    fLongitude      : REAL;   // Längengrad, +Ost / -West   (z.B. 13.4050)
END_VAR

VAR_OUTPUT
    fAzimuth        : REAL;   // Grad: 0°=Nord, 90°=Ost, 180°=Süd, 270°=West
    fElevation      : REAL;   // Grad: 90°=Zenit, >0.0 = Sonne über Horizont
END_VAR

VAR
    PI              : REAL := 3.141592653589793;
    DEG2RAD         : REAL;
    RAD2DEG         : REAL;
    
    iYearAdj        : INT;
    iMonthAdj       : INT;
    A               : INT;
    B               : INT;
    JD              : REAL;
    JC              : REAL;
    L0              : REAL;
    M               : REAL;
    Mrad            : REAL;
    e               : REAL;
    C               : REAL;
    lambda          : REAL;
    Omega           : REAL;
    lambda_app      : REAL;
    eps0            : REAL;
    delta           : REAL;
    DeclRad         : REAL;
    LatRad          : REAL;
    y_tan           : REAL;
    EqTime          : REAL;
    StdMeridian     : REAL;
    TST             : REAL;
    HA              : REAL;
    HARad           : REAL;
    cosZenith       : REAL;
    ZenithRad       : REAL;
    x_az            : REAL;
    y_az            : REAL;
    AzimuthRad      : REAL;
END_VAR

BEGIN
    // Konstanten & Umrechnungsfaktoren
    DEG2RAD := PI / 180.0;
    RAD2DEG := 180.0 / PI;

    // 1. Julianischer Tag (JD) berechnen
    IF iMonth <= 2 THEN
        iYearAdj := iYear - 1;
        iMonthAdj := iMonth + 12;
    ELSE
        iYearAdj := iYear;
        iMonthAdj := iMonth;
    END_IF;
    A := INT(iYearAdj / 100);
    B := 2 - A + INT(A / 4);
    JD := INT(365.25 * (REAL(iYearAdj) + 4716.0)) + INT(30.6001 * (REAL(iMonthAdj) + 1.0)) + REAL(iDay) + REAL(B) - 1524.5;
    JD := JD + (REAL(iHour) + REAL(iMinute)/60.0 + REAL(iSecond)/3600.0) / 24.0 - fTimeZoneOffset / 24.0;

    // 2. Julianisches Jahrhundert
    JC := (JD - 2451545.0) / 36525.0;

    // 3. Geometrische Sonnenparameter
    L0 := 280.46646 + JC * (36000.76983 + JC * 0.0003032);
    L0 := L0 - 360.0 * INT(L0 / 360.0); // Normieren auf [0, 360)
    
    M := 357.52911 + JC * (35999.05029 - JC * 0.0001537);
    M := M - 360.0 * INT(M / 360.0);
    Mrad := M * DEG2RAD;
    
    e := 0.016708634 - JC * (0.000042037 + JC * 0.0000001267);

    // Gleichung des Zentrums (C)
    C := (1.914602 - JC * (0.004817 + JC * 0.000014)) * SIN(Mrad) +
         (0.019993 - JC * 0.000101) * SIN(2.0 * Mrad) +
         0.000289 * SIN(3.0 * Mrad);

    lambda := L0 + C;
    Omega := 125.04 - 1934.136 * JC;
    lambda_app := lambda - 0.00569 - 0.00478 * SIN(Omega * DEG2RAD);

    // 4. Schiefe der Ekliptik & Deklination
    eps0 := 23.0 + (26.0 + (21.448 - JC * (46.8150 + JC * (0.00059 - JC * 0.001813))) / 60.0) / 60.0;
    delta := RAD2DEG * ASIN(SIN(eps0 * DEG2RAD) * SIN(lambda_app * DEG2RAD));
    DeclRad := delta * DEG2RAD;
    LatRad := fLatitude * DEG2RAD;

    // 5. Zeitgleichung (Equation of Time) in Minuten
    y_tan := TAN(eps0 / 2.0 * DEG2RAD);
    y_tan := y_tan * y_tan;
    EqTime := 4.0 * RAD2DEG * (y_tan * SIN(2.0 * L0 * DEG2RAD) - 2.0 * e * SIN(Mrad) +
              4.0 * e * y_tan * SIN(Mrad) * COS(2.0 * L0 * DEG2RAD) - 0.5 * y_tan * y_tan * SIN(4.0 * L0 * DEG2RAD) -
              1.25 * e * e * SIN(2.0 * Mrad));

    // 6. Wahre Sonnenzeit & Stundenwinkel
    StdMeridian := fTimeZoneOffset * 15.0;
    TST := (REAL(iHour) * 60.0 + REAL(iMinute) + REAL(iSecond) / 60.0) + EqTime + (fLongitude - StdMeridian) * 4.0;
    HA := (TST - 720.0) / 4.0; // 720 min = 12:00 Uhr Sonnenmittag
    IF HA > 180.0 THEN HA := HA - 360.0; ELSIF HA < -180.0 THEN HA := HA + 360.0; END_IF;
    HARad := HA * DEG2RAD;

    // 7. Höhenwinkel (Elevation) über Zenit
    cosZenith := SIN(LatRad) * SIN(DeclRad) + COS(LatRad) * COS(DeclRad) * COS(HARad);
    // Clampen gegen Domänenfehler bei ASIN/ACOS
    IF cosZenith > 1.0 THEN cosZenith := 1.0;
    ELSIF cosZenith < -1.0 THEN cosZenith := -1.0;
    END_IF;
    ZenithRad := ACOS(cosZenith);
    fElevation := 90.0 - (ZenithRad * RAD2DEG);

    // 8. Azimut (ATAN2 für korrekte Quadranten)
    x_az := -COS(DeclRad) * SIN(HARad);
    y_az := COS(LatRad) * SIN(DeclRad) - SIN(LatRad) * COS(DeclRad) * COS(HARad);
    AzimuthRad := ATAN2(x_az, y_az);
    fAzimuth := AzimuthRad * RAD2DEG;
    IF fAzimuth < 0.0 THEN fAzimuth := fAzimuth + 360.0; END_IF;

    CalcSolarPosition := TRUE;
END_FUNCTION
 
Zuviel Werbung?
-> Hier kostenlos registrieren
Bei qwen-Online sind die Antwortzeiten ziemlich stark schwankend.
Ich glaube das liegt an der internen Verdrahtung bei Qwen :D. Wir hören den Lüfter im Serverraum vom 395+ oft, bei für uns "kleinen Aufgaben". Und jetzt bei der Bildanalyse passiert nichts, nach 18s haben wir Aktuell ein Ergebnis :D. Bei 3.5 hat es 2min gedauert... Sooo richtig habe ich da kein Schuh drin was Kompliziert ist für das Modell :D.
 
Zurück
Oben