KI-Lexikon · Bauen und verbinden

Lokales Modell

Auch genannt: Lokale KI · Selbst gehostetes Modell · Local LLM

Was ist ein lokales KI-Modell?

Wenn du ChatGPT, Claude oder Gemini nutzt, läuft das Sprachmodell auf den Rechnern des Anbieters. Deine Frage reist dorthin, die Antwort kommt zurück.

Bei einem lokalen Modell steht die KI bei dir: auf einem Rechner im Büro oder auf einem Server, den du selbst betreibst oder betreiben lässt. Alltagsbild: die eigene Kaffeemaschine statt des Cafés an der Ecke. Du bestimmst, was hineinkommt, musst sie aber auch selbst entkalken.

Wie funktioniert das?

Möglich machen das offene Modelle, die ihre Hersteller zum Herunterladen freigeben, etwa Llama, Mistral, Gemma, Qwen und DeepSeek. Ein Werkzeug wie Ollama lädt so ein Modell und startet es auf dem eigenen Rechner. Es beantwortet dann Fragen wie ein Chat-Programm, ohne dass deine Texte zu einem KI-Anbieter gehen.

Wie groß das Modell sein darf, hängt an der Hardware. Kleinere Modelle laufen auf einem guten Laptop, große brauchen einen Server mit viel Grafikspeicher.

Warum zählt das für deinen Betrieb?

Der größte Vorteil ist der Datenschutz: Kundendaten, Verträge oder Gesundheitsangaben bleiben bei dir. Das macht lokale Modelle interessant, wenn du mit sensiblen Unterlagen arbeitest, etwa im Steuerbüro, in der Praxis oder in der Hausverwaltung.

Die Grenzen sind genauso real. Die großen Cloud-Modelle sind bei schwierigen Aufgaben oft stärker als das, was auf einem eigenen Rechner läuft. Dazu kommen Anschaffung, Strom, Updates und jemand, der sich kümmert. Für viele Aufgaben ist ein Cloud-Dienst mit EU-Hosting und Vertrag zur Auftragsverarbeitung der praktischere Weg.

Wie setzt OsAI das ein?

In Kundenprojekten bevorzugt OsAI EU-Hosting oder lokal laufende Modelle, damit sensible Daten den europäischen Rechtsraum nicht verlassen. Wo US-Dienste nötig sind, kommen EU-Standardvertragsklauseln und ein Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO dazu.

Welcher Weg passt, hängt an der Aufgabe und daran, wie heikel die Daten sind. Das klärt OsAI in der KI-Beratung. Eine erste Einschätzung gibt der kostenlose KI-Daten-Check.

Häufige Fragen

Ist ein lokales KI-Modell DSGVO-konform?

Es macht vieles leichter, weil deine Daten an keinen KI-Anbieter gehen. Die DSGVO gilt trotzdem: Du brauchst einen Zweck, eine Rechtsgrundlage und Schutz vor fremdem Zugriff. Betreibt ein Dienstleister den Server für dich, brauchst du auch mit ihm einen Vertrag zur Auftragsverarbeitung. Das ist ein Überblick und kein Rechtsrat.

Sind lokale Modelle so gut wie ChatGPT oder Claude?

Bei schwierigen Aufgaben meist nicht, bei klar umrissenen oft ausreichend. Texte zusammenfassen, Angaben aus Mails herausziehen oder mit RAG Fragen zu den eigenen Unterlagen beantworten, gelingt oft auch mit kleineren Modellen. Teste mit echten Aufgaben, bevor du Hardware kaufst.

Was brauche ich, um ein KI-Modell lokal laufen zu lassen?

Einen ausreichend starken Rechner, ein Werkzeug wie Ollama und ein offenes Modell. Zum Ausprobieren reicht oft ein aktueller Laptop, für mehrere Nutzer im Betrieb braucht es einen Server und jemanden, der Updates und Sicherheit im Blick hat.

Quellen

Stand: