KI-Lexikon · Grundlagen
Halluzination
Auch genannt: KI-Halluzination · erfundene KI-Antwort
Was ist eine Halluzination?
Anthropic, der Hersteller von Claude, beschreibt Halluzinationen als Text, der sachlich falsch ist oder nicht zum vorgegebenen Inhalt passt. Das betrifft auch die besten Modelle.
Eine falsche Antwort klingt genauso sicher wie eine richtige, ohne Zögern und ohne Warnhinweis. Typisch sind erfundene Zahlen, Paragrafen, Quellen, Produktnamen oder Öffnungszeiten.
Wie funktioniert das?
Ein Sprachmodell hat im Training gelernt, das nächste Wort vorherzusagen. Es formuliert, was wahrscheinlich passt, und hat kein Nachschlagewerk eingebaut. Fehlt eine Information, schreibt es trotzdem weiter. Heraus kommt etwas Plausibles, das nicht stimmt.
Ganz verhindern lässt sich das nicht, eindämmen schon:
- „Weiß ich nicht“ erlauben: Anthropic empfiehlt, der KI ausdrücklich zu erlauben, Unsicherheit zuzugeben.
- Erst zitieren lassen: Bei langen Dokumenten zuerst wörtliche Zitate herausziehen lassen und darauf aufbauen.
- Eigenes Wissen mitgeben: Mit RAG sucht das System passende Stellen aus deinen Unterlagen und gibt sie der KI mit.
- Quelle verlangen: Jede Angabe mit Fundstelle. Was ohne Quelle kommt, gilt als ungeprüft.
- Mensch prüft: Was rausgeht, liest vorher jemand (Human in the Loop).
Warum zählt das für deinen Betrieb?
Wer KI-Antworten ungeprüft an Kunden weitergibt, trägt das Risiko. Ein falscher Liefertermin in der Mail oder ein erfundener Paragraf im Angebot reicht für Ärger.
Beim Website-Chatbot kann es vor Gericht gehen. Das Oberlandesgericht Hamm hat am 12. Mai 2026 (Az. 4 UKl 3/25) über einen Chatbot entschieden, der erfundene Facharzttitel nannte. Das Gericht rechnete die Aussagen dem Betreiber zu. Was das für deinen Bot heißt, steht im Ratgeber zur Haftung für KI-Chatbots.
Wie setzt OsAI das ein?
OsAI baut Bots und Abläufe so, dass sie aus hinterlegtem Wissen antworten, zum Beispiel aus der Projektakte per RAG. Eine Mail an Kunden geht erst raus, wenn ein Mensch sie freigegeben hat. Fehlt eine Angabe, soll die KI das sagen, statt zu raten.
Halluzinationen erkennen und Ergebnisse prüfen ist auch Thema der KI-Schulung nach Art. 4 der KI-Verordnung (EU AI Act): ein halber Tag für bis zu 10 Personen, 890 €.
Häufige Fragen
Warum erfindet ChatGPT Quellen?
Weil ein Sprachmodell Text vorhersagt und eine Quellenangabe für das Modell ein Textmuster wie jedes andere ist. Ohne Websuche oder hinterlegte Dokumente prüft es nicht, ob es die Quelle gibt. Öffne deshalb jeden Link selbst, bevor du dich darauf berufst.
Kann man Halluzinationen ganz verhindern?
Nein, nur seltener machen. Hilfreich sind eigenes Wissen per RAG, die Erlaubnis, „Das weiß ich nicht“ zu sagen, und die Prüfung durch einen Menschen bei allem, was an Kunden geht.
Hilft RAG gegen Halluzinationen?
Ja, es macht sie seltener, schließt sie aber nicht aus. Bei RAG bekommt die KI passende Stellen aus deinen Unterlagen und kann Quellen nennen. Wie gut das klappt, hängt laut Anthropic von der Qualität dieser Wissensbasis ab: Veraltete Unterlagen bringen veraltete Antworten.
Verwandte Begriffe
Weiterlesen im Blog
Passende Leistungen
Quellen
Stand: