RAG vs. ChatGPT: Was quellenbasierte KI anders macht
ChatGPT & Co. suchen heute im Web und verlinken Quellen. Erfundene Urteile sind seltener geworden, Fehler gibt es weiterhin. Was eine KI mit amtlichen Texten, geltender Fassung und genauer Fundstelle anders macht – und woran Sie eine gute Antwort erkennen.
Orlando Kahanek · · Aktualisiert:
Kurz gesagt: Allgemeine KI-Assistenten wie ChatGPT suchen heute im Web und verlinken ihre Quellen. Völlig erfundene Antworten sind bei einfachen Rechtsfragen seltener geworden. Fehlerfrei sind die Assistenten trotzdem nicht, und auch spezialisierte Rechts-KI irrt. Der Unterschied liegt darin, woher die Quellen stammen und wie genau sich eine Aussage nachprüfen lässt: Ein Rechtskorpus mit amtlichen Texten in der geltenden Fassung erlaubt Fundstellen bis auf Artikel und Absatz.
Wie alles begann: erfundene Urteile vor Gericht
Am 22. Juni 2023 sanktionierte ein New Yorker Bundesgericht zwei Anwälte und ihre Kanzlei mit 5'000 US-Dollar. Sie hatten in einem Schriftsatz sechs Gerichtsentscheide zitiert, die ChatGPT erfunden hatte (Mata v. Avianca, S.D.N.Y.). Der Fall wurde zum Mahnbeispiel für die ganze Branche. Er zeigt das Grundproblem: Ein Sprachmodell ohne Quellenzugriff erzeugt Text nach Wahrscheinlichkeit, nicht nach Aktenlage.
Wie gross das Problem damals war, hat ein Team der Stanford University gemessen. Bei überprüfbaren Fragen zu Entscheiden amerikanischer Bundesgerichte lagen die Modelle von 2023 in 69 % (GPT-3.5), 72 % (PaLM 2) und 88 % (Llama 2) der Fälle falsch (Dahl et al., Journal of Legal Analysis 2024). Diese Modelle arbeiteten ohne Websuche und ohne Quellen.
Was sich seither geändert hat
ChatGPT, Claude, Gemini und Perplexity können heute im Web suchen und zitieren ihre Quellen mit Link. Technisch ist das selbst eine Form von «Retrieval-Augmented Generation» (RAG): Das Modell sucht zuerst und antwortet dann auf Grundlage der gefundenen Seiten. Bei einfachen Fragen sind die Grundaussagen dadurch oft richtig.
Die Fehler verschwinden aber nicht, sie verschieben sich:
- Die Quelle existiert, sagt aber nicht das Behauptete. In einer zweiten Stanford-Studie lagen auch spezialisierte Rechtstools mit eigener Datenbank in 17 % (Lexis+ AI) bis 33 % (Westlaw AI-Assisted Research) der Fälle falsch, oft mit echten, aber unpassenden Belegen (Magesh et al., Journal of Empirical Legal Studies 2025).
- Veraltete Fassungen: Die Websuche findet auch ältere Ratgeber und überholte Gesetzestexte.
- Feine Unterschiede: Fristen in Sonderfällen, nichtig oder bloss anfechtbar, Bundesrecht oder kantonales Recht. Gerade hier entscheiden Details über den Ausgang.
Beide Studien betreffen amerikanisches Recht. Vergleichbare veröffentlichte Messungen zum Schweizer Recht sind uns nicht bekannt.
Was RAG ist – und worauf es ankommt
RAG (Retrieval-Augmented Generation) verbindet zwei Schritte:
- Retrieval (Quellensuche): Vor der Antwort durchsucht das System einen Korpus nach den einschlägigen Quellen. Die Suche erfolgt semantisch, also nach Bedeutung und nicht nur nach Stichwörtern.
- Generation (Antwort): Das Sprachmodell erhält die gefundenen Quellen und formuliert die Antwort auf ihrer Grundlage, mit Verweis auf die Fundstelle.
Entscheidend ist der Korpus. Ein allgemeiner Assistent durchsucht das offene Web. Eine juristische RAG-Anwendung durchsucht amtliche Gesetzestexte, Rechtsprechung und Fachliteratur.
Beispiel: Die Frage «Kann mein Vermieter mir kündigen, wenn ich zwei Monatsmieten nicht bezahlt habe?» führt im Rechtskorpus direkt zu Art. 257d OR (Zahlungsrückstand des Mieters), zu Art. 266l OR (Form der Kündigung) und zur einschlägigen Rechtsprechung.
Websuche oder Rechtskorpus: der Vergleich
| Kriterium | Allgemeiner Assistent mit Websuche | RAG auf einem Rechtskorpus |
|---|---|---|
| Quellen | Webseiten aller Art: Behörden, Ratgeber, Foren | Amtliche Gesetzestexte, Rechtsprechung, Kommentare |
| Fassung | Je nach gefundener Seite, auch veraltet | Geltende Fassung des Gesetzestexts |
| Fundstelle | Meist ein Link auf eine Seite | Artikel, Absatz und Buchstabe, mit Link zur amtlichen Quelle |
| Kantonales Recht | Soweit es im Web gut auffindbar ist | Gesetzessammlungen der Kantone im Korpus |
| Fehler | Seltener als ohne Websuche, aber vorhanden | Seltener als ohne Quellen, aber vorhanden |
Die letzte Zeile ist die wichtigste: Keine KI ist fehlerfrei. Quellen zu prüfen bleibt Pflicht. Eine genaue Fundstelle macht das Prüfen nur schneller.
Woran Sie eine gute Antwort erkennen
Ein Beispiel aus dem Arbeitsrecht: «Darf ein Arbeitgeber in der Probezeit fristlos kündigen?»
Eine gute Antwort trennt zwei Dinge. In der Probezeit kann das Arbeitsverhältnis jederzeit mit einer Frist von sieben Tagen gekündigt werden (Art. 335b Abs. 1 OR). Eine fristlose Kündigung ist aber auch in der Probezeit nur aus wichtigem Grund zulässig (Art. 337 OR).
Prüfen Sie bei jeder KI-Antwort:
- Fundstelle: Werden Artikel und Absatz genannt, und steht dort wirklich, was behauptet wird?
- Fassung: Gilt der zitierte Text heute noch?
- Ebene: Bundesrecht oder kantonales Recht? Bei Verfahren, Steuern, Bauvorhaben und Behörden entscheidet oft der Kanton.
- Rechtsfolge: Nichtig oder anfechtbar? Mit oder ohne Frist?
- Rechtsprechung: Werden Entscheide mit Nummer genannt, die sich nachschlagen lassen?
Was ein Rechtskorpus in der Schweiz leisten muss
Mehrsprachigkeit
Die Schweiz hat drei Amtssprachen, und jede Sprachfassung eines Bundesgesetzes ist gleichermassen verbindlich. Ein Rechtskorpus kann denselben Artikel in der Sprache der Frage zitieren:
- DE: Obligationenrecht (OR)
- FR: Code des obligations (CO)
- IT: Codice delle obbligazioni (CO)
Geltende Fassung
Gesetze ändern sich laufend. Ein Rechtskorpus arbeitet mit dem Wortlaut, der heute gilt, statt mit dem, was zufällig auf einer Webseite steht.
Föderalismus
Die 26 Kantone haben eigene Gesetze und eigene Gerichte. Eine Frage zum Baurecht in Zürich braucht das Zürcher Recht, eine zum Steuerrecht im Tessin das Tessiner Recht. Ein Korpus mit den kantonalen Gesetzessammlungen kann beides gezielt einbeziehen.
Grenzen und Verantwortung
RAG-basierte Systeme ersetzen keine Anwältin und keinen Anwalt. Sie beschleunigen die Recherche und machen Quellen leichter überprüfbar. Wichtig:
- Immer Quellen prüfen: Die Fundstelle ist der Ausgangspunkt der Prüfung, nicht ihr Ersatz.
- Keine Subsumtion auf Knopfdruck: Die rechtliche Würdigung des Einzelfalls bleibt Aufgabe einer Fachperson.
- Lücken sind möglich: Sehr spezielle Rechtsgebiete und die neuesten Entscheide können im Korpus fehlen.
Fazit
Die Frage lautet heute nicht mehr «KI mit oder ohne Quellen», sondern: welche Quellen, in welcher Fassung und wie genau belegt. Allgemeine Assistenten mit Websuche sind für einen ersten Überblick nützlich geworden. Für die juristische Arbeit zählen amtliche Texte in der geltenden Fassung, Fundstellen bis auf Artikel und Absatz und die eigene Prüfung.
Quellen
- Mata v. Avianca, Inc., No. 1:22-cv-01461 (S.D.N.Y.), Sanktionsentscheid vom 22. Juni 2023: Übersicht (Wikipedia)
- Dahl, Magesh, Suzgun, Ho: Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models, Journal of Legal Analysis 16 (2024): academic.oup.com
- Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Journal of Empirical Legal Studies (2025): onlinelibrary.wiley.com
- Obligationenrecht (SR 220), geltende Fassung: fedlex.admin.ch
Dieser Artikel wurde vom RechtsKI-Team verfasst und im Oktober 2026 überarbeitet. RechtsKI nutzt RAG mit dem Bundesrecht, dem kantonalen Recht aller 26 Kantone, Rechtsprechung und Kommentaren als Quellenkorpus.
Tags: RAGChatGPTHalluzinationSchweizer RechtBGERechtsrecherche