Was KI-Agenten von einer Rechtsdatenbank erwarten

Ein KI-Agent ist ein Programm, das eine Rechercheaufgabe selbstständig in einzelne Datenbankabfragen zerlegt und die Ergebnisse zu einer belegten Antwort zusammensetzt. Wie ein solcher Agent eine deutsche Rechtsdatenbank abfragen will, wenn man ihm ihre Schnittstelle nicht zeigt, hat nu:legal am 20. August 2026 an sechs Sprachmodellen untersucht: Jedes erhielt denselben Auftrag mit 15 echten Rechercheaufgaben und sollte daraus die Schnittstelle entwerfen, die es sich wünscht. Alle sechs Modelle nannten dieselben drei Fähigkeiten an der Spitze: deterministische Auflösung von Bezeichnern, einen echten Zitator und Normgeschichte als Daten. Ein erheblicher Teil der Deckung dafür liegt bereits im Bestand von nu:legal, darunter ein Zitationsgraph mit 2,22 Millionen Kanten von Entscheidung zu Entscheidung, 2,70 Millionen Kanten mit Randnummer und 4,60 Millionen Normzitaten.

Der Versuchsaufbau

Die Studie stellte eine bewusst offene Frage: Wie würde ein KI-Agent eine deutsche Rechtsdatenbank abfragen wollen, wenn man ihm ihre Schnittstelle nicht zeigt? Sechs Modelle bekamen denselben Auftrag ohne Vorprägung. Sie kannten weder die Schnittstelle von nu:legal noch deren Aufbau. Der Auftrag umfasste 15 echte Rechercheaufgaben, wie sie in der juristischen Praxis täglich anfallen. Zu jeder Aufgabe sollte das Modell den Aufruf entwerfen, den es sich wünscht, mit Begründung, geplanten Folgeaufrufen und den Antwortfeldern, die es benötigt. Danach sollte jedes Modell eine Rangliste der zehn wichtigsten Fähigkeiten einer solchen Schnittstelle aufstellen und die fünf größten Ärgernisse bei der Recherche mit heutigen Suchschnittstellen benennen.

Die Aufgaben stammen wörtlich aus dem Auftragstext. Einige Beispiele: „Kündigungsfrist bei Eigenbedarfskündigung - aktuelle BGH-Rechtsprechung finden“, „Schadensersatz nach Art. 82 DSGVO - welche Beträge sprechen deutsche Gerichte zu?“, „Im Volkszählungsurteil die Passage zur informationellen Selbstbestimmung finden (mit Randnummer)“, „Die ‚Emmely‘-Entscheidung zum Bagatelldiebstahl finden (Name bekannt, Aktenzeichen nicht)“, „Alle Entscheidungen, die BVerfGE 65, 1 zitieren, sortiert nach Relevanz“, „Mindestabstand von Windkraftanlagen zur Wohnbebauung in Bayern (Landesrecht)“ und „Ist § 219a StGB noch in Kraft? Historie und Aufhebung“. Die genannten Normen und Fundstellen sind hier also Bestandteile der Aufgabenstellung, keine rechtlichen Aussagen dieses Artikels.

Die sechs Arme der Studie: Claude Fable 5, Claude Opus 5, Claude Sonnet 5, Claude Haiku 4.5, Gemini 3.6 Flash und Claude Opus 4.8. Ein siebter Versuch mit Sonnet 4.6 wurde wegen eines Zeitüberschreitungsfehlers verworfen; dieses Modell gehörte nicht zum angeforderten Satz.

Eine Einschränkung gehört an den Anfang, nicht in eine Fußnote: Als maschinenlesbare Rohantwort liegen im Repo nur zwei der sechs Arme, nämlich Opus 4.8 und Gemini 3.6 Flash. Die übrigen vier Arme sind in der Synthese zusammengefasst; ihre Rohausgaben liegen im Sitzungsprotokoll, nicht als Belegdateien. Wo dieser Artikel Aussagen einzelner Modelle aus diesen vier Armen wiedergibt, stützt er sich auf die Synthese und ist insoweit nicht auf Dateiebene nachprüfbar.

Worin sich alle sechs Modelle einig waren

Nach Übereinstimmung gerankt ergab die Auswertung zehn Wünsche:

1. Deterministische Auflösung von Bezeichnern mit ehrlichem Nichtgefunden. Ein Endpunkt, der Aktenzeichen, ECLI, Fundstelle (etwa „BVerfGE 65, 1“ aus Aufgabe 11), populären Namen (etwa „Emmely“ oder „Volkszählungsurteil“ aus den Aufgaben 6 und 7) und Normzitat auflöst, normalisiert und exakt. Und der ausdrücklich „nicht gefunden“ samt Grund sagt (nicht ergangen, unveröffentlicht, nicht im Bestand), statt einen ungefähren Treffer zu liefern. Von jedem Modell genannt. Nach der Synthese bezeichnen Opus 5 und Fable 5 den ungefähren Treffer beide wörtlich als den größten einzelnen Treiber erfundener Zitate.
2. Ein echter Zitator. Eingehende und ausgehende Zitate als Endpunkt, mit der zitierenden Stelle im Wortlaut, der verwendeten Fundstelle, einer Behandlungsmarke (gefolgt, abgegrenzt, aufgegeben) und einem Relevanzrang. Alle sechs Modelle.
3. Normgeschichte als Daten. Textstand zu einem Stichtag, Fassungshistorie mit Geltungszeiträumen, Absatzdiffs mit Nennung des Änderungsgesetzes und der Fundstelle im Bundesgesetzblatt, ausdrücklicher Status in Kraft oder aufgehoben. Alle sechs; getrieben haben das vor allem die Aufgaben zum Gebäudeenergiegesetz und zur Frage, ob § 219a StGB noch in Kraft ist.
4. Passagensuche mit Randnummernanker. Suche innerhalb einer Entscheidung, die Wortlaut, Randnummer, amtliche Seitenzahl und einen fertigen Zitierstring zurückgibt. Fünf von sechs. Opus 5 wünscht zusätzlich einen Endpunkt, der ein vorgelegtes Zitat verifiziert.
5. Hybride Suche mit harten Filtern. Semantische Suche plus Stichwortsuche, wobei Gericht, Datum, zitierte Norm, Land und Dokumenttyp Bedingungen sind, die der Ranker nicht überstimmen darf. Alle sechs.
6. Autoritätssignale. Eine Leitentscheidungsmarke, ein zitiergewichteter Rangmodus, ein Wichtigkeitswert mit Begründung. Alle sechs.
7. Serverseitige Aggregation. Die Aufgabe „Schadensersatz nach Art. 82 DSGVO - welche Beträge sprechen deutsche Gerichte zu?“ als Gruppierung mit Median und Quantilen über extrahierte Felder beantworten, statt zweihundert Volltexte auszuliefern. Fünf von sechs.
8. Ehrliche Angaben zur Abdeckung. Welche Gerichte und Zeiträume der Bestand hält, wann er zuletzt aktualisiert wurde, und die Unterscheidung zwischen „kein Treffer“ und „außerhalb der Abdeckung“. Vier von sechs, und ausdrücklich als das Merkmal gegen Halluzination bezeichnet.
9. Ergonomie für Agenten. Feldauswahl, Token-Budget je Antwort, Abschnitts- und Inhaltsverzeichnisendpunkte, Stapelabruf, stabile Cursor mit Gesamtzahl, stabile Kennungen.
10. Änderungsfeeds. Veröffentlichungsdatum getrennt vom Entscheidungsdatum, Cursor je Rechtsgebiet, nach Wichtigkeit filterbar, optional dauerhafte Beobachtungsaufträge.

Auffällig ist weniger die Liste selbst als ihre Spitze. Die drei erstplatzierten Fähigkeiten sind keine Suchfunktionen, sondern Verlässlichkeitsfunktionen: exakte Auflösung statt ungefährer Treffer, nachprüfbare Zitatbeziehungen, datierter Normtext. Ein Agent, der Antworten belegen soll, braucht zuerst eine Datenbank, die nicht rät.

Die Ärgernisse

Die fünf größten Ärgernisse wurden je Modell frei formuliert. Belegbar auf Dateiebene sind sie für die beiden im Repo gesicherten Arme; deren Rohantworten sind englischsprachig, die Zitate stehen deshalb im Original.

Opus 4.8 nennt unter anderem: keine stabilen Zitationsdaten, sodass Fallbeziehungen von Hand rekonstruiert werden müssen; fehlende Stichtagsfassungen, sodass aktueller und historischer Normtext nicht zu trennen sind; Stichwortsuche ohne Filter nach Norm, Gericht und Datum; keine Absatzanker, im Wortlaut: „No paragraph-level anchors, making it impossible to cite exact Randnummern reliably“; und uneinheitliche Metadaten bei ECLI, Aktenzeichen und populären Namen.

Gemini 3.6 Flash nennt unter anderem: undurchsichtige reine Stichwortsuche mit Bool-Syntax ohne semantisches Verständnis; fehlende oder wegbereinigte Randnummern, im Wortlaut: „Missing, unstandardized, or strip-cleaned margin numbers (Randnummern), making exact legal LLM grounding impossible“; uneinheitliche Formate der Entscheidungskennungen; die fehlende Angabe, ob eine gefundene Instanzentscheidung in der Rechtsmittelinstanz aufgehoben oder geändert wurde; und keine Möglichkeit, historische Gesetzesfassungen programmatisch abzufragen.

Beide Listen beschreiben denselben Kern aus zwei Richtungen. Was oben als Wunsch erscheint, taucht unten als Ärgernis wieder auf: Randnummern, Kennungen, Fassungen, Zitatbeziehungen.

Abgleich mit dem Bestand von nu:legal

Die Studie wurde gegen den Stand der Datenbank vom 20. August 2026 abgeglichen. Das Ergebnis fällt in zwei Hälften: Die Daten sind zu großen Teilen vorhanden, die Auslieferung über die Schnittstelle ist es nicht.

Die Schlussfolgerung der Studie lautet entsprechend: Der Vorsprung liegt bereits in der Datenbank, im Zitationsgraphen, in den Fassungen und in der deterministischen Auflösung. Was fehlt, ist überwiegend Auslieferungsarbeit und keine neue Datenwissenschaft. Zwei Ausnahmen sind echte Vorhaben: die Ausrichtung der Passagenanker auf die Randnummern des Gerichts und die Behandlungsmarken, die eine Klassifikationsaufgabe sind.

Methode

Datengrundlage ist eine Befragung von sechs Sprachmodellen am 20. August 2026: Claude Fable 5, Claude Opus 5, Claude Sonnet 5, Claude Haiku 4.5, Gemini 3.6 Flash und Claude Opus 4.8. Jedes Modell erhielt denselben englischsprachigen Auftrag mit 15 deutschsprachigen Rechercheaufgaben und ohne jede Information über die Schnittstelle von nu:legal. Verlangt war je Aufgabe der gewünschte Aufruf mit Begründung, Folgeaufrufen und benötigten Antwortfeldern, danach eine Rangliste von zehn Fähigkeiten und fünf Ärgernisse, als kompaktes JSON. Ein siebter Versuch mit Sonnet 4.6 scheiterte an einem Zeitüberschreitungsfehler und wurde verworfen; das Modell gehörte nicht zum angeforderten Satz.

Gemessen wurde die Übereinstimmung der sechs Antworten untereinander, zusammengefasst als Rangliste von zehn Punkten, sowie deren Abgleich gegen den Stand der Datenbank vom selben Tag. Nicht gemessen wurde das tatsächliche Abfrageverhalten von Agenten im Betrieb, die Umsetzbarkeit der gewünschten Endpunkte oder deren Kosten. Als maschinenlesbare Rohantworten sind zwei der sechs Arme im Repo gesichert (Opus 4.8 und Gemini 3.6 Flash); die übrigen vier liegen als Zusammenfassung in der Synthese und als Rohausgabe nur im Sitzungsprotokoll vor.

Was diese Zahlen nicht sagen

Sechs Modelle sind keine Stichprobe von Nutzern. Die Studie sagt, was Sprachmodelle sich wünschen, wenn man sie fragt, nicht was Agenten in der Praxis tatsächlich abrufen.

Die Einigkeit der sechs Modelle ist zudem ein schwächeres Argument, als es die Einigkeit unabhängiger Befragter wäre. Die Modelle wurden auf ähnlichen Texten trainiert; ihre Übereinstimmung kann schlicht daher rühren. Wer aus der Konvergenz auf ein reales Bedürfnis schließt, unterstellt eine Unabhängigkeit, die hier nicht vorliegt.

Vier der sechs Arme sind nicht auf Dateiebene nachprüfbar, sondern nur über die Synthese. Einzelne Zuschreibungen an diese vier Modelle stehen und fallen mit der Sorgfalt der Zusammenfassung.

Die Modelle wurden nach einer Wunschschnittstelle gefragt. Ein gewünschter Endpunkt ist kein Nachweis, dass er sich bauen lässt oder dass er sich rechnet. Vier der zehn Punkte nennen Fähigkeiten, die bei jedem Anbieter juristischer Datenbanken teuer sind; über Kosten sagt die Studie nichts.

Schließlich beschreibt der Abgleich den Stand eines einzigen Tages. Die Spalte „vorhanden“ ist eine Momentaufnahme vom 20. August 2026, keine Zusage.

python3 - <<'PY'
import json, re
t = open('drafts/agent-api-study/gemini-3.6-flash.json', encoding='utf-8').read()
d = json.loads(re.sub(r'```json|```', '', t).strip())
print(len(d['tasks']), len(d['wishlist']), len(d['frustrations']))
PY
# 15 10 5