Null von 540: die Methodik der geprüften Titel

Ein geprüfter Entscheidungstitel ist eine Überschrift, die den Gegenstand einer Gerichtsentscheidung in einem Satz benennt und die vor der Übernahme in den Bestand zwei kalibrierte Prüfer und, in Stichproben, ein unabhängiges Modell einer anderen Familie gegen den Entscheidungstext gehalten haben. In der Datenbank von nu:legal stehen zum Stichtag 20.08.2026 genau 82.958 solcher Titel: 71.079 amtliche Titelzeilen der Gerichte und 11.879 maschinell erzeugte. Über 540 geprüfte erzeugte Titel fand die Falschheitsprüfung nicht einen einzigen falschen; eine unabhängige Lesung von 35 Titeln durch Subagenten eines anderen Modells fand dennoch einen falschen, den beide kalibrierten Prüfer mit dem Falschheitswert 0 durchgelassen hatten. Dieser Artikel beschreibt die Prüfmethodik und, wichtiger, die Stelle, an der sie an ihre eigene Grenze stößt.

Das Problem

Ein Aktenzeichen ist keine Überschrift. Der Bestand von nu:legal umfasst 556.360 Entscheidungen; ein Titel liegt für 82.958 von ihnen vor, für die übrigen nicht. Rund neun von zehn Entscheidungen im Bestand tragen damit keinen Titel, den ein Mensch lesen will. Wer maschinell Titel erzeugt, steht sofort vor der Frage, wie er verhindert, dass ein Titel etwas Falsches behauptet.

Von den 11.879 erzeugten Titeln stammen 10.837 aus dem Generatorlauf mit 120.000 Zeichen Kontextfenster, also dem Ausschnitt des Entscheidungstextes, den das Modell beim Schreiben sieht. 840 stammen aus einem älteren Lauf mit kleinerem Fenster, 200 und 2 aus zwei Varianten. Alle erzeugten Titel dieses Bestandes stammen von einem einzigen Modell, gemini-3.6-flash, in vier Konfigurationen.

Der eine Titel

Bevor die Methodik zu Wort kommt, ihr wichtigster Testfall. Bei der Vorbereitung eines Laufs über 50.000 Entscheidungen im August 2026 erzeugte der Generator zu einer Entscheidung des BVerfG zu Zeugnisbemerkungen bei Legasthenie (BVerfGE 167, 239; Aktenzeichen 1 BvR 2577/15 u.a.) diesen Titel:

Legasthenie: Vereinbarkeit von Zeugnisbemerkungen über die Nichtbewertung von
Rechtschreibleistungen im Abiturzeugnis mit Art. 3 Abs. 3 Satz 2 GG

Der Tenor derselben Entscheidung, im Prüfbericht ausdrücklich direkt gegen den gespeicherten Volltext geprüft und nicht aus einem Modellergebnis übernommen, lautet:

Die Urteile des Bundesverwaltungsgerichts ... verletzen die Beschwerdeführer
in ihrem Grundrecht aus Artikel 3 Absatz 3 Satz 2 des Grundgesetzes. Sie
werden aufgehoben.

Die amtliche Titelzeile des Gerichts zu derselben Entscheidung beginnt mit

Zur Vereinbarkeit von ...

und endet mit

... allerdings unzumutbar und damit unverhältnismäßig

Der kalibrierte Prüfer ließ den erzeugten Titel in beiden Kontextfenstern mit dem Falschheitswert 0 passieren. Seine Begründung:

Ein Richtungsfehler oder sachlicher Widerspruch liegt nicht vor.

Gefunden hat den Fehler erst eine unabhängige Lesung von 35 Titeln durch Subagenten des Modells Opus 5. Auch dieser Prüfer ist eine Maschine. Er ist aber der einzige Schritt der Kette, der nicht dieselbe technische Grundlage benutzt wie das Geprüfte: beide kalibrierten Prüfer laufen auf gemini-3.6-flash, demselben Modell, das die Titel schreibt. In den Bestand gelangt ist der Titel nie: die Entscheidung trug bereits die amtliche Titelzeile des Gerichts, und die blockiert das Schreiben eines erzeugten Titels. Der Unterschied zwischen dem erzeugten Titel und der Titelzeile des Gerichts hängt an einem einzigen Wort; darauf kommt dieser Artikel zurück.

Zwei Achsen, weil eine nicht reicht

Die naheliegende Prüfung fragt allein, ob der Titel etwas Falsches behauptet. Das reicht nicht, denn ein leerer Titel ist nie falsch. „Entscheidung des Gerichts in einer Zivilsache“ besteht jede Falschheitsprüfung und sagt nichts. Die Methodik arbeitet deshalb mit zwei Achsen, beide als Vorarbeit in zwei Prüfläufen vom August 2026 vermessen. Die Falschheitsachse bewertet jeden Titel mit einem Zahlenwert; die Berichte arbeiten mit Schwellen von 25 beziehungsweise 30 und 50, unter denen ein Titel besteht. Die Spezifitätsachse misst, wie genau der Titel den Einzelfall benennt; verlangt ist ein Wert von mindestens 30. Beide Instrumente sind referenzfrei: sie halten den Titel gegen den Entscheidungstext, ohne einen Vergleichstitel zu benötigen.

Die Trennschärfe der Spezifitätsachse wurde an 137 konstruierten Angriffstiteln gemessen, also an absichtlich ausweichenden Titeln, die die Prüfung täuschen sollen. Der AUC-Wert, ein Maß für Trennschärfe, bei dem 1,0 fehlerfreie Trennung bedeutet, liegt bei 0,998; die Schwelle weist 137 von 137 Angriffen ab. Der Preis dieser Schwelle: sie lässt 8 % der vom Gericht selbst geschriebenen Titel durchfallen (4 von 50), bei einer zweiten Ziehung 13,6 %. In der ausgelieferten Population liegen 2,3 % unter der Schwelle (5 von 220), in der älteren Population mit kleinem Fenster 7,7 % (3 von 39); von dieser älteren Population stehen noch 840 Zeilen im Bestand. Die Falschheit auf denselben 220 Zeilen liegt bei 0,5 % (1 von 220). Die Korrelation der beiden Achsen beträgt r = −0,14: es sind wirklich zwei Achsen, und sie schlagen bei verschiedenen Zeilen an. Zusammen weisen beide 2,7 % ab (6 von 220).

Ein Nebenergebnis dieser Vorarbeit überrascht: der Titel des Gerichts ist keine Obergrenze. Auf dem referenzfreien Instrument schneidet der Generator besser ab als die Gerichtstitel, gemessen an 50 gerichtsgeschriebenen Titeln mit Mittelwert 61,1 und Median 60,0 bei einem zehnten Perzentil von 40,0.

Der Nullbefund über 540 Titel

Ein weiterer Prüflauf vom August 2026 hat 540 Titel derselben Population und Generatorkonfiguration allein auf der Falschheitsachse geprüft. Mit der Schwelle 50 sind 0 von 540 falsch. Mit der Schwelle 30 sind ebenfalls 0 von 540 falsch. Der höchste Falschheitswert, der in den 540 Titeln überhaupt vorkommt, ist 0. Auf diesen Befund bezieht sich der Titel dieses Artikels.

Der Probelauf und die Wendung

Ein Probelauf über 500 Entscheidungen, ebenfalls im August 2026, sollte den Weg für 50.000 bereiten. 94,8 % der Kandidaten erzeugten einen Titel, den beide kalibrierten Prüfer annahmen; die Nachtläufe liegen bei rund 95,6 %. Eine gegnerische Nachprüfung von 100 dieser Titel im großen Fenster, also ein zweiter Prüfdurchgang mit dem ausdrücklichen Auftrag, Fehler zu finden, fand 0 falsche Titel.

Der Lauf wurde trotzdem gestoppt, aus zwei Gründen. Der erste ist Geld: ein geprüfter Titel kostet 0,0473 US-Dollar, 50.000 kosten 2.366 US-Dollar gegen eine Obergrenze von 600 US-Dollar. Die Obergrenze kauft 12.678 Titel. Der zweite Grund zählt für diesen Artikel mehr: die unabhängige Lesung von 35 Titeln durch Opus-5-Subagenten, in Stapeln zu je fünf Titeln pro Subagent, fand einen falschen. Es ist der oben zitierte Titel zu der Entscheidung BVerfGE 167, 239. Der kalibrierte Prüfer hatte genau diesen Titel mit dem Falschheitswert 0 bewertet, und zwar in beiden Kontextfenstern.

Der Fehler hängt an einem einzigen Wort. „Zur Vereinbarkeit“ benennt die Frage. Das bloße Substantiv „Vereinbarkeit“ steht dagegen an der Stelle, an der jeder Geschwistertitel dieses Stapels das Ergebnis nennt (etwa „Ablehnung ...“, „Unzulässigkeit ...“, „Erfolglosigkeit ...“), und liest sich deshalb als Antwort. Diese Antwort ist das Gegenteil des Tenors, und zwar zu genau dem Artikel des Grundgesetzes, den der Titel nennt. Bei der Eichung hatte der Prüfer 18 von 18 konstruierten Richtungsumkehrungen erkannt. Diese Form war feiner: eine Nominalisierung, die im Register des Gerichts neutral und im Register des Generators behauptend klingt, und sie kam in der Menge der Testfälle nicht vor, an der die Schwelle geeicht wurde.

Daraus folgt die Aussage, auf die es ankommt, und sie darf nicht missverstanden werden: der Rekord von null falschen Titeln gilt für das, was geschrieben wurde. Er gilt nicht für die Schleuse. In den Bestand gelangt ist der falsche Titel nur deshalb nicht, weil die Entscheidung bereits die amtliche Titelzeile des Gerichts trug und diese das Schreiben blockiert hat. Dieselbe Schleuse hätte 47.000 weitere Titel geschrieben, und den Fehler in ihrer Stichprobe haben nicht die kalibrierten Prüfer gefunden, sondern der einzige Prüfschritt, der nicht auf der Modellfamilie des Generators läuft.

Der Nebenbefund: der Leitsatz im Prompt

Der Probelauf hat eine zweite Schwachstelle offengelegt. 14,0 % der Ziehung wurden erzeugt, während der Leitsatz des Gerichts noch im Prompt stand, also in der Arbeitsanweisung samt Text, die das Modell erhält. Die Funktion, die den Leitsatz vor der Erzeugung entfernen soll, arbeitet mit einem exakten Zeichenkettenersatz, während der gespeicherte Volltext die Leerzeichen innerhalb des Leitsatzes neu umbricht. Deshalb schlägt die Entfernung fehl bei 99,6 % der BGH-Zeilen mit Leitsatz, 59,4 % der EuGH-Zeilen und 81,5 % der BPatG-Zeilen (44 von 54). Das betrifft den Nachtlauf und beide bereits geladenen Stapel. Es ist also ein Produktionsfehler und keine Eigenheit des Probelaufs.

Was die Methodik über sich selbst lernt

Eine Prüfmethodik ist nur so viel wert wie das, was sie an sich selbst entdeckt. Zwei Achsen statt einer, weil die eine Achse ausweichende Titel belohnt. Eine Schwelle, die 137 von 137 Angriffe abweist und dafür 8 % echter Gerichtstitel opfert, weil ein zu strenger Filter billiger ist als eine falsche Behauptung. Und eine Lesung von 35 Titeln durch ein Modell einer anderen Familie, die einen Fehler fand, den beide kalibrierten Prüfer übersehen hatten. Der letzte Punkt ist kein Betriebsunfall, sondern der Kern des Befundes: der einzige Prüfschritt, der den Fehler fand, war der einzige, der nicht dieselbe Modellfamilie benutzt wie der Generator. Menschlich war kein Schritt der Kette, auch der Prüfer, der den Fehler fand, ist eine Maschine. Was die Kette trägt, ist nicht ein wacheres Auge, sondern Unabhängigkeit.

Methode

Datengrundlage ist die Produktionsdatenbank von nu:legal, lesend abgefragt am Stichtag 20.08.2026. Frisch gemessen sind allein die Bestandszahlen: 71.079 amtliche Titelzeilen, 11.879 erzeugte Titel, 82.958 zusammen, die Verteilung auf die vier Generatorkonfigurationen und die Bezugsgröße von 556.360 Entscheidungen. Die Abfragen dazu stehen im Anhang.

Alle Prüfzahlen stammen aus Läufen vom August 2026 und sind für diesen Artikel nicht wiederholt worden. Sie sind in drei internen Berichten dokumentiert. ~/reports/912-report.md belegt die Vermessung der beiden Achsen: die AUC von 0,998, die 137 von 137 abgewiesenen Angriffe, die 8 % durchgefallenen Gerichtstitel, die 2,3 % unter der Schwelle, die Korrelation von r = −0,14 und die Mittelwerte der gerichtsgeschriebenen Titel. ~/reports/926-falsity-report.md belegt den Nullbefund: 0 von 540 bei beiden Schwellen, den Höchstwert 0 und die Wilson-Obergrenze von 0,71 %. ~/reports/titles-50k-report.md belegt den Probelauf: die 94,8 %, die Kosten, die 35 unabhängig gelesenen Titel (dort § 5) sowie die 14,0 % und die Ausreißerquoten der fehlgeschlagenen Leitsatzentfernung (dort § 7.1). Die wörtlichen Belege im Abschnitt „Der eine Titel“ sind unverändert aus § 5 dieses Berichts übernommen; der Tenor ist dort ausdrücklich direkt gegen den gespeicherten Volltext der Entscheidung geprüft worden. Fundstelle und Aktenzeichen der Entscheidung nennt der Bericht (BVerfGE 167, 239; 1 BvR 2577/15 u.a.), ein Entscheidungsdatum nicht; dieser Artikel nennt deshalb keines.

Gemessen wurde: die Falschheit und die Spezifität erzeugter Titel auf Stichproben, das Verhalten der Spezifitätsschwelle gegen konstruierte Angriffstitel und gegen gerichtsgeschriebene Titel sowie die Annahmequote und die Kosten eines Probelaufs. Ausdrücklich nicht gemessen wurde eine Vollerhebung über alle 11.879 erzeugten Titel.

Was diese Zahlen nicht sagen

• Alle Prüfzahlen beruhen auf Stichproben von 220, 540, 500, 100, 50, 39 und 35 Zeilen, nicht auf Vollerhebungen. Die 0 von 540 ist ein Nullbefund mit einem Konfidenzintervall, keine Garantie: das 95-Prozent-Wilson-Intervall, ein statistisches Verfahren zur Eingrenzung des wahren Anteils, reicht bis 0,71 %.
• Ein Prüfer, der dasselbe Modellhaus benutzt wie der Generator, ist kein unabhängiger Prüfer im strengen Sinn. Genau darauf zielt der Befund aus der Lesung durch die Opus-5-Subagenten.
• Die 8 % durchgefallener Gerichtstitel heißen nicht, dass diese Titel schlecht sind. Sie heißen, dass ein referenzfreies Instrument einen kurzen amtlichen Titel nicht von einem ausweichenden unterscheiden kann.
• Frisch gemessen sind allein die Bestandszahlen (71.079, 11.879, 82.958, die Modellverteilung, 556.360). Alle Prüfzahlen stammen aus den Läufen vom August 2026 und sind hier nicht wiederholt worden.
• Der Nullbefund gilt für die geschriebenen Titel, nicht für die Schleuse. Der eine falsche Titel unter den 35 unabhängig gelesenen wurde nur durch die vorhandene amtliche Titelzeile am Schreiben gehindert.

-- Woher die Titel im Bestand stammen
select origin, count(*)::int n from case_title group by 1 order by 2 desc;
-- titelzeile | 71079
-- generated  | 11879

-- Welche Modelle die erzeugten Titel geschrieben haben
select model, count(*)::int n from case_title group by 1 order by 2 desc;
-- (leer, die amtlichen Titelzeilen)      | 71079
-- titelgen-P7-w120k/gemini-3.6-flash     | 10837
-- titelgen-P7/gemini-3.6-flash           |   840
-- titelgen-P7-w120k-N1/gemini-3.6-flash  |   200
-- titelgen-P7-w120k-B50/gemini-3.6-flash |     2

-- Bezugsgroesse
select count(*)::int corpus from caselaw;
-- 556360

Zitiervorschlag

nu:legal Research, „Null von 540: die Methodik der geprüften Titel“, nu:legal Deutsches Recht, 17.09.2026, recht.nulegal.eu/forschung/titel-methodik. Nulegal GmbH.

Download

PDFHTMLMarkdown

Dieser Artikel als Datei, mit Zitiervorschlag und Quellenangabe.

Dieser Artikel wurde maschinell verfasst und vor der Veröffentlichung fachlich gegengelesen. Jede Zahl ist gegen den Bestand geprüft; die Abfragen stehen im Anhang. Der Text ist Information, keine Rechtsberatung. Nach der Veröffentlichung wird er nicht mehr verändert; Korrekturen erscheinen als datierte Hinweise.