Ein Webindex ist kein Bestand: drei Messreihen zur juristischen Suche

Die Trefferquote answered@5 ist der Anteil der Suchanfragen, bei denen unter den ersten fünf Treffern eine brauchbare Antwort steht. An 119 echten Suchanfragen erreicht die Suche von nu:legal einen Wert von 0,857, Vertex AI Search über einen Export desselben Bestandes 0,773 und eine auf den Webindex der eigenen Domain eingeschränkte Google-Suche 0,319. Der letzte Wert sagt nichts über die Suchqualität von Google: Er misst, wie wenig der Webindex von einer damals jungen Fachseite kannte. Alle Zahlen stammen aus Messungen vom 26. und 27. Juli 2026 und wurden für diesen Artikel nicht neu erhoben.

Ein Vergleich, der nur zur Hälfte einer ist

Gemessen wurden drei Systeme, und nur zwei davon sind miteinander vergleichbar. Das erste ist Google CSE, eine Google-Suche, die auf den Webindex unserer eigenen Domain eingeschränkt wurde. Sie findet nur, was Google von dieser Seite zum Messzeitpunkt indexiert hatte, und die Seite war damals neu. Diese Messung beantwortet also die Frage, wie gut der Webindex eine junge Fachseite abdeckt, nicht die Frage, wie gut Google suchen kann. Wer aus den CSE-Zahlen einen Befund über die Websuche von Google abliest, hat die Messanordnung missverstanden.

Das zweite System ist Vertex AI Search, die Suchtechnik von Google, aber betrieben über einen Export unseres eigenen Bestandes: 584.465 Dokumente, davon 100.001 Normen und 484.464 Entscheidungen. Das ist der faire Vergleich, denn hier sehen beide Systeme, Vertex und die eigene Suche von nu:legal auf der Produktionsumgebung, dieselben Dokumente. Das dritte System ist eben diese eigene Suche.

Wie groß der Unterschied zwischen Indexabdeckung und Bestand ist, zeigt die zweite Messreihe am deutlichsten: Von 116 Rechercheaufgaben zu Leitentscheidungen liefert die auf den Webindex eingeschränkte Google-Suche bei 74 überhaupt kein Ergebnis. Bei den 42 Anfragen, die überhaupt Treffer zurückgeben, liegt der Median bei zwei Treffern je Anfrage. Ein Index, der ein Dokument nicht enthält, kann es nicht finden, gleichgültig wie gut sein Ranking wäre. Das ist der eigentliche Befund dieser Messreihe, und er handelt vom Index, nicht vom Suchverfahren.

Messreihe 1: der organische Prüfsatz

Der organische Prüfsatz besteht aus 119 echten Suchanfragen. Ob unter den ersten fünf Treffern eine Antwort steht, hat ein Sprachmodell bewertet: Gemini 2.5 Pro auf Vertex, bei Temperatur 0, mit einer Gegenprüfung desselben Laufs bei Temperatur 0,7. Die Übereinstimmung der beiden Bewertungsläufe lag bei 0,899 im CSE-Lauf und 0,920 im Vertex-Lauf.

Neben answered@5 stehen zwei weitere übliche Kennzahlen: p@5 ist der Anteil relevanter Dokumente unter den ersten fünf Treffern, ndcg@10 bewertet zusätzlich, ob die relevanten Treffer weit oben stehen. Die Leitkennzahl dieses Artikels bleibt answered@5, weil sie der Nutzungssituation am nächsten kommt: Wer sucht, liest die ersten fünf Treffer und will dort eine Antwort finden.

Drei Dinge fallen auf. Erstens beantwortet die eigene Suche von nu:legal mit 0,857 den größten Teil der Anfragen und lässt keine einzige der 119 Anfragen ohne Treffer. Zweitens erreicht Vertex AI Search ohne jede juristische Anpassung 0,773 auf demselben Bestand, mit nur einer ergebnislosen Anfrage. Eine Allzwecksuchmaschine ist auf einem juristischen Korpus also keineswegs chancenlos, sobald sie den Korpus tatsächlich sieht. Drittens liegt nu:legal bei ndcg@10 mit 0,728 unter dem Vertex-Wert von 0,834: Die eigene Suche beantwortet mehr Anfragen, sortiert die Trefferliste in dieser Kennzahl aber nicht besser.

Nach Anfragetyp: wer weiß, wonach er sucht, wird gefunden

Die 119 Anfragen verteilen sich auf fünf Typen. answered@5 im Vergleich zwischen CSE und Vertex:

Bei Zitaten und Fundstellen erreicht Vertex 0,903, die indexbeschränkte CSE-Messung 0,161. Bei Laienfragen in ganzen Sätzen fällt Vertex auf 0,591. Das ist das inhaltlich wichtigste Muster der ganzen Studie: Wer präzise weiß, wonach er sucht, also eine Fundstelle oder ein Zitat eingibt, wird auf einem vollständigen Bestand sehr zuverlässig bedient. Wer sein Problem in eigenen Worten beschreibt, deutlich schlechter. Genau diese Lücke ist der Auftrag an eine juristische Suche, denn die Laienfrage ist der Normalfall dessen, der die Fundstelle noch nicht kennt.

Die beiden kleinsten Gruppen, Aktenzeichen mit n = 4 und Tippfehler mit n = 2, sind bei dieser Stichprobengröße nicht interpretierbar und werden hier nur der Vollständigkeit halber ausgewiesen.

Messreihe 2: 116 Rechercheaufgaben zu Leitentscheidungen

Die zweite Messreihe kommt ohne Bewerter aus. Zu 116 Rechercheaufgaben ist jeweils eine Musterlösung hinterlegt, gemessen wird, ob die richtige Entscheidung im Trefferfeld auftaucht. R@10 bezeichnet dabei den Anteil der Aufgaben, bei denen die gesuchte Entscheidung unter den ersten zehn Treffern steht, R@5 und R@20 entsprechend.

Für Google CSE wiederholt sich hier der Abdeckungsbefund: 74 der 116 Anfragen bleiben ganz ohne Ergebnis, der Wert von 0,069 ändert sich zwischen Rang 10 und Rang 20 nicht mehr. Interessant ist der Vergleich der beiden Systeme, die denselben Bestand sehen. Vertex gewinnt auf den ersten zehn Rängen mit 0,552 gegen 0,517. nu:legal gewinnt in der Tiefe mit 0,647 gegen 0,621 bei zwanzig Rängen.

Bemerkenswert ist, dass die beiden Systeme verschiedene Entscheidungen finden: 24 der gesuchten Leitentscheidungen findet nur Vertex, 20 nur die Suche von nu:legal, 32 findet keines von beiden. Zusammengenommen kämen beide Systeme auf 72,4 %. Die beiden Suchverfahren sind also keine austauschbaren Varianten desselben Ergebnisses, sondern haben unterschiedliche Stärkenprofile, und ihre Vereinigung wäre besser als jedes für sich.

Messreihe 3: 2.941 zurückgehaltene Entscheidungsfragen

In einer dritten, deutlich größeren Reihe wurde Vertex AI Search allein gegen 2.941 zurückgehaltene Entscheidungsfragen gemessen. Die Werte: R@5 0,224, R@10 0,275, R@20 0,315. Bei 40 der 2.941 Anfragen gab es Abruffehler. Diese Reihe zeigt, dass die Ergebnisse der kleineren Prüfsätze keine Obergrenze für die Schwierigkeit darstellen: Auf einem breiten Fragenkorpus findet auch die Allzwecksuchmaschine über dem vollständigen Bestand nur bei knapp einem Drittel der Anfragen die richtige Entscheidung unter den ersten zwanzig Treffern.

Was aus den Zahlen folgt

Erstens: Ein Webindex ist kein Bestand. Die auf die eigene Domain eingeschränkte Google-Suche beantwortet 0,319 des organischen Prüfsatzes und findet bei 74 von 116 Rechercheaufgaben gar nichts, weil der Index die Seite nicht kannte, nicht weil das Suchverfahren versagt. Wer juristische Inhalte auffindbar machen will, muss zuerst dafür sorgen, dass sie überhaupt in einem Index liegen, gegen den gesucht wird.

Zweitens: Auf demselben Bestand ist eine Allzwecksuchmaschine stark. Vertex kommt ohne jede juristische Anpassung auf 0,773 im organischen Mix und schlägt die spezialisierte Suche auf den ersten zehn Rängen der Leitentscheidungsaufgaben. Der Vorsprung einer Fachsuche ist real (0,857 gegen 0,773, null gegen eine ergebnislose Anfrage, 0,647 gegen 0,621 in der Tiefe), aber er ist kein Selbstläufer und muss laufend verteidigt werden.

Drittens: Der Unterschied liegt in der Art der Anfrage. Zwischen 0,903 bei Fundstellen und 0,591 bei Laienfragen liegt bei Vertex der Abstand zwischen dem Nutzer, der die Antwort schon fast kennt, und dem, der sie erst sucht. Die Aufgabe juristischer Suche ist nicht, Fundstellen noch schneller zu bestätigen, sondern die in eigenen Worten gestellte Frage auf die richtige Norm und die richtige Entscheidung abzubilden.

Methode

Datengrundlage sind die im Repository abgelegten Laufdateien unter benchmark/google-baseline/ und benchmark/organic-probe/ mit Messungen vom 26. und 27. Juli 2026. Die Zahlen wurden für diesen Artikel nicht neu erhoben; sie beschreiben den Stand dieser beiden Tage.

Gemessen wurden drei Systeme. Google CSE, eine auf den Webindex der eigenen Domain eingeschränkte Google-Suche, wurde über die öffentliche Oberfläche der Suchmaschine abgefragt, weil die Programmierschnittstelle für neue Kunden geschlossen ist. Vertex AI Search lief über einen Export des Bestandes von nu:legal mit 584.465 Dokumenten (100.001 Normen, 484.464 Entscheidungen). Die eigene Suche von nu:legal wurde auf der Produktionsumgebung gemessen.

Der organische Prüfsatz umfasst 119 echte Suchanfragen. Ob eine Antwort unter den ersten fünf Treffern steht, hat Gemini 2.5 Pro auf Vertex bei Temperatur 0 bewertet, mit einer Gegenprüfung bei Temperatur 0,7; die Übereinstimmung beider Läufe betrug 0,899 (CSE-Lauf) und 0,920 (Vertex-Lauf). Die Reihe der 116 Rechercheaufgaben zu Leitentscheidungen prüft ohne Bewerter gegen hinterlegte Musterlösungen. Die dritte Reihe misst Vertex gegen 2.941 zurückgehaltene Entscheidungsfragen.

Ausdrücklich nicht gemessen wurde die allgemeine Websuche von Google im Vergleich zu nu:legal. Die CSE-Messung misst Indexabdeckung, der Systemvergleich läuft ausschließlich zwischen Vertex AI Search und der Suche von nu:legal über denselben Bestand.

Was diese Zahlen nicht sagen

Sie sagen nicht, dass Google schlecht juristisch sucht. Die CSE-Messung war auf den Webindex einer damals neuen Domain eingeschränkt; ihr Ergebnis von 0,319 und die 74 ergebnislosen Rechercheaufgaben beschreiben die Abdeckung dieses Index, nicht die Qualität des Suchverfahrens. Der faire Vergleich mit Google-Technik ist Vertex AI Search über denselben Bestand, und dort liegt der Wert bei 0,773.

Sie sagen nicht, dass die Werte heute gelten. Die Messungen stammen vom 26. und 27. Juli 2026. Die Suche von nu:legal hat sich seither geändert; dieser Artikel behauptet keine aktuelle Gültigkeit der Werte.

Sie sagen wenig über kleine Untergruppen. Der organische Prüfsatz umfasst 119 Anfragen, die Leitentscheidungsreihe 116. Unterschiede in Untergruppen mit n = 2 oder n = 4 sind bei dieser Größe bedeutungslos und werden hier nicht ausgedeutet.

Sie sagen nicht, dass die Bewertung richtig ist, sondern nur, dass sie stabil ist. Der Bewerter des organischen Prüfsatzes ist ein Sprachmodell. Die Übereinstimmung von 0,899 und 0,920 zwischen zwei Läufen misst die Stabilität der Bewertung, nicht ihre Richtigkeit.

Sie beruhen bei Google CSE auf einer schwächeren Messung. Abgefragt wurde die öffentliche Oberfläche, nicht eine Programmierschnittstelle, weil diese für neue Kunden geschlossen ist.

Sie vergleichen Vertex nicht mit der laufenden Datenbank, sondern mit einem Export. Einem Export fehlen Aktualisierungen, Verknüpfungen und Filter der laufenden Datenbank.

python3 -c "import json;print(json.load(open('benchmark/google-baseline/run_vertex_20260727.json'))['metrics']['overall'])"
# {'n': 119, 'ndcg@10': 0.834, 'p@5': 0.398, 'answered@5': 0.773, 'answered@10': 0.84}

Zitiervorschlag

nu:legal Research, „Ein Webindex ist kein Bestand: drei Messreihen zur juristischen Suche“, nu:legal Deutsches Recht, 11.09.2026, recht.nulegal.eu/forschung/suche-vergleich. Nulegal GmbH.

Download

PDFHTMLMarkdown

Dieser Artikel als Datei, mit Zitiervorschlag und Quellenangabe.

Dieser Artikel wurde maschinell verfasst und vor der Veröffentlichung fachlich gegengelesen. Jede Zahl ist gegen den Bestand geprüft; die Abfragen stehen im Anhang. Der Text ist Information, keine Rechtsberatung. Nach der Veröffentlichung wird er nicht mehr verändert; Korrekturen erscheinen als datierte Hinweise.