Praxistest und Benchmarks für Large Language Modells im österreichischen Recht

Welches LLM findet die richtigen Rechtsquellen?

Die Problemstellung

LLMs (Large Language Modells) werden mit Daten aus verschiedenen Ländern, Rechtsordnungen und Zeiträumen trainiert. Zu derselben Rechtsfrage finden sich dadurch zahlreiche Antworten, die in ihrem jeweiligen zeitlichen und örtlichen Kontext richtig sein können.

Für den konkreten Nutzer ist nur die Antwort relevant, die zur anwendbaren Rechtsordnung und zum aktuellen Rechtsstand passt. Ohne Zugriff auf externe Quellen kann ein LLM diesen Kontext nicht zuverlässig bestimmen. Eine sprachlich überzeugende Antwort kann damit auf deutschem Recht, einer veralteten Gesetzesfassung oder unpassender Judikatur beruhen.

Eine mögliche Lösung

Das LLM erhält Zugriff auf externe Ressourcen wie Websuchen, Rechtsdatenbanken und Dokumentensammlungen. Vor der rechtlichen Beurteilung recherchiert es die anwendbaren Normen und Entscheidungen selbst.

Fehlen die erforderlichen Quellen, kann der Vorgang bereits an dieser Stelle abgebrochen werden. Eine Antwort ohne nachvollziehbaren Quellenkontext ist weder überprüfbar noch praktisch verwertbar.

Der LegalTrace-Benchmark

Genau dafür hat ein Teammitglied von tendiq das sogenannte „LegalTrace-100“ entwickelt. Der Benchmark umfasst 100 komplexe juristische Fragestellungen aus dem österreichischen Recht, davon 23 Fälle aus dem öffentlichen beziehungsweise Vergaberecht.

Für jeden Fall wurden die zur Beantwortung erforderlichen Normen und Entscheidungen in einem juristisch geprüften Goldstandard festgehalten. Insgesamt umfasst der Benchmark:

• 624 Normannotationen

• 227 Judikaturannotationen

• 851 Quellenreferenzen insgesamt

• durchschnittlich 8,51 relevante Quellen pro Fall

• Rechtsstand: 1. Jänner 2026

Jede aufgenommene Quelle wurde einzeln juristisch geprüft. Der Goldstandard entstand über mehrere Annotations- und Kontrollstufen.

Das wissenschaftliche Paper zu LegalTrace (an dem sich auch der gegenständliche Benchmark orientiert) wird in den kommenden Monaten veröffentlicht. Vorab zeigt das Diagramm eine der wichtigsten Auswertungen: Welches Modell stellt mit unterschiedlichen Recherchemethoden den vollständigsten Quellenkontext für eine Rechtsfrage zusammen – und zu welchen Kosten?

Dafür wurden aktuelle Modelle von OpenAI und Anthropic über alle 100 Fragen getestet:

• ohne externe Recherche,

• mit allgemeiner Websuche,

• mit direktem Zugriff auf das RIS.

Der Balanced Retrieval Score, kurz BRS, misst die Vollständigkeit und Präzision der gefundenen Normen und Entscheidungen. Die Größe der Punkte zeigt die durchschnittliche Zahl der Tool-Calls pro Fall.

Die Pareto-Front verbindet jene Ergebnisse, für die kein anderes Modell gleichzeitig günstiger und besser ist. Punkte weiter rechts verursachen höhere Kosten. Punkte weiter oben liefern einen vollständigeren und präziseren Quellenkontext.

Die Ergebnisse des Benchmarks

Die neuen Messläufe bilden die Spitze des Benchmarks. Claude Fable 5 erreicht mit RIS-Zugang den höchsten BRS von 0,69. Der Lauf kostet 187 Dollar für 100 Fälle und benötigt durchschnittlich 23 Tool-Calls pro Fall.

GPT-5.6 Sol folgt mit einem BRS von 0,67. Die Kosten liegen bei 126 € für 100 Fälle, bei durchschnittlich 31 Tool-Calls pro Fall.

GPT-5.5 erreicht einen BRS von 0,623 bei Kosten von 99,90 €. GPT-5.4 erzielt 0,560 für 23,61 €. GPT-5.4-mini bildet mit einem BRS von 0,478 und Kosten von 6,05 € den günstigsten leistungsfähigen Punkt auf der Pareto-Front.

Die Ergebnisse zeigen einen klaren Zusammenhang zwischen Rechercheaufwand, Kosten und Qualität des erzeugten Quellenkontexts. Claude Fable 5 liefert den vollständigsten Kontext, verursacht aber auch die höchsten Kosten. GPT-5.6 Sol und GPT-5.5 folgen mit geringeren Kosten. GPT-5.4 und GPT-5.4-mini decken den kostengünstigen Bereich der Pareto-Front ab.

Im Rahmen des Vergabeforums 2026 werden die zum Zeitpunkt des Vergabeforums aktuellen LegalTrace-Benchmarks veröffentlicht.

‍