Das Legal-AI-Lab ist eine AI-Sandbox, die in direktem Zusammenhang mit den Inhalten des Skripts „Grundwissen KI-Recht“ steht. Ziel des Legal-AI-Labs ist es, rechtliche KI-Herausforderungen auf technischer Ebene zu beleuchten.

Der digitale AI-Twin

Das Legal-AI-Lab ist eine AI-Sandbox. Sie wurde auf Basis von Python, Streamlit und Ollama erstellt. Obwohl VPS-fähig, dient die Infrastruktur primär der lokalen Nutzung im Rahmen von Skript-begleitenden Schulungen und Trainings. Sie integriert Text- und Bild-Inhalte des Skripts. Die folgenden Bilder zeigen die Kombination von Skript und KI-basierten Funktionen, u.a.:

• Ein Chat, der Inhalte des Skripts erklärt (z.B. Fachbegriffe, Beispiele oder Inhalte von Randnummern).
• Eine Datenbank-Anbindung mit Gesetzestexten zur Anzeige von Artikeln, Paragrafen, Gründen und Anhängen, die im Skript erwähnt werden.
• Das autonome Erstellen KI-generierter Quizfragen zu allen Inhalten des Skripts. Die KI bewertet und benotet die Antworten nach unterschiedlichen Vorgaben.

Technische und organisatorische Implikationen

Auf Basis dieser und weiterer Funktionen werden abstrakte rechtliche Fragestellungen im technisch-organisatorischem Kontext erlebbar. Ein anschauliches Beispiel ist das Thema „Hochrisiko-KI“ im Fall der Bewertung juristischer Schulungssoftware, z.B. bei Klausuren (vgl. Randnummer 138 und 561):

• Je nachdem, welches GPAI-Modell angebunden ist, können z.B. Bewertungen ein und der gleichen Antwort recht unterschiedlich ausfallen.
• Je nach Konfiguration der Lösungsvorlagen können KI-Bewertungen und Noten mehr oder weniger willkürlich erscheinen.
• Je nach RAG-Variante (z.B. der dabei verwendeten Vektorisierung sowie Chunk- und Kontext-Größe) können rechtliche Bewertungen mitunter auch sogar völlig falsch sein.

Die vorherigen Beispiele dienen u.a. der Evaluation von Faktoren, die KI-Systeme und GPAI-Modelle in den Bereich „rechtlicher Halluzinationen“ abdriften lassen. Gleiches gilt für den „Münchhausen-Effekt“: Letzterer beschreibt den Fall, dass sich eine KI nicht nur zufällig irrt, sondern die eigene falsche Einschätzung zusätzlich vehement verteidigt. Dabei kann es zu „KI-Lügen“ kommen. Oder die KI beginnt in zunehmend autoritärer Form unwahre Behauptungen zu wiederholen oder die Kompetenz der Nutzer infragezustellen.

Typische Beispiele sind:

• Das Erfinden von nicht existierenden rechtlichen Normen, Rechtsfällen oder Gerichtsurteilen aller Art.
• Die nachhaltig rechtlich falsche Beurteilung von Sachverhalten trotz wiederholter Korrekturhinweise auf Nutzerseite.
• Die Behauptung, dass rechtlich relevante Originaltexte von der KI gelesen und berücksichtigt wurden, dies aber nicht der Fall ist.

All dies sind Faktoren, die sich auf die Art und Weise auswirken, wie eine (juristische) Hochrisiko-KI umgesetzt und dokumentiert werden sollte, um allgemeinen und besonderen Sorgfaltspflichten gerecht zu werden.

Intensionen automatisch erkennen

Ein wichtiger Aspekt des Legal-AI-Lab (speziell bei der Verwendung des KI-Chats) ist die automatische Erkennung unterschiedlicher Intensionen von Prompts. Die Vielzahl möglicher Fragen an einen Chat kann es erfordern, dass unterschiedliche KI-Techniken zur Generierung rechtlicher Antworten genutzt werden müssen: Mal überwiegend regelbasiert, mal mehr im Sinne einer semantischen Auswertung auf Basis neuronaler Netze.

Dies gilt u.a. für Fragen, die verschiedene Rechtsbereiche betreffen, z.B. das Zivilrecht, Strafrecht oder KI-Recht. Die einschlägigen Gesetze sollten bereits bei der Chat-Eingabe erkannt und den Prompt automatisch zu unterschiedlichen rechtlichen Expertensystemen weiterleiten. Das heißt:

• Fragen, die rechtliche Normen oder Definitionen betreffen, sollten nicht nur aus einem RAG-System heraus, sondern stets auch auf Basis einer Gesetzes-Datenbank beantwortet werden (z.B. „was bedeutet Inverkehrbringen i.S.d. KI-VO“?).
• Prompts zu Internet-Suchen, sollten automatisch spezifische Such-Services aktivieren (z.B. DuckDuckGo oder gpt-4o-search-preview). Diese sind als API-Service hoch spezialisierte KI-Systeme. Sie können rechtlich anders zu bewerten sein wie GPAI-Modelle.

Das Beispiel verdeutlicht, dass sich rechtliche Aspekte des Skripts (wie die Differenzierung von KI-System und KI-Modell mit allgemeinem Verwendungszweck) oft erst auf Code-Ebene genau einschätzen lassen. Mitunter sind es auch unscheinbar wirkende Parameter, die darüber (mit-)entscheiden, ob und wie weit eine menschliche Aufsicht bei einer juristischen KI-Lösung faktische Wirkung entfaltet oder nicht.

Rechtliche Validierung von KI-Systemen durch KI

Zunehmend wichtig ist auch die Frage, ob und wie weit KI-Systeme verläßlich in der Lage sind, komplexe regulatorische Sachverhalte zu bewerten. Nicht zuletzt solche, in denen es um die Frage geht, welche Pflichten der KI-Verordnung im Detail zu beachten sind. Auch hier hilft das Legal-AI-Lab weiter – unter Berücksichtigung der rechtlichen Skript-Inhalte und anerkannter Checklisten zum EU AI Act.

Ein anschauliches Beispiel ist die automatisierte Bewertung der Risiko-Klasse von KI-Systemen auf Basis der textlichen Beschreibung von Funktion, Branche und Kontext. Dabei ist die Frage, wie die Entscheidungsfindung im Sinne einer im Detail nachvollziehbaren Explainable AI (XAI) erfolgt, von hoher Bedeutung. Gleiches gilt für die parallele Prüfung ein und des gleichen Sachverhalts durch mehrere unterschiedlich spezialisierte GPAI-Modelle (u.a. im Wege des Multithreading, der Trilogische Prüfung sowie durch „Checks & Balances“).

Rechtlich relevante Details von KI erleben

Zusammenfassend läßt sich sagen, dass es das Legal-AI-Lab ermöglicht, eine Vielzahl von oft abstrakten rechtlich relevanten Details rund um KI zu erleben! Das gilt sowohl im Hinblick auf die KI-Verordnung und die sich daraus ergebenden Pflichten als auch die Beachtung von allgemeinen Sorgfaltspflichten, die für alle KI-Systeme gelten können – egal welcher Risiko-Klasse des EU AI Acts sie angehören.

Insgesamt helfen über 100 Use Cases dabei, die im Skript „Grundwissen KI-Recht“ beschriebenen rechtlichen Herausforderungen im Rahmen von Trainings besser zu veranschaulichen, zu verstehen und damit auch praxisgerecht zu lösen.