Mehrere deutsche Universitäten verproben das Korrigieren von Prüfungen mit Hilfe von Künstlicher Intelligenz. Dies ist erlaubt und zu begrüßen. Es handelt sich allerdings um Hochrisiko-KI i.S.d. KI-Verordnung. Der folgende Beispielsfall verdeutlicht, weshalb das so ist. Auch die Konsequenzen werden skizziert.

I. Sachverhalt:

Universität U betreibt im Juli 2025 (zunächst probeweise) eine KI zur „Co-Korrektur“ von juristischen Prüfungen. Den Rahmen bildet ein freiwilliger Klausurenkurs. Die KI stammt vom StartUp S – einer Ausgründung aus dem Informatikbereich der Universität mit drei Mitarbeitern. Das Inverkehrbringen der Korrektur-KI erfolgte im Mai 2024 durch S. März 2025 erfolgte noch einmal eine umfassende konzeptionelle Überholung.

Die Studenten* reichen eine von ihnen mit einem Textprogramm erstellte Prüfung digital ein (keine Handschriftenerkennung). Beigefügt ist auch eine Einverständniserklärung bzgl. der KI-Bewertung. Die KI prüft anschließend auf Basis einer internen Lösungsskizze und eigener Daten autonom die Qualität der Lösung. Die Bewertung erfolgt zunächst abschnittsweise mit Kommentaren. Abschließend vergibt die KI eine Gesamtnote.

Da es sich um ein selbstlernendes KI-System handelt, werden u.a. die Ergebnisse der Korrekturen anderer Prüflinge bei der Korrektur neuer Prüfungen mitberücksichtigt.

Jura-Student J, dessen Klausur eine schlechte Bewertung erhalten hat, ist der Meinung, dass es sich bei der KI um eine Hochrisiko-KI i.S.v. Art. 6 (3) b) i.V.m. Anhang III handelt. Die Voraussetzungen der KI-Verordnung seien nicht erfüllt, insbesondere sei keine menschliche Kontrolle gegeben. Die Entscheidungen der KI seien nicht nachvollziehbar. Sie prüfe und bewerte stets zuerst – vor dem menschlichen Co-Prüfer. Diesem werde die Bewertung auch zugänglich gemacht, bevor dieser die Prüfung bewertet. Daher könne sie menschliche Co-Prüfer dazu verleiten, falsche Bewertungen der KI unkritisch zu übernehmen.

J überlegt, ob er Beschwerde nach Art. 85 EU AI Act bei der Marktaussichtbehörde einlegen soll und lässt von einem befreundeten Anwalt ein Gutachten erstellen. Er übergibt ihm drei von U’s KI co-korrigierten Bewertungen. Diese enthalten eine Reihe sachlicher Wertungen, die zur Vergabe von drei Punkten (= nicht bestanden) geführt haben, z.B.: „Fehlende Stringenz im Gutachtenstil“ , „Logik und Kohärenz der Argumentation sind mangelhaft“ sowie „fehlende Abgrenzung und Schwerpunktsetzung“.

Aufgabe: Die gesamte Rechtlage ist ggf. hilfsgutachlich zu bewerten.

II. Gutachten bzgl. einer „Beschwerde“ des J

Vorüberlegung: Eine Prüfungsbewertung durch eine Universität ist im Rahmen einer rechtlich bindenden staatlichen Prüfung grds. ein Verwaltungsakt, § 35 VwVfG. Anders ist es jedoch im Rahmen eines freiwilligen Klausurenkurses und zudem in einem Pilotprojekt wie diesem. Hier fehlt die für einen Verwaltungsakt notwendige Außenwirkung: Die Bewertung erzeugt bei einem freiwilligen Klausurenkurs keine unmittelbaren Rechtsfolgen außerhalb der Verwaltung. Insofern kann J auch keine Anfechtungsklage erheben. Es verbleibt aber die Möglichkeit der Beschwerde i.S.v. Art. 85 EU AI Act.

1. Zulässigkeit, Art. 85 EU AI Act

Die Beschwerde nach Art. 85 EU AI Act ist eine jedermann-Beschwerde. J kann sie demzufolge bei der zuständigen Marktaufsichtsbehörde einreichen – in Deutschland bei der Bundesnetzagentur.

Zu beachten ist, dass die Beschwerde i.S.v. Art. 85 EU AI Act keinen subjektiven Anspruch des J auf Marktaufsicht gewährt. Die Beschwerde dient ausschließlich der verbesserten Durchsetzung der KI-Verordnung. Eine Klagebefugnis wie bei § 42 II VwGO ist nicht erforderlich.

Ob und wie weit man J als Hinweisgeber i.S.v. Art. 87 EU AI Act einstufen könnte, kann im Hinblick auf die Zulässigkeit dahingestellt bleiben. Es gilt aber zu beachten, dass J seitens der Universität keinen Schaden erleiden darf, falls er eine Beschwerde einreicht.

2. Begründetheit der Beschwerde

a) Anwendungsbereich der KI-Verordnung

Der sachliche Anwendungsbereich der KI-Verordnung ist eröffnet, da es sich bei dem Bewertungstool um ein KI-System i.S.v. Art. 3 Nr. 1 EU AI Act handelt. Es ist maschinenbasiert und leitet die Bewertungen auf Basis autonomer Datenanalysen ab. Dass dies auf Basis einer offiziellen Lösungsskizze erfolgt ist unwesentlich, da die KI das „Matching“ mit der Prüfung autonom durchführt. Auch der räumliche Anwendungsbereich ist eröffnet: Das KI-System wurde von S in der EU in Verkehr gebracht und von U in Betrieb genommen (Art. 2, Art. 3 Nr. 3, 4 sowie Nr. 9-11 EU AI Act).

b) Hochrisiko, Fristen und Bestandsschutz

Laut Sachverhalt ist es ein KI-System für die Bewertung von Lernergebnissen im Rahmen der allgemeinen und beruflichen Bildung. Selbst wenn man annimmt, dass es sich um eine Hochrisiko-KI gemäß Art. 6 (2) EU AI Act i.V.m. Anhang III Nr. 3 b) handelt, so sind im Hinblick auf den zeitlichen Anwendungsbereich die Fristen von Art. 113 EU AI Act zu beachten: Diese greifen bei einer Hochrisiko-KI i.S.v. Art. 6 (2) EU AI Act erst am 2. August 2026.

Das KI-System wurde von S schon im Jahr 2024 entwickelt und in Verkehr gebracht. Selbst nach Ablauf der Fristen (August 2026) wäre nach wie vor ein Bestandsschutz gemäß Art. 111 (2) EU AI Act zu prüfen.

3. Ergebnis

Die Beschwerde ist zum aktuellen Zeitpunkt unbegründet, da für die Klausurenkorrektur noch eine Übergangsfrist besteht. Würde trotzdem Beschwerde eingelegt, gäbe Art. 86 EU AI Act J als betroffenem Beschwerdeführer das Recht, die wichtigsten Elemente der Entscheidung durch die Marktaufsichtsbehörde zu erhalten. Hinzu käme nach Ablauf der Übergangsfrist ggf. das Recht, eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess seitens des Betreibers zu bekommen (hier der U).

III. Hilfsgutachten

Wie ist es künftig bei KI-basierten Bewertungssystemen:

• Die nach August 2026 in Verkehr gebracht werden (Variante 1)?
• Davor in Verkehr gebracht wurden und nach August 2026 noch einmal wesentlich konzeptionell verändert werden (Variante 2)?

1. Variante: Inverkehrbringung nach August 2026

a) Hochrisiko-KI, Art. 6 (2) EU AI Act

Die rechtliche Klassifikation eines KI-Systems zur Klausurbewertung ist im Hinblick auf die Risiko-Klasse der KI-Verordnung komplex. Das Ergebnis hängt maßgeblich von der genauen Ausgestaltung des KI-Systems und dem Zusammenspiel mit Menschen ab:

• Ein KI-System, das primär oder maßgeblich zur Bewertung von Lernergebnissen (Klausuren) eingesetzt wird und dabei Entscheidungen wesentlich beeinflusst oder gar ersetzt, kann grundsätzlich als Hochrisiko-KI-System gemäß Art. 6 ( 2) i.V.m. Anhang III Nr. 3 b) EU AI Act eingestuft werden.
• Dies gilt für öffentliche Universitäten und private Juristische Schulen gleichermaßen.

b) Ausnahme nach Art. 6 (3) EU AI Act

Die gilt jedoch dann nicht, wenn es sich entweder:

• um eine rein vorbereitende Maßnahme menschlicher Arbeit (vgl. Art. 6 (3) d) EU AI Act) oder
• eine nachträgliche „Verbesserung einer zuvor abgeschlossenen menschlichen Tätigkeit“ handelt, vgl. Art. 6 (3) b) EU AI Act.

Beide Ausnahmen können prinzipiell nebeneinander existieren, beziehen sich aber auf unterschiedliche Phasen im Bewertungsprozess.

Im Sachverhalt ist von einer KI die Rede, die eine „Ko-Korrektur“ durchführt – sie agiert also nicht allein. Menschen sind auch beteiligt. Gemäß den zuvor genannten Ausnahmen dürfte das KI-System aber ausschließlich vor- oder nachbereitende Aufgaben durchführen. Es darf keine eigenständigen Bewertungsentscheidungen treffen, Noten vorschlagen oder gar vergeben. Die Rolle muss strikt auf die Erstellung von Grundlagen oder Hilfsmitteln für die menschliche Bewertung beschränkt sein. Die eigentliche intellektuelle Leistung der Bewertung muss vollständig beim Menschen verbleiben, wenn es sich nicht um zwar grundsätzlich erlaubte, aber mit hohen Auflagen versehene Hochrisiko-KI handeln soll.

Die Ergebnisse der KI-Korrektur dürfen das Ergebnis der finalen menschlichen Bewertungsentscheidung folglich nicht wesentlich beeinflussen. Dies bedeutet, dass die vom KI-System gelieferten Informationen lediglich als Rohdaten, Indikatoren oder Werkzeuge dienen, die vom menschlichen Korrektor interpretiert, gewichtet und in die eigene Bewertung integriert oder auch ignoriert werden können. Es darf für menschliche Korrekturpersonen nicht das Risiko entstehen, dass die KI-Ergebnisse (unkritisch) übernommen werden.

Vorbereitung wäre in diesem Sinne z.B. eine Plagiatserkennung oder die Erkennung von formalen Fehlern wie fehlenden Angaben, falschen Formatierungen, Überschreitung von Wortgrenzen bzw. fehlenden Abschnitten. Gleiches gilt für eine Handschrift-zu-Text- oder eine OCR-Konvertierung. Selbst eine Gliederungszusammenfassung könnte noch als Vorbereitung angesehen werden.

Wichtig ist im Sinne der Ausnahme, dass die inhaltliche Bewertung weiterhin durch den Menschen erfolgt, was auch dem Primat menschlicher Kontrolle gem. Art. 14 EU AI Act entspricht. So wäre es im Fall einer final erfolgten menschlichen Bewertung, deren Ergebnis von der KI auf Konsistenz oder Fehler geprüft wird. Hier ist die Bewertung der KI aber bereits abgeschlossen und zugänglich, bevor der Co-Prüfer mit der Bewertung beginnt. Eine Ausnahme i.S.v. Art. 6 (3) EU AI Act ist daher kaum begründbar.

Der von J beigefügte Bewertungstext hinterlässt zudem keinerlei Zweifel, dass es sich grundsätzlich um einen Fall von Anhang III Nr. 3 b) handelt, da die KI selbständig an vielen Stellen die Inhalte des Klausurschreibers bewertet und am Ende sogar noch eine Gesamtnote vergibt, bevor der Co-Korrektor prüft.

• Bewertungen wie z.B. „fehlende Stringenz im Gutachtenstil“ , „Logik und Kohärenz der Argumentation sind mangelhaft“ sowie „fehlende Abgrenzung und Schwerpunktsetzung“: Dies sind typisch menschliche intellektuelle Leistungen, die gerade nicht von einer KI erfolgen dürfen, die einer mittleren oder geringen Risiko-Klasse angehören.
• Das gilt ebenso für die Auflistung von „Schwächen“ der Klausur, die einen menschlichen Korrektor erheblich beeinflussen könnten (z.B. „fehlerhafte Rechtsanwendung“ , „unklare und unpräzise Argumentation“ , „Verwechslung von Parteien“ , „unzutreffende Ergebnisse“ ).

Anders ist die Hilfestellung bei formalen und wiederkehrenden Aspekten wie einer schwer lesbaren Handschrift: Es wäre z.B. möglich, solche Aspekte mittels KI auszugleichen. Dann müsste sie aber auch auf derlei Funktionen begrenzt sein.

c) Zwischenergebnis

Gleich ob im Sinne der Ausnahme einer Vor- oder Nachbereitung: Auf Basis der Anlage ist in beiden Fällen eindeutig von einer KI auszugehen, die unter die Vorgaben von Art. 6 i.V.m. Anhang III EU AI Act fällt und als grundsätzlich erlaubte Hochrisiko-KI einzustufen ist. Die KI unterliegt daher hohen initialen als auch laufenden Auflagen, sowohl im Hinblick auf den Anbieter als auch die Betreiber.

d) Bereichsausnahmen

Zunächst zum Unterschied der Ausnahmevarianten: Die zuvor geprüften Ausnahmen betreffen die Frage, ob eine Hochrisiko-KI vorliegt oder nicht. Die nachfolgenden Ausnahmen betreffen hingegen die Frage, ob die KI-Verordnung trotz Vorliegen einer Hochrisiko-KI aufgrund einer Bereichsausnahmen gar nicht anzuwenden ist. Die vorherige Prüfung, ob es sich tatsächlich um Hochrisiko-KI handelt ist wichtig, da viele Bereichsausnahmen bei Hochrisiko-KI weitere Rückausnahmen besitzen, welche die KI-Verordnung wieder einschlägig machen.

Potenzielle Bereichsausnahmen:

• Bei Universitäten ist zunächst von Bedeutung, dass diese der Bereichsausnahme wissenschaftlicher Forschung unterliegen könnten (Art. 2 (6) EU AI Act). Es handelt sich aber hier nicht um rein wissenschaftliche Forschung, sondern – wenn überhaupt – um eine Verprobung einer bereits in Verkehr gebrachten KI-basierten Klausurenkorrektur.
• Eine Verprobung kann aber eine Bereichsausnahme nach Art. 2 (8) EU AI Act bewirken. Die Ausnahme gilt aber nicht für (potenzielle) Hochrisiko-KI-Systeme. Geht es – wie hier – um Hochrisiko-KI, dann greifen die Vorschriften für Tests unter Realbedingungen i.S.v. Art. 60 ff., Art. 3 Nr. 57 ff. EU AI Act. Insofern ist u.a. fraglich, ob und wie weit die Unterschrift von J den Ansprüchen der informierten Einwilligung von Art. 61, Art. 3 Nr. 59 EU AI Act tatsächlich gerecht wird.
• Ob dies der Fall ist, kann aktuell nicht beurteilt werden. Sicher ist, dass die KI-Verordnung entweder einen Test in einem Reallabor oder unter Auflagen vorsieht.
• Eine Einwilligung könnte auch nach der Verprobung von Relevanz sein. Diese bezieht sich dann u.a. auf die Verarbeitung persönlicher Daten. Es kann aber auch von Bedeutung sein, dass die Einwilligung unter der Zusicherung erfolgt, dass alle Vorschriften der KI-Verordnung eingehalten werden. Daher könnte sie im Fall eines Verstoßes gegen Vorschriften der KI-Verordnung unwirksam sein.
• Falls es sich um Open-Source handeln würde, wäre eine Ausnahme nach Art. 2 (12) EU AI Act ebenfalls nicht einschlägig, da es sich um Hochrisiko-KI handelt, die eine Rückausnahme bildet.

e) Pflichten für die Akteure S und U

Erfolgt die Inverkehrbringung nach August 2026, sind alle Auflagen für eine Hochrisiko-KI sowohl von S als auch von U zu erfüllen.

(1) StartUp S als Erstanbieter

StartUp S ist als Anbieter i.S.v. Art. 3 Nr. 3 EU AI Act zu bewerten. S müßte daher alle Anforderungen der Art. 8 ff., Art. 72 ff. EU AI Act befolgen bzw. umsetzen. Hinzu käme die Pflicht zur angemessenen Vermittlung von KI-Komptenz Art. 4 i.V.m. Art. 3 Nr. 56 EU AI Act für Mitarbeiter, aber auch für Betreiber und Nutzer. Vor allem die operativen Co-Prüfer müßten mit geeigneten Betriebsanleitungen instruiert werden, welche Grenzen im Hinblick auf die Wahrung menschlicher Kontrolle zu beachten sind. Ähnliches gilt für die Frage, wie Lösungsskizzen gestaltet sein sollten, damit es nicht zu vorhersehbaren Bewertungsfehlern kommt.

S könnte aber von Erleichterungen als potenzielles Kleinstunternehmen i.S.v. Art. 63 (1) EU AI Act profitieren. Diese betreffen vor allem das Qualitätsmanagementsystem nach Art. 17 EU AI Act. Maßstab für die Erleichterung ist die Größe von maximal 10 Mitarbeitern und ein Umsatz von max. € 2 Mio./J.

Die Ausnahme greift aber nicht, wenn es Partnerunternehmen oder verbundene Unternehmen gibt. Hier handelt es sich um ein StartUp von U. Diesbezüglich ist der Verweis von Art. 63 (1) EU AI Act auf die Empfehlung 2003/361/EG zu beachten. Dort werden Universitäten nach Art. 3 (2) b) explizit ausgenommen. Insofern gilt S zum aktuellen Zeitpunkt noch als Kleinstunternehmen.

Negativ würde sich allerdings die sich dynamische Veränderung der Mitarbeiterzahl bis August 2026 auswirken, wenn diese zu diesem Zeitpunkt 10 Mitarbeiter übersteigt. Gerade bei StartUp-Unternehmen mit hohen Wachstumsambitionen ist die dynamische Veränderung relevanter Faktoren zu beachten! Konsequenz wäre, dass S dann keine Privilegien als Kleinstunternehmen gem. Art. 63 (1) EU AI Act mehr in Anspruch nehmen könnte, wenn Partnerunternehmen dazukommen, sich Unternehmen beteiligen oder sonstige Grenzen der Empfehlung 2003/362/EG überschritten werden.

Ob und wie weit S auch selbst eine grundrechtliche Folgeabeschätzung gem. Art. 27 EU AI Act durchführen muss, hängt davon ab, ob und wie S auch selbst Betreiber ist und ob und wie weit im Einzelfall öffentliche Aufgaben durch die Software umgesetzt werden. Wird die Software mehreren Unis angeboten, könnte Art. 27 (2) EU AI Act einschlägig sein.

Transparenzpflichten i.S.v. Art. 50 EU AI Act dürften im Fall keine große Rolle spielen.

(2) Pflichten von U als Betreiber

U wäre grds. Betreiber gemäß Art. 3 Nr. 4 EU AI Act, da U die Software in eigener Verantwortung im Rahmen des freiwilligen Klausurenkurses betreibt. U hätte folglich die Betreiberpflichten für Hochrisiko-KI gemäß Art. 26 f. EU AI Act zu beachten. Auch als Betreiber hat die U als juristische Person der öffentlichen Hand die Pflicht, eine grundrechtliche Folgenabschätzung gem. Art. 27 EU AI Act durchzuführen. Eine diesbezügliche Ausnahme besteht im Fall von Anhang III Nr. 3 b) nicht.

Ebenfalls wichtig sind die Art. 72, 73 EU AI Act. Käme es also zu schwerwiegenden Vorfällen, so wären diese zu entsprechend zu melden. Auch U müßte in angemessenem Umfang KI-Kompetenz i.S.v. Art. 3 Nr. 56, Art. 4 EU AI Act in Bezug auf Anwender als auch Betroffene vermitteln.

Transparenzpflichten i.S.v. Art. 50 EU AI Act wären auch für U kaum relevant.

(3) Pflichten von U als potenzieller Zweitanbieter

Fraglich ist, ob U im Sinne eines Rollenwechsels auch selbst zum Anbieter der Hochrisiko-KI werden könnte. Im Sinne von Art. 3 Nr. 3 EU AI Act wäre dies z.B. dann möglich, wenn das StartUp S für U eine Auftragsentwicklung durchgeführt hätte oder U die Software im eigenen Namen in Verkehr bringt. Für beide Varianten gibt es keine Anhaltspunkte im Sachverhalt – die Aspekte sollten aber von U und S genau beachtet werden.

Ebenfalls zu beachten ist Art. 25 (1) EU AI Act, da es sich um Hochrisiko-KI handelt. Auch dafür liegen keine Anhaltspunkte vor. Die Vorschrift müßte aber künftig unbedingt von U und S beachtet werden.

2. Variante: Wesentliche konzeptionelle Änderung

Wie ist es nun, wenn das KI-System vor August 2026 in Verkehr gebracht wurde:

• Dann würde grundsätzlich der Bestandsschutz von Art. 111 EU AI Act greifen.
• Jedoch könnte das „selbstlernende Verhalten“ der KI nach August 2026 zu einer wesentlichen konzeptionellen Veränderung führen.

Falls ja, würde der Bestandsschutz gem. Art. 111 EU AI Act automatisch entfallen.

(1) Selbstlernen als wesentliche konzeptionelle Änderung

Bei Variante 2 ist zunächst zu beachten, dass die Definition von Art. 3 Nr. 23 nur die „wesentliche Veränderung“ i.S.v. Art. 25 EU AI Act konkretisiert. Diese umfasst u.a. eine zweckwidrige Nutzung durch den Betreiber, die zu einem Rollenwechsel im Sinne der Anbieterschaft führen würde. Diese Variante ist hier nicht gegeben.

Die KI-Verordnung enthält zudem keine explizite Legaldefinition der „wesentlichen konzeptionellen Änderung“ i.S.v. Art. 111 EU AI Act. Allerdings lassen sich aus Art. 43 (4) EU AI Act für KI-Systeme Kriterien ableiten, die nach der Inverkehrbringung „dazulernen“:

• Das „Dazulernen“ führt demzufolge dann nicht zu einer wesentlichen Veränderung, wenn ein solches Verhalten im Rahmen einer Konformitätsbewertung technisch dokumentiert wurde und sich das Dazulernen im Referenzbereich bewegt.
• Ein selbstlernendes KI-System, das vor August 2026 in Verkehr gebracht wurde, hat aber häufig das Problem, das der geprüfte und in Art. 43 (4) EU AI Act vorausgesetzte Referenzwert inkl. der diesbezüglichen Dokumentation gar nicht existiert!
• Eine selbstlernende KI, die zunächst unter die Ausnahme von Art. 111 EU AI Act fällt, kann daher in den EU AI Act aufgrund des Selbstlernens „hineinwachsen“.

Der Schutzzweck von Art. 43 EU AI Act erfordert dies für selbstlernende Systeme, da sich durch das Selbstlernen:

• der Zweck oder Funktionsweise des KI-Systems ändern kann,
• neue Anwendungsgebiete hinzukommen können,
• oder die sich weiterentwickelnden Lernmechanismen des Systems zu nicht vorhergesehenem Verhalten führen können.

Eine selbstlernende KI, die nach dem Inverkehrbringen weitertrainiert wird und dadurch ihre Entscheidungslogik ohne Referenzwert verändert, wird i.d.R. als konzeptionelle Änderung anzusehen sein.

(2) Modellwechsel als wesentliche konzeptionelle Veränderung

Ähnlich liegt der Fall, wenn in ein bereits bestehendes KI-System ein neues und weiter trainiertes KI-Modell integriert wird. Wird also z.B. über eine API-Schnittstelle das ältere GPAI-Modell (z.B. GPT 3.5) gegen ein neueres Modell (z.B. GPT 4o) ausgetauscht, weil das neuere Modell bessere Ergebnisse liefert als das alte, ist ebenfalls eine wesentliche konzeptionelle Änderung anzunehmen.

Im Ergebnis führt also sowohl das Selbstlernen nach August 2026 ebenso wie ein Modellwechsel zur Notwendigkeit einer Konformitätsbewertung der Korrektur-KI gemäß Art. 43 (1) EU AI Act – vorausgesetzt, dass tatsächlich eine Hochrisiko-KI vorliegt.

IV. Empfehlungen wenn man es doch machen will

Das Gutachten verdeutlicht, dass verschiedene Dinge beachtet werden müssen, wenn man in absehbarer Zeit als Universität oder privates Lehrunternehmen KI zur Prüfungsbewertung nutzen möchte:

• Wenn überhaupt sollte man eine Software von einem Dritt-Anbieter erwerben und nicht selbst eine solche Software erstellen oder erstellen lassen. Man sollte die Rolle des Betreiber bevorzugen – und daher keinerlei Änderungen an der Software durchführen und diese auch nicht im eigenen Namen in Verkehr bringen. Sonst erfolgt ein „Rollentausch“ und man wird als Betreiber zum Anbieter – dann trägt man selbst alle Pflichten der Art. 8 ff, Art. 72 ff EU AI Act!
• Ist eine längerfristige Nutzung geplant, muss man vom Anbieter verlangen, dass er zusichert, künftig alle erforderlichen Vorschriften der KI-Verordnung zu beachten. Sollten also Bewertungen integriert sein – wie im Beispiel – ist von Beginn an eine vertragliche Zusicherung erforderlich, dass und unter welchen Voraussetzungen diese nach Ablauf der Fristen von Art. 111 EU AI Act nach wie vor möglich sind oder nicht.
• Schon jetzt können KI-Bewertungen zu kritischen Fragen führen, obwohl diese erst ab August 2026 als Hochrisiko zu bewerten sind – gerade ein Rechtsunternehmen muss beachten, dass hier früh ethische Fragen entstehen und man jetzt etwas ggf. ohne Beachtung von Auflagen tut, was künftig als Hochrisiko-KI gilt.
• Sollte die Software z.B. aufgrund des Selbstlernens in die Hochrisiko-Eigenschaft hineinwachsen, so ist beiderseits explizit vertraglich zu klären, wie damit umzugehen ist.

• Sie kann auch weiterhin als Hochrisiko-KI verwendet werden, wenn alle Auflagen von allen Akteuren erfüllt sind – also auch die des Betreibers. Das hat Einfluss auf Kosten u. Aufwände, also das Geschäftsmodell.
• Wichtig ist dann die volle Transparenz, warum die KI welche Ergebnisse so oder so bewertet und wie Bias (also Fehleinschätzungen) vermieden werden können.

• In der Außendarstellung muss genau beachtet werden, was über die Software gesagt werden kann, ohne dass man zum Anbieter wird – heißt: Wenn die Software vom Hersteller X kommt, darf sie auf keinen Fall im eigenen Namen des Schulungsunternehmens am Markt positioniert werden!
• Dies wirft verschiedene Fragen auf, die z.B. für die Laufzeit des Vertrages wichtig sind: Hier sind (vorzeitige) Ausstiegsoptionen im Hinblick auf alle relevanten Zeitpunkte vorzusehen.
• Ist ein entsprechender Korrektur-Service erst einmal im Markt angeboten worden, der eine Bewertung ermöglicht (= Hochrisiko), so ist im Sinne der Investitionssicherheit genau zu prüfen, welche Konsequenzen es hat, wenn ein solcher Service im Nachhinein angepasst oder wieder vom Markt genommen werden muss, u.a. weil das Kosten/Nutzenverhältnis als Hochrisiko-KI plötzlich nicht mehr funktioniert: Weder für Anbieter noch für Betreiber.
• Zu beachten ist, dass man auch als Betreiber schon jetzt (!) Mitarbeiter umfassend i.S.v. Art. 4 EU AI Act in angemessenem Umfang zu schulen hat, was im Sinne einer Einarbeitung auch als Investition zu bewerten ist, die bei der Gesamtkalkulation zu beachten ist.
• Schließlich sind sowohl auf Anbieter- als auch auf Betreiberseite wichtige Vorbereitungen bzgl. der KI-Governance zu treffen! Der EU AI Act sieht keine zentrale Rolle wie einen Datenschutzbeauftragten vor, dem man das Thema zuweisen kann: Es steht somit die gesamte Organisation in der Verantwortung, Zuständigkeiten etc. zu organisieren und zu klären. Bestenfalls inkl. einer KI-Strategie und ggf. erforderlicher Verhaltenskodizes, die gerade in Grenzfällen von hoher Bedeutung sind, bei denen nicht sicher ist, ob und wie weit sie Hochrisiko-KI darstellen, vgl. Art. 95 EU AI Act.

Achtung: Sollte eine Universität rechtlich relevante Prüfungen mit KI-Unterstützung prüfen und bewerten, so handelt es sich aufgrund der Außenwirkung um Verwaltungsakte.

Fazit: KI-basierte Korrekturen von Prüfungen sind als Hochrisiko-KI zu bewerten. Diese Erkenntnis soll natürlich nicht davon ablenken, dass die juristischen Prüfungsbewertungen, die durch menschen erfolgen, wesentlich besser sind. Eine lesenswerte Studie ergab 2024, dass klassische Bewertungen in hohem Maße subjektiv sind.

KI-Bewertungen von (juristischen) Prüfungen sind daher weniger eine Frage des OB, sondern des WIE.

Bezug zum Skript „Grundwissen-KI-Recht“ u.a.: Einleitung u. Anhang

Inhalte des Beitrags, u.a.:

• Hochrisiko-KI, Art. 6 EU AI Act
• Wesentliche Änderung, Art. 25 EU AI Act
• Beschwerde, Art. 85 EU AI Act
• Hinweisgeber, Art. 87 EU AI Act
• Anbieter und Betreiber, Art. 3 Nr. 3, 4 EU AI Act
• Räumlicher Geltungsbereich, Art. 2 EU AI Act
• Bereichsausnahmen, Art. 2 EU AI Act
• Transparenzpflichten, Art. 50 EU AI Act
• Kleinstunternehmen, Art. 63 EU AI Act
• Bestandsschutz, Art. 111 EU AI Act
• Selbstlernende KI, Art. 43 EU AI Act