Zum Inhalt springen
Alle Beiträge
Audit-Praxis 7 Min. Lesezeit· von Lars Zimmermann

Die KI nimmt ihre eigene Arbeit nicht ab: Prüfer für Agenten

KI-Agenten melden fertig, obwohl Teile fehlen. So trennen Sie Ersteller und Prüfer, legen Kriterien vorab fest und machen stille Fehler sichtbar.

Kurz gesagt

Ein KI-Agent sollte seine eigene Arbeit nicht abnehmen, denn er prüft mit demselben Verständnis, mit dem er gebaut hat. Belastbar wird ein Agenten-Ablauf mit einem eigenen Prüfer ohne den Arbeitsverlauf des Erstellers, mit Kriterien, die vor dem Lauf feststehen, mit gesperrten Prüfdateien, mit Zählern für jeden Fall und mit einer Stichprobe durch einen Menschen.

Read in English: English version

Ein KI-Agent arbeitet eine Stunde an einer Aufgabe und meldet am Ende: fertig, alles geprüft, alle Tests grün. Wer nachsieht, findet Lücken. Ein Teil fehlt, ein anderer ist nur angedeutet, und die Tests prüfen etwas anderes als die Anforderung. In Anleitungen zu KI-Agenten heißt es inzwischen oft sinngemäß, der Agent, der etwas gebaut hat, sei der schlechteste Richter darüber.

Der Satz stimmt, und für Auditoren ist er alt. Wer eine Arbeit erstellt hat, nimmt sie nicht selbst ab. Das gilt in der Fertigung, in der Buchhaltung und im Audit. Hier lesen Sie, wie Sie diese Trennung für einen Agenten-Ablauf aufbauen. Und was Sie gegen den leiseren Fehler tun: den Agenten, der Erfolg meldet und nichts getan hat.

Warum die Selbstabnahme scheitert

Der erste Grund ist der gemeinsame Kontext. Der Agent prüft mit demselben Verständnis der Aufgabe, mit dem er gebaut hat. Hat er eine Anforderung falsch gelesen, liest er sie bei der Prüfung wieder falsch. Seine Tests bestätigen dann seine Lesart. Grüne Tests belegen in diesem Fall nur, dass das Ergebnis tut, was der Agent für richtig hält.

Der zweite Grund ist gemessen. Eine Studie vom April 2024 beschreibt, dass Sprachmodelle als Bewerter die eigenen Texte besser einstufen als fremde, obwohl Menschen beide für gleich gut halten. Die Autoren bringen das mit der Fähigkeit der Modelle zusammen, eigene Texte wiederzuerkennen. Die Grenze dieser Quelle gehört dazu: Untersucht wurden Modelle des damaligen Stands an Textaufgaben. Ihren Agenten-Ablauf hat niemand vermessen. Ich nehme daraus die Richtung und keine Zahl.

Was die Auditpraxis dazu sagt

ISO/IEC 42001 verlangt in Abschnitt 9.2.2, Auditoren so auszuwählen und Audits so durchzuführen, dass Objektivität und Unparteilichkeit gewahrt sind. ISO 19011 führt die Unabhängigkeit als eigenes Auditprinzip: Auditoren sollen, wo es machbar ist, unabhängig von der Tätigkeit sein, die sie auditieren.

Beide Stellen meinen das Audit des Managementsystems. Einen Prüfagenten verlangt die Norm an keiner Stelle. Ich übertrage den Gedanken, weil er trägt: Eine Abnahme ist so viel wert wie der Abstand zwischen dem, der prüft, und dem, der geliefert hat.

Näher am Agenten liegt die Maßnahme A.6.2.4 aus Anhang A. Sie verlangt, Maßnahmen zur Verifizierung und Validierung eines KI-Systems festzulegen und zu dokumentieren, samt Kriterien für ihre Anwendung. Warum der Zeitpunkt dieser Kriterien entscheidet, steht in einem eigenen Artikel.

Warum Kriterien vor dem Lauf feststehen müssen und prüfbar noch nicht geprüft heißt:

Automatisiert wird zuerst das Prüfbare

Vier Bausteine für die Trennung

Eigener Prüfer mit frischem Kontext. Der Prüfer bekommt die Anforderung und das Ergebnis. Den Arbeitsverlauf des Erstellers bekommt er nicht, auch nicht dessen Zusammenfassung. Wer zuerst „alles erledigt“ liest, sucht danach weniger gründlich. Das gilt für Menschen, und ich gehe bei Modellen vom selben Effekt aus.

Kriterien vor dem Lauf. Was „fertig“ heißt, steht geschrieben, bevor der Agent startet. Ein frei gewähltes Rechenbeispiel: Der Auftrag lautet, 40 Lieferantendatensätze gegen eine Liste abzugleichen. Das Kriterium lautet dann: 40 Zeilen im Ergebnis, jede mit Status und Fundstelle, jede Abweichung einzeln aufgeführt. Fehlt eine Zeile, ist der Lauf nicht fertig, egal was die Meldung sagt.

Prüfdatei sperren. Der Agent darf Tests und Kriterien lesen. Ändern darf er sie nicht. Diese Grenze gehört in die Dateirechte. Als Bitte im Auftragstext hält sie nichts auf. Ein Agent, der einen roten Test grün bekommen soll und den Test ändern darf, hat zwei Wege zum Ziel. Einer davon ist kürzer.

Warum eine Regel im Auftragstext keine Sperre ist und woran Sie eine technische Grenze erkennen:

Wenn die einzige Sperre ein Satz im Systemprompt ist

Dazu gehört eine Gegenprobe. Bauen Sie absichtlich einen Fehler ein und sehen Sie nach, ob die Prüfung rot wird. Eine Prüfung, die nicht fehlschlagen kann, prüft nichts.

Nachweis verlangen. Das Wort „geprüft“ ist eine Behauptung. Ein Nachweis hat einen Befehl, eine Ausgabe, einen Zeitpunkt und einen Dateistand. Lassen Sie sich die Ausgabe zeigen und keine Nacherzählung der Ausgabe.

Was bei einem Sprachmodell als Auditnachweis zählt und was nur eine Auskunft ist:

Auditnachweis bei einem Sprachmodell

Mehrere Modelle, die sich einig sind, zählen als eine Quelle

Ein beliebter Ausweg: Man fragt drei Modelle, und wenn alle zustimmen, gilt das Ergebnis als bestätigt. Im Audit zählen drei Zeugen, die voneinander abgeschrieben haben, als einer.

Die Modelle bekommen denselben Auftragstext und dieselben Unterlagen. Steckt der Fehler in der Unterlage, übernehmen ihn alle drei. Dazu kommt nach meiner Einschätzung, dass große Sprachmodelle aus ähnlichen Daten gelernt haben und deshalb ähnliche Irrtümer teilen können. Eine Messung dazu zitiere ich hier nicht.

Unabhängig wird eine Prüfung durch eine andere Grundlage: eine Messung, ein fester Test, der Blick in die Originalquelle, ein Mensch mit Fachkenntnis. Mehrere Modelle helfen beim Finden von Einwänden. Als Bestätigung taugen sie wenig.

Der stille Fehler: Erfolg gemeldet, nichts getan

Der zweite Fehler ist schwerer zu sehen. Ein Unteragent scheitert, und der übergeordnete Agent fasst trotzdem „erledigt“ zusammen. Eine Anweisungsdatei wird nicht geladen, und niemand erfährt es. Eine nächtliche Routine bricht ab, und am Morgen fehlt jede Meldung. In Anleitungen zu KI-Agenten heißt es oft sinngemäß, es gebe in solchen Fällen meist keinen Fehler, der auf das Problem hinweist.

Eine Kontrolle, die ausfallen kann, ohne dass es jemand merkt, ist im Audit ein Befund. Meine Frage dazu lautet: Woran hätten Sie gemerkt, dass die Prüfung gestern nicht gelaufen ist? ISO/IEC 42001 verlangt in A.6.2.6, die Elemente für den laufenden Betrieb eines KI-Systems festzulegen und zu dokumentieren. Die Überwachung gehört dazu. Drei Gegenmittel helfen.

Fälle zählen. Jeder Bericht nennt drei Zahlen: eingegangen, bearbeitet, geprüft. Im Beispiel oben also 40, 40 und 40. Steht dort 40, 31 und 31, ist die Frage nach den neun fehlenden Fällen sofort gestellt. Ohne Zähler sieht „null Befunde“ bei null geprüften Fällen aus wie ein sauberes Ergebnis.

Abbruchbedingungen festlegen. Vor dem Lauf steht fest, wann der Ablauf anhält: Ein Prüfschritt liefert kein Ergebnis, die Zahlen stimmen nicht überein, eine Pflichtdatei fehlt. Dann stoppt der Ablauf und meldet sich. Ein Ablauf, der bei einem Fehler weiterläuft, erzeugt einen vollständig aussehenden Bericht über unvollständige Arbeit.

Stichprobe durch den Menschen. Eine feste Zahl von Fällen je Woche, zufällig gezogen, gegen die Originalquelle gehalten, mit Datum und Namen abgelegt. Im Beispiel fünf von 40. Die Stichprobe prüft das Ergebnis und nebenbei den Prüfagenten. Findet der Mensch etwas, das der Prüfer durchgelassen hat, wissen Sie mehr als nach hundert grünen Läufen.

Welche Rechte und Grenzen ein Agent braucht, bevor er selbstständig arbeitet:

KI-Agenten absichern

Fünf Fragen an Ihren Agenten-Ablauf

  • Wer prüft das Ergebnis, und kennt dieser Prüfer den Arbeitsverlauf des Erstellers?
  • Wo stehen die Kriterien für „fertig“, und wurden sie vor dem Lauf festgelegt?
  • Kann der Agent Tests oder Kriterien technisch ändern?
  • Welchen Nachweis liefert ein Lauf: Zähler, Ausgaben, Dateistand?
  • Woran merken Sie, dass ein Prüfschritt ausgefallen ist, und wer zieht die Stichprobe?

Zwei klare Antworten sind ein Anfang. Fünf sind ein Ablauf, den Sie vor einer Geschäftsführung und in einem Audit vertreten können.

Was Sie am Montag tun

Nehmen Sie einen Ablauf, den ein Agent heute schon erledigt. Schreiben Sie auf eine halbe Seite, was „fertig“ bedeutet und welche drei Zahlen der Bericht nennen muss. Ziehen Sie fünf Fälle aus der letzten Woche und halten Sie sie gegen die Quelle. Das dauert eine Stunde. Danach wissen Sie, ob Ihr Agent liefert oder nur meldet.

So meine Interpretation aus der Praxis. Für Rechtsberatung bitte an entsprechende Stellen wenden.

Teilen: LinkedIn E-Mail

Häufige Fragen

Reicht es, wenn derselbe Agent seine Arbeit in einem zweiten Durchgang prüft?+

Nein. Im zweiten Durchgang arbeitet er mit demselben Verständnis der Aufgabe und mit dem eigenen Verlauf im Kontext. Ein Lesefehler aus dem ersten Durchgang bleibt stehen. Brauchbar wird die Prüfung mit einem eigenen Prüfer, der nur Anforderung und Ergebnis kennt, und mit Kriterien, die vor dem Lauf feststanden.

Verlangt ISO/IEC 42001 einen eigenen Prüfagenten?+

Nein. Abschnitt 9.2.2 fordert Objektivität und Unparteilichkeit für das interne Audit des Managementsystems. A.6.2.4 fordert festgelegte Maßnahmen und Kriterien für Verifizierung und Validierung. Wie Sie das umsetzen, entscheiden Sie. Die Trennung von Ersteller und Prüfer ist meine Übertragung des Auditgedankens auf den einzelnen Lauf.

Sind drei Modelle, die dasselbe sagen, eine unabhängige Bestätigung?+

Nach meinem Maßstab nein. Sie bekommen denselben Auftrag und dieselben Unterlagen und können ähnliche Irrtümer teilen. Unabhängig ist eine Prüfung mit anderer Grundlage, etwa ein fester Test, eine Messung oder die Stichprobe eines Menschen gegen die Originalquelle.

Woran erkenne ich einen stillen Fehler?+

An Zahlen, die nicht zusammenpassen. Lassen Sie jeden Lauf melden, wie viele Fälle eingegangen sind, wie viele bearbeitet und wie viele geprüft wurden. Legen Sie fest, bei welchen Abweichungen der Ablauf anhält. Und ziehen Sie regelmäßig eine Stichprobe von Hand. Ein Bericht ohne Zähler kann leer sein, ohne dass es auffällt.

Autor & fachliche Prüfung: Lars Zimmermann · ISO/IEC 42001 Senior Lead Auditor & Senior Lead Implementer · ISO/IEC 27001 Lead Auditor & Lead Implementer (PECB)

Auditor mit Stallgeruch, Geschäftsführer eines produzierenden Mittelständlers, der KI-Managementsysteme und Informationssicherheit prüft und aufbaut. Autor von „Stallgeruch“. Qualifikation auf Credly verifizieren · Mehr über mich.

Stand: 19. November 2026. Inhalt nach bestem Wissen recherchiert und fachlich geprüft; ersetzt keine Rechtsberatung im Einzelfall.

Konkrete Fragen zu Ihrem Fall?

Im kostenlosen 15-Minuten-Erstgespräch ordnen wir Ihren Stand zu ISO 42001, ISO 27001 und dem EU AI Act ein, ehrlich und ohne Verkaufsdruck.

Weiterlesen