Der Buchhaltungs-Bot, den keiner mehr kontrolliert

In einem KI-Podcast habe ich neulich einen Anbieter erzählen hören, wie stolz er auf seinen Buchhaltungs-Bot ist. Der Agent zieht aus allen E-Mail-Postfächern aller Mitarbeiter die Rechnungen, legt sie ab und schickt sie an den Steuerberater. Der Satz, der hängen blieb: 'Da schaut gar keiner mehr von uns drauf, das soll er einfach machen.' Das wurde als Fortschritt verkauft. Ich sehe da zwei offene Scheunentore. Und ich sage Ihnen als Auditor genau, welche.

Was hier wirklich passiert (und warum es kein Fortschritt ist)

Reden wir Klartext. Ein Agent, der selbstständig in Postfächer greift und Belege durchreicht, ohne dass jemand definiert draufschaut, ist keine Automatisierung im guten Sinne. Es ist ein unbeaufsichtigter Prozess. Der Unterschied ist gewaltig. Automatisierung heißt: Ein Mensch hat den Ablauf entworfen, kontrolliert ihn und kann ihn stoppen. Ein unbeaufsichtigter Prozess heißt: Es läuft, und keiner merkt es, wenn es kippt.

Das Problem sind hier zwei getrennte Ebenen, die beide für sich schon ein Finding wären. Erstens der Datenzugriff auf sämtliche Mitarbeiter-Postfächer. Zweitens die vollautomatische Verarbeitung steuerrelevanter Belege ohne menschliche Endkontrolle. Beide zusammen ergeben ein Bild, bei dem mir als Auditor die Checkliste kurz wird und die Liste der offenen Punkte lang. Das ist meine Einordnung, keine Rechtsberatung. Aber die Einordnung ist eindeutig.

Ebene 1: Ein Agent in allen Postfächern ist ein Datenschutz-Vorfall mit Ansage

Wer einem KI-Agenten Vollzugriff auf alle Mitarbeiter-Postfächer gibt, hat nicht eine Rechtsgrundlage geprüft, sondern eine Tür ausgehängt. In diesen Postfächern liegt nicht nur Buchhaltung. Da liegt Kommunikation mit dem Betriebsrat, mit dem Anwalt, mit Bewerbern, mit Kollegen über Kollegen. Personenbezogene Daten überall. Und jede Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage nach Art. 6 DSGVO. Nicht 'wäre schön', sondern zwingend. Kein Erlaubnistatbestand, keine Verarbeitung.

Dazu kommt die Zweckbindung. Rechnungen ziehen ist ein Zweck. Das komplette Postfach durchpflügen ist ein anderer. Ein Agent, der alles liest, um das Wenige zu finden, das er braucht, verarbeitet weit mehr, als der Zweck hergibt. Und beim Beschäftigtendatenschutz wird es noch enger, weil hier ein Machtgefälle zwischen Arbeitgeber und Beschäftigten dazukommt, das der Gesetzgeber besonders schützt.

Und jetzt der Punkt, der am häufigsten übersehen wird. Wenn im Betrieb die private Nutzung des dienstlichen E-Mail-Kontos erlaubt oder auch nur geduldet ist, dann berührt ein solcher Agenten-Zugriff als Prinzip das Fernmeldegeheimnis. Das ist ein anderes Kaliber als eine reine Datenschutzfrage. Ich sage bewusst 'als Prinzip', weil die Rechtslage im Detail umstritten und einzelfallabhängig ist. Aber das Risiko einfach wegzuautomatisieren, weil der Bot so praktisch ist, ist genau die Denkweise, die den Vorfall produziert.

Ein Agent, der alles liest, um das Wenige zu finden, das er braucht, ist kein cleverer Helfer. Er ist ein Zugriff ohne Grundlage, der nur so lange gutgeht, bis jemand fragt: Wer hat das eigentlich genehmigt?

Ebene 2: 'Da schaut keiner mehr drauf' kollidiert mit der GoBD

Jetzt zur zweiten Ebene, den Belegen selbst. Steuerrelevante Unterlagen unterliegen in Deutschland der GoBD, den Grundsätzen zur ordnungsmäßigen Führung und Aufbewahrung von Büchern und Aufzeichnungen in elektronischer Form. Ein Kernprinzip dort heißt Nachvollziehbarkeit und Nachprüfbarkeit. Die Verarbeitungskette vom eingehenden Beleg bis zur Buchung muss lückenlos nachvollziehbar sein. Ein sachverständiger Dritter, etwa ein Betriebsprüfer, muss sich in angemessener Zeit einen Überblick verschaffen können.

Und jetzt legen Sie den Satz 'Da schaut gar keiner mehr von uns drauf' daneben. Wenn niemand mehr kontrolliert, welche Rechnung der Agent gefunden, welche er übersehen und welche er falsch zugeordnet hat, dann fehlt genau die Endkontrolle, die die Kette schließt. Wer garantiert, dass keine Rechnung durchrutscht? Dass keine doppelt läuft? Dass keine Phishing-Rechnung, die als PDF im Postfach lag, brav an den Steuerberater weitergereicht wird? Der Bot nicht. Der macht, was man ihm gesagt hat.

• Fehlende Vollständigkeitskontrolle: Niemand prüft, ob wirklich alle relevanten Belege erfasst und keine unzulässigen weitergegeben wurden.
• Keine Freigabeinstanz: Es gibt keinen definierten Menschen, der den Output verantwortet, bevor er den Betrieb verlässt.
• Keine Verfahrensdokumentation: Wie der Agent entscheidet, was ein Beleg ist, ist eine Blackbox statt eines dokumentierten Verfahrens.
• Kein Vier-Augen-Prinzip: Bei einem Prozess, der direkt in die Steuererklärung fließt, fällt die zweite Kontrollinstanz komplett weg.

Wirksame menschliche Aufsicht ist kein Bremsklotz, sie ist der Standard

Hier kommt der Punkt, an dem Governance und gesunder Menschenverstand dasselbe sagen. Die ISO/IEC 42001, der Standard für KI-Managementsysteme, verlangt, dass Sie Ihre KI-Systeme über ihren Lebenszyklus beherrschen, Risiken bewerten und Verantwortlichkeiten festlegen. Und der EU AI Act formuliert für Hochrisiko-Systeme in Art. 14 das Prinzip der wirksamen menschlichen Aufsicht: Ein System muss so gebaut sein, dass Menschen es während des Betriebs tatsächlich überwachen und eingreifen können.

Wichtig zur Einordnung: Ein Buchhaltungs-Bot ist nicht automatisch ein Hochrisiko-System im Sinne des AI Act. Ich zitiere Art. 14 hier als Prinzip, nicht als unmittelbar zwingende Pflicht für jeden Rechnungsagenten. Aber das Prinzip dahinter ist universell und ergibt schon aus reiner Sorgfaltspflicht Sinn. Wer 'da schaut keiner mehr drauf' zum Feature erklärt, hat genau das Prinzip abgeschafft, das jede seriöse KI-Governance ins Zentrum stellt.

Menschliche Letztkontrolle bedeutet nicht, dass jemand jede Rechnung von Hand abtippt. Das wäre albern. Es bedeutet: Es gibt einen definierten Menschen mit Kompetenz und Befugnis, der den Prozess verantwortet, Auffälligkeiten sieht und den Bot stoppen kann. Ich habe selbst ein KI-gestütztes ERP mit siebzehn Agenten im Einsatz und Prozesse von zwölf Minuten auf sechsundzwanzig Sekunden gedrückt. Das geht. Aber jeder dieser Agenten hat definierte Grenzen, protokollierte Schritte und einen Menschen, der die Verantwortung trägt. Genau das ist der Unterschied zwischen 'schnell' und 'unbeaufsichtigt'.

Der Audit-Blick: Was ich hier als Finding notieren würde

Wenn ich diesen Buchhaltungs-Bot in einem Audit anträfe, wäre das kein Nebensatz im Bericht. Das wären mehrere handfeste Findings, und einige davon in der Kategorie, bei der man nicht bis zum nächsten Jahr wartet.

• Zugriff ohne dokumentierte Rechtsgrundlage: Verarbeitung personenbezogener Daten aus allen Postfächern ohne geprüften Erlaubnistatbestand und ohne Zweckbindung.
• Verletztes Prinzip beim Beschäftigten- und Fernmeldegeheimnis: Kein Konzept für erlaubte oder geduldete Privatnutzung, kein Ausschluss privater Kommunikation.
• Abgeschaffte menschliche Aufsicht: Kein Verantwortlicher, keine Eingriffsmöglichkeit, keine Freigabe vor dem Versand an Dritte.
• GoBD-Lücke: Keine belegbare Nachvollziehbarkeit der Verarbeitungskette, keine Verfahrensdokumentation, keine Vollständigkeitssicherung.
• Fehlende Risikobewertung: Der Prozess wurde eingeführt, ohne die Risiken vorher systematisch zu erfassen und zu behandeln.

Das Bittere daran: Keines dieser Probleme ist teuer oder kompliziert zu lösen. Eine saubere Rechtsgrundlage, ein eingegrenzter Zugriff statt Vollzugriff, ein definierter Freigabeschritt, eine kurze Verfahrensdokumentation. Das ist eine Woche Arbeit, keine Grundsatzentscheidung gegen KI. Der Fehler ist nicht der Bot. Der Fehler ist der Stolz auf die abgeschaffte Kontrolle.

Automatisieren Sie, was Sie automatisieren können. Ich bin der Letzte, der davon abrät. Aber schaffen Sie nicht die menschliche Letztkontrolle ab und nennen es Fortschritt. Ein Prozess, den keiner mehr kontrolliert, ist kein Selbstläufer. Er ist ein Vorfall, der nur noch nicht passiert ist.