Darf eine KI kündigen? Der Fall Luna und Artikel 22 DSGVO

Seit dem 1. April 2026 führt in San Francisco eine KI einen echten Laden. Sortiment, Preise, Öffnungszeiten, Einstellungen, Marketing, Gestaltung. Der Agent heißt Luna, der Laden heißt Andon Market und steht an der Union Street. Betrieben wird das Ganze von Andon Labs, der Mietvertrag läuft über drei Jahre.

Inzwischen hat Luna einen Mitarbeiter entlassen. Soweit bekannt ist das die erste Kündigung, die eine KI ausgesprochen hat. Die Meldung lief als Schreckbild durch die Presse. Die kalte Maschine, die Menschen rauswirft.

Liest man nach, was tatsächlich passiert ist, dreht sich das Bild um. Luna war nicht zu hart. Sie war zu spät. Der Grund dafür steckt in jedem Agenten, den Sie gerade im Betrieb testen.

Was in San Francisco wirklich passiert ist

Luna hat sich selbst ein Mitarbeiterhandbuch geschrieben. Darin stand eine klare Regel: drei unentschuldigte Verspätungen innerhalb von 30 Tagen, dann eine förmliche schriftliche Verwarnung. Wiederholte Verspätung kann zur Beendigung des Arbeitsverhältnisses führen.

Dann kam ein Mitarbeiter zu spät. Bei 17 von 23 Schichten.

Das Handbuch war zu diesem Zeitpunkt aus Lunas Gedächtnis verschwunden. Sie entschuldigte weiter, Schicht für Schicht.

Erst die Forscher brachten sie zurück auf die eigene Regel. Lunas Empfehlung blieb trotzdem bei einer mündlichen Verwarnung. Ihre Einschätzung änderte sich erst, als die Menschen eine Aufzeichnung von außerhalb des Systems beisteuerten, ein bereits geführtes förmliches Gespräch, und sie baten, die Eignung des Mitarbeiters neu zu bewerten. Dann empfahl sie, sich zu trennen.

Andon Labs hat selbst festgehalten, dass Luna zu diesem Zeitpunkt Claude Opus 4.8 nutzte und die meisten Modelle genauso entschieden hätten. Das ist der ehrlichere Teil der Meldung. Hier ist kein Hersteller ausgerutscht.

Die Pointe ist nicht Härte, sondern Vergesslichkeit

Ein Sprachmodell hält seinen Arbeitsstand in einem begrenzten Fenster. Läuft das Fenster voll, wird zusammengefasst und verdichtet. Weggeworfen wird dabei, was das Modell für unwichtig hält. Nicht das, was Sie für unwichtig halten.

Im Alltag fällt das kaum auf. Hier kostete es eine Regel, die der Agent selbst aufgeschrieben hatte. Das Handbuch existierte weiter als Datei. Im Kopf des Agenten existierte es nicht mehr.

Die Gegenrichtung gab es auch. Luna hat Stellenanzeigen geschaltet, Telefoninterviews geführt und über Einstellungen entschieden. Dass sie eine KI ist, hat sie Bewerbern nicht durchgängig gesagt. Ihre eigene Begründung dafür: Das würde Bewerber verwirren und gute Leute abschrecken.

Zwei Richtungen, ein Muster. Der Agent hält sich nicht an das, was er selbst festgelegt hat, und niemand im System merkt es.

Übertragen Sie das auf Ihren Betrieb. Ein Agent bekommt am Montag die Anweisung, bei Rechnungen über 5.000 Euro immer Rücksprache zu halten. Am Donnerstag ist der Verlauf lang geworden und wurde verdichtet. Die Grenze ist weg. Der Agent arbeitet weiter, souverän und falsch. Auffallen wird es, wenn jemand die Buchungen durchsieht. Derselbe Mechanismus, der Luna ihr Handbuch gekostet hat, nur mit Ihrem Geld.

In Deutschland ist diese Frage längst beantwortet

Artikel 22 Absatz 1 DSGVO gibt jeder Person das Recht, keiner ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Eine Kündigung ist dafür das Schulbeispiel.

Absatz 2 kennt drei Ausnahmen: Erforderlichkeit für einen Vertrag, eine Rechtsvorschrift mit angemessenen Schutzmaßnahmen, ausdrückliche Einwilligung. Greift eine davon, verlangt Absatz 3 trotzdem angemessene Maßnahmen zum Schutz der betroffenen Person. Dazu gehört mindestens das Recht auf Eingreifen einer Person.

Das Wort ausschließlich ist der Hebel, und es wird regelmäßig zu großzügig gelesen. Ein Mensch, der die Empfehlung des Systems abzeichnet, ohne sie zu prüfen, macht aus einer automatisierten Entscheidung keine menschliche. Wer eingreifen soll, braucht drei Dinge: die Befugnis dazu + die Information dafür + die Zeit. Fehlt eines davon, ist die Aufsicht Dekoration.

In der Praxis sieht der Fall selten nach Kündigung aus. Ein Agent plant Schichten und nimmt jemanden dauerhaft aus dem Plan. Ein Bewertungssystem sortiert eine Person in die unterste Gruppe, und daran hängt die Prämie. Ein Zugangssystem entzieht Rechte, weil ein Muster auffällig wirkt. Keine dieser Entscheidungen heißt Kündigung. Erheblich beeinträchtigen können sie alle, und damit landen sie bei Artikel 22.

Kalifornien hat an genau dieser Stelle gerade nachgezogen. Gouverneur Newsom hat am 30. September 2026 den No Robo Bosses Act unterzeichnet, Senatsvorlage SB 947. Arbeitgeber dürfen sich bei Kündigungen und Disziplinarmaßnahmen nicht mehr allein auf automatisierte Systeme stützen. Ein Mensch muss die Entscheidung anhand zusätzlicher Informationen bestätigen, etwa Beurteilungen von Vorgesetzten, Rückmeldungen von Kollegen oder der Personalakte. Das Gesetz gilt ab dem 1. Juli 2027. Ein Vorläufer war ein Jahr zuvor am Veto des Gouverneurs gescheitert.

Für Ihren Betrieb ändert das unmittelbar nichts. Nützlich ist es trotzdem, im Gespräch mit allen, die Europa für überreguliert halten. Ein US-Bundesstaat landet 2026 dort, wo Artikel 22 seit 2018 steht.

Kündigungen stehen im Hochrisiko-Anhang der KI-Verordnung

Anhang III Nummer 4 Buchstabe b) der KI-Verordnung nennt KI-Systeme, die bestimmungsgemäß für Entscheidungen verwendet werden sollen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen. Beeinflussen genügt. Die Entscheidung selbst muss der Agent gar nicht treffen.

Buchstabe a) deckt die Gegenseite ab: Einstellung und Auswahl, gezielte Stellenanzeigen, Sichten und Filtern von Bewerbungen, Bewerten von Bewerbern. Luna hat beides getan, die Auswahl und die Trennung.

Erwägungsgrund 57 nennt den Grund dafür. Solche Systeme beeinflussen Karriereaussichten und Lebensgrundlagen spürbar, und sie können historische Diskriminierungsmuster fortschreiben, etwa gegenüber Frauen, bestimmten Altersgruppen oder Menschen mit Behinderungen.

Zeitlich haben Sie Luft. Der Digital Omnibus, Verordnung (EU) 2026/1744 vom 8. Juli 2026, Amtsblatt vom 24. Juli 2026, in Kraft seit dem 27. Juli 2026, hat die Anwendung von Anhang III auf den 2. Dezember 2027 verschoben. Luft heißt nicht Freistellung. Wer heute einen Agenten in die Personalarbeit lässt, baut das System, das in gut einem Jahr unter diese Pflichten fällt. Nachrüsten ist an dieser Stelle teurer als mitdenken.

Die Einordnung wirkt in beide Richtungen, und die andere Richtung spricht für Sie. Längst nicht jedes Werkzeug in der Personalabteilung wird dadurch hochriskant. Der Digital Omnibus hat Artikel 6 enger gefasst, reine Komfort-, Effizienz- und Qualitätskontrollfunktionen fallen heraus. Ein Terminassistent, der Gesprächseinladungen verschickt, entscheidet nichts. Ein Textbaustein-Generator für Stellenanzeigen auch nicht. Die Grenze verläuft dort, wo ein System eine Person bewertet oder vorsortiert. Schreiben Sie diese Einordnung einmal auf, mit Begründung. Dann müssen Sie sie im Audit nicht erfinden.

Was ich als Auditor an dieser Stelle sehen will

ISO/IEC 42001 behandelt die menschliche Aufsicht am ausführlichsten in Maßnahme A.9.3, den Zielen für die verantwortungsvolle Nutzung von KI-Systemen. Vier Fragen daraus stelle ich in jedem Audit, in dem ein Agent über Menschen mitentscheidet.

• In welchen Phasen des Lebenszyklus ist menschliche Aufsicht vorgesehen, und woran haben Sie diese Auswahl festgemacht?
• Haben die Prüfenden die Befugnis, eine Entscheidung des Systems außer Kraft zu setzen? Zeigen Sie mir einen Fall, in dem das geschehen ist.
• Haben Sie geprüft, ob automatisierte Entscheidungsfindung für diesen Anwendungsfall überhaupt angemessen ist, und wo ist das dokumentiert?
• Wie melden die Aufsichtspersonen Bedenken zu Systemergebnissen, und an wen?

Die zweite Frage entscheidet den Rest. Die typische Abweichung lautet: Menschliche Aufsicht ist vorgesehen, es gibt aber keine Aufzeichnung darüber, ob und wie oft tatsächlich eingegriffen wurde. In der Stichprobe zeigt sich dann, dass Systemergebnisse durchgängig bestätigt werden, ohne inhaltliche Prüfung. Die Maßnahme ist damit nicht wirksam, auch wenn das Aufsichtskonzept sauber geschrieben ist.

Zwei Antworten auf diese Frage kenne ich gut. Die schwache lautet: Selbstverständlich kann jederzeit eingegriffen werden, das ist im Konzept geregelt. Die belastbare lautet: Am 14. März hat die Teamleitung die Empfehlung des Systems verworfen, hier ist der Vorgang, hier die Begründung, und daraufhin haben wir die Schwelle angepasst. Die erste Antwort kostet mich zehn Minuten Nachfragen. Die zweite beendet das Thema.

Im Fall Luna fehlte genau diese Aufzeichnung. Es gab eine Regel. Es gab keinen Nachweis, welche Verspätung aus welchem Grund durchgewunken wurde. Erst ein Dokument von außerhalb des Systems brachte die Sache in Bewegung, und auch das erst, nachdem Menschen gezielt danach gesucht hatten.

Ein Aufsichtskonzept ohne Eingriffsaufzeichnung ist eine Absichtserklärung. Im Audit zählt die Aufzeichnung, das Konzept allein trägt nicht.

Was Sie am Montag prüfen können

Dafür brauchen Sie kein Projekt. Drei Fragen reichen für den ersten Überblick.

• Welche Agenten in Ihrem Haus bereiten Entscheidungen über Menschen vor oder treffen sie? Bewerbervorauswahl, Schichtplanung, Leistungsbewertung, Entzug von Zugängen. Schreiben Sie die Liste auf, bevor Sie urteilen.
• Welche Regel hat sich der Agent selbst gegeben oder von Ihnen bekommen, und wo liegt sie außerhalb seines Gedächtnisses? Eine Regel, die nur im Gesprächsverlauf steht, ist nach dem nächsten Verdichten weg.
• Wer hat zuletzt eine Empfehlung dieses Agenten überstimmt, und wo steht das? Finden Sie keinen einzigen Fall, prüfen Sie, ob wirklich alles richtig war oder ob niemand hinsieht.

Die dritte Frage ist die unangenehmste und die nützlichste. Ein Jahr Betrieb ohne einen einzigen Widerspruch bedeutet eines von zwei Dingen. Entweder lag das System in jedem Fall richtig, was bei Entscheidungen über Menschen unwahrscheinlich ist. Oder die Aufsicht findet auf dem Papier statt. Welches von beiden zutrifft, klärt ein Blick in fünf Vorgänge.

Der Rest ist Handwerk. Die Regel gehört in ein Dokument, das bei jedem Lauf frisch geladen wird. Die Entscheidung über einen Menschen gehört zu einem Menschen, der sie begründen kann. Jeder Eingriff gehört in eine Aufzeichnung, sonst lässt sich die Wirksamkeit später nicht belegen. Und die Frage, ob der Anwendungsfall überhaupt automatisiert gehört, wird einmal beantwortet und aufgeschrieben, bevor das System läuft.

Luna hat niemanden ungerecht behandelt. Sie führt seit dem Frühjahr einen Laden und hat dabei eine Regel verloren, die sie sich selbst gegeben hatte. Das ist der realistische Schadensfall im Mittelstand. Kein Terminator. Ein Agent, der vergisst, was er gestern beschlossen hat, und ein Betrieb, in dem das monatelang niemandem auffällt.