Not-Aus für KI: Anhalten darf jeder, anlaufen nicht jeder

An jeder Maschine in der Werkhalle sitzt ein roter Pilzknopf auf gelbem Grund. Jeder weiß, wo er ist. Jeder darf ihn drücken, keiner muss vorher fragen. In meinen KI-Seminaren stelle ich danach eine einzige Frage: Wo ist der Not-Aus für Ihre KI? An der Maschine denkt jeder daran. Bei der KI denkt erst mal kaum jemand daran.

Dabei ist die Frage keine Spielerei. Ein KI-Agent mit Schreibrechten im ERP bucht, bestellt und verschickt schneller, als jemand am Telefon die IT erreicht. Abschalten heißt in vielen Betrieben heute: Ticket schreiben, Dienstleister anrufen, im Zweifel das Abo kündigen. Das ist kein Not-Aus. Das ist ein Behördengang.

Was der Not-Aus an der Maschine können muss

Das Maschinenrecht beschreibt den Not-Halt erstaunlich genau. Die geltende Maschinenrichtlinie 2006/42/EG regelt ihn in Anhang I, Nummer 1.2.4.3. Die Maschinenverordnung (EU) 2023/1230 übernimmt das fast wortgleich in Anhang III, Teil B. Sie gilt ab dem 20. Januar 2027; im zuerst veröffentlichten Text stand der 14. Januar, eine Berichtigung im Amtsblatt hat das Datum korrigiert. Aus dem Text lassen sich sechs Eigenschaften ablesen:

• Er ist deutlich erkennbar, gut sichtbar und schnell erreichbar.
• Er bringt den gefährlichen Vorgang möglichst schnell zum Stillstand, ohne neue Gefahren zu schaffen.
• Er bleibt gedrückt, bis jemand ihn mit einer eigenen Handlung freigibt.
• Die Freigabe startet die Maschine nicht. Sie macht den Wiederanlauf nur möglich.
• Er ist in jeder Betriebsart verfügbar.
• Er ergänzt die übrigen Schutzmaßnahmen und ersetzt keine davon.

Eine Nummer weiter, in 1.2.4.4, steht ein Satz, den jeder Anlagenbauer kennt. Arbeiten mehrere Maschinen zusammen, muss der Halt auch die verbundenen Einrichtungen stillsetzen können, sobald von deren Weiterlaufen eine Gefahr ausgehen kann. Eine verkettete Anlage stoppt also als Ganzes. Diese beiden Nummern sind die beste Vorlage für KI, die ich kenne.

„Durch die Freigabe darf die Maschine nicht wieder in Gang gesetzt, sondern nur das Wiederingangsetzen ermöglicht werden.“ Maschinenrichtlinie 2006/42/EG, Anhang I, 1.2.4.3

Wie ein Not-Aus für KI aussieht

Übersetzt auf ein KI-System braucht es keinen roten Pilz. Es braucht eine einzige Handlung, die jede Person am System kennt und die ohne Rückfrage wirkt. Was diese Handlung technisch tut, hängt am System. Bei einem Agenten, der im ERP Bestellungen anlegt, sind es typischerweise drei Schritte, die zusammen ausgelöst werden:

• Der technische Benutzer der KI verliert seine Schreibrechte. Lesen darf er weiter, damit nachher nachvollziehbar bleibt, was er zuletzt gesehen hat.
• Die Warteschlange mit offenen Aufträgen an die KI wird angehalten. Gelöscht wird nichts.
• Die Skripte, die Ergebnisse der KI weiterverarbeiten, stoppen mit. Das ist die verkettete Anlage aus 1.2.4.4, nur ohne Förderband.

Den sicheren Zustand kennt die Maschine auch. Bei KI heißt das: kein halber Vorgang. Eine Bestellung, die gerade an den Lieferanten geht, wird entweder sauber zu Ende gebracht oder zurückgenommen. Was ab dem Moment des Halts liegen bleibt, steht mit Uhrzeit im Protokoll. Wer das vorher festlegt, muss es im Ernstfall nicht erfinden.

Bei eingekauften Diensten liegt der Knopf oft gar nicht bei Ihnen. Der Anbieter kann sein Modell abschalten, Sie können es nicht. Was Sie trotzdem in der Hand haben, ist der Zugang: den Schlüssel der Schnittstelle widerrufen, die Verbindung zum ERP trennen, das technische Konto sperren. Das ist Ihr Not-Aus, auch wenn die KI beim Anbieter weiterläuft. Fragen Sie deshalb vor dem Kauf, welche dieser Handlungen Sie ohne den Anbieter auslösen können und wie lange jede davon dauert.

Wie schnell eine Kette aus Automatik losläuft, zeigt ein Fall, den ich im Seminar gern erzähle. Ein Skript löste dieselbe Rückmeldung aus der Fertigung fünfmal hintereinander aus, die Menge stand danach fünffach im System. Aufgefallen ist es einer Kollegin, die wusste, dass es diese Menge im Haus gar nicht geben kann. Kein Alarm, kein Wächter. Ein Mensch mit Erfahrung. Hätte hinter dem Skript eine KI gehangen, die aus Lagermengen Bestellungen ableitet, wären die Bestellungen schon unterwegs gewesen, bevor jemand den Hörer abnimmt.

Anhalten darf jeder. Anlaufen nicht.

An dieser Stelle verheddern sich viele Betriebe. Sie fragen: Wer darf die KI abschalten? Und weil Abschalten nach Verantwortung klingt, landet die Antwort bei der Geschäftsführung oder bei der IT. Damit wird der Knopf wieder zum Behördengang.

Die Maschine löst das mit einer klaren Trennung. Anhalten darf jeder, ohne Begründung, ohne Rückfrage. Der Wiederanlauf ist ein eigener, bewusster Schritt: Erst wird die Ursache geklärt, dann gibt jemand frei, der die Anlage kennt. Genau diese Trennung trägt auch bei KI.

• Den Halt darf jede Person auslösen, die mit dem System arbeitet. Die Kollegin im Vertriebsinnendienst, die eine seltsame Mail an einen Kunden sieht, braucht keine Genehmigung.
• Ein Halt kostet Zeit, mehr nicht. Ein Fehlalarm ist billig. Ein Halt, der ausbleibt, ist teuer.
• Den Wiederanlauf gibt die Person frei, der das System zugewiesen ist. Vorher prüft sie das Protokoll ab dem Zeitpunkt des Halts und lässt korrigieren, was schiefgelaufen ist.
• Jeder Halt wird festgehalten: wer, wann, warum. Ohne Schuldfrage. Wer gedrückt hat, hat seinen Job gemacht.

Der naheliegende Einwand: Dann drückt doch jeder ständig drauf. An der Maschine hat sich die niedrige Schwelle trotzdem bewährt, und das hat einen Grund. Der Not-Aus ist geschult, und wer drückt, erklärt danach, was er gesehen hat. Das bremst Spielerei und lässt den Ernstfall durch. Ein Not-Aus, den niemand kennt, gibt es nicht.

Am dringendsten wird der Knopf, wenn nicht mehr Sie die KI steuern. Der IT-Dienstleister eines mittelständischen Betriebs hatte in wenigen Monaten drei Sicherheitsvorfälle, alle über denselben Zugangsweg, das Microsoft-Konto des Hauses. Wer mit gestohlenen Zugangsdaten an einem KI-Agenten sitzt, wartet nicht auf ein Ticket. In diesem Moment zählt nur, wie schnell jemand im Haus die Verbindung kappt, und ob er sich das traut, ohne vorher die Geschäftsführung zu erreichen.

Was KI-Verordnung, Maschinenrecht und ISO 42001 dazu sagen

Für Hochrisiko-KI ist die Stopptaste Gesetz. Artikel 14 Absatz 4 Buchstabe e der KI-Verordnung verlangt, dass die Menschen, denen die Aufsicht übertragen ist, in den Betrieb eingreifen oder ihn mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können, sodass das System in einem sicheren Zustand zum Stillstand kommt. Artikel 26 Absatz 5 verpflichtet Betreiber, die Verwendung auszusetzen, sobald sie Grund zu der Annahme haben, dass das System ein Risiko birgt. Beide Stellen hat der Digital-Omnibus, Verordnung (EU) 2026/1744, nicht angefasst. Sie gelten für Systeme aus Anhang III ab dem 2. Dezember 2027.

Für KI in Maschinen hat derselbe Omnibus den Weg umgelegt. Die Maschinenverordnung steht in Anhang I der KI-Verordnung jetzt in Abschnitt B. Die Anforderungen an KI als Sicherheitsbauteil einer Maschine erlässt die Kommission per delegiertem Rechtsakt zur Maschinenverordnung, ergänzt in deren Anhang III, also in dem Anhang, in dem auch der Not-Halt steht. Gelten sollen sie ab dem 2. August 2028. Wer Maschinen mit KI baut, bekommt seine Stopptaste damit aus dem vertrauten Regelwerk.

Für die meisten Systeme im Mittelstand verlangt allerdings kein Gesetz eine Stopptaste. Ein Angebotsassistent, ein Agent im Einkauf, ein Chatbot im Kundendienst sind in aller Regel kein Hochrisiko. Gebaut wird der Not-Aus trotzdem, aus demselben Grund wie an der Maschine: Der Schaden entsteht schneller, als jemand die Zuständigkeit klärt.

ISO/IEC 42001 macht daraus keine eigene Pflicht, gibt aber die Richtung vor. Die Maßnahme A.6.2.7 verlangt, dass Sie bestimmen, welche technische Dokumentation jede Gruppe von Beteiligten zu einem KI-System braucht, und sie bereitstellen. Die Umsetzungshinweise in B.6.2.7 nennen als möglichen Inhalt einen Plan für den Umgang mit Ausfällen: das System auf einen früheren Stand zurücksetzen, einzelne Funktionen abschalten, Nutzer benachrichtigen. Dazu kommen Funktionen, mit denen Bediener in den Betrieb eingreifen können. Die laufende Überwachung selbst gehört in A.6.2.6. Im Audit frage ich an dieser Stelle nach dem Plan und gleich danach nach dem Beweis, dass er funktioniert.

Die Prüfung, die Sie am Montag machen können

Vier Fragen reichen, um festzustellen, ob Ihr Not-Aus existiert oder nur in einer Richtlinie steht. Stellen Sie sie für jedes KI-System, das selbst handelt, also bucht, bestellt, verschickt oder Daten ändert.

• Wo ist er? Nennen Sie die eine Handlung und den Ort, an dem sie ausgelöst wird. „Bei der IT“ ist kein Ort.
• Wer kommt dran? Jede Person, die mit dem System arbeitet, kennt ihn und darf ihn auslösen.
• Was passiert dann? Schreibrechte weg, Warteschlange steht, nachgelagerte Skripte stehen, kein Vorgang bleibt halb.
• Wann wurde er zuletzt gedrückt? Mit Datum, Dauer bis zum Stillstand und Protokoll eines Probelaufs.

Die vierte Frage ist die unbequemste. Ein Not-Aus, der nie ausgelöst wurde, ist eine Behauptung. An der Maschine wird er regelmäßig geprüft. Bei der KI reicht ein geplanter Probelauf außerhalb der Hauptzeit: Halt auslösen, Zustand ansehen, Wiederanlauf nach Freigabe. Danach wissen Sie, wie lange es wirklich dauert, und meistens auch, welches Skript keiner auf dem Zettel hatte.

Wie belastbar eine Antwort ist, hört man meist schon am ersten Satz:

• Schwach: Das kann die IT jederzeit abschalten. Belastbar: Jede Person im Einkauf sperrt den technischen Benutzer mit einer Schaltfläche, beim letzten Probelauf stand alles nach vier Minuten.
• Schwach: Wir haben einen Notfallplan. Belastbar: Hier ist der Plan, hier das Protokoll des Probelaufs, und hier die zwei Skripte, die wir dabei gefunden und angeschlossen haben.
• Schwach: Der Anbieter kann das Modell sperren. Belastbar: Den Schlüssel der Schnittstelle widerrufen wir selbst, ohne den Anbieter, in unter einer Minute.

Dann die gute Nachricht, über die zu selten gesprochen wird. Ein Not-Aus, der funktioniert, macht mutiger. Wer weiß, dass er jederzeit anhalten kann, gibt einer KI eher die Rechte, die sie braucht, um wirklich Arbeit abzunehmen. In der Werkhalle ist das selbstverständlich. Niemand ließe eine Fräse ohne Not-Aus laufen, und niemand lässt sie deshalb stehen. Bei der KI ist es dieselbe Rechnung.

Ersetzen kann der Not-Aus dabei nichts, so steht es auch im Maschinenrecht. Betragsgrenzen, saubere Rechte und Freigaben bleiben, was sie sind. Der Knopf ist die letzte Linie. Er muss nur da sein, wenn alle anderen schon durch sind.