KI-Sichtprüfung: Was „95 Prozent Genauigkeit“ verschweigt

Ein Praktiker aus der Industrie-KI erzählt in einem Interview, was Kunden von einer KI-Sichtprüfung verlangen: über 95 Prozent Genauigkeit. Das klingt nach einer klaren Anforderung. Welche Genauigkeit gemeint ist, sagt er nicht. Und genau dort beginnt das Problem.

Ich führe selbst eine Präzisionstechnik-GmbH. Bei uns entscheidet am Ende eine Prüfung, ob ein Teil das Haus verlässt. Wer mir eine Prüfung anbietet, die zu 95 Prozent genau ist, bekommt von mir eine Gegenfrage: 95 Prozent wovon?

Die Antwort ist keine Spitzfindigkeit. Mit derselben Zahl lässt sich ein System verkaufen, das jeden Fehler findet, und eines, das keinen einzigen findet. Das rechne ich Ihnen unten vor. Danach geht es um die zwei Zahlen, die in jede Abnahme gehören, und um die zwei Fragen, die fast immer fehlen.

Das System, das nichts tut, ist zu 99 Prozent genau

Nehmen Sie eine Linie mit 10.000 Teilen und einem Fehleranteil von 1 Prozent. Das sind 100 Fehlteile und 9.900 Gutteile. Jetzt zwei Prüfsysteme.

• System A winkt jedes Teil durch. Es liegt bei 9.900 von 10.000 Teilen richtig, also bei 99,0 Prozent Genauigkeit. Gefunden hat es keinen einzigen Fehler.
• System B erkennt 95 der 100 Fehlteile. Dafür sortiert es 2 Prozent der Gutteile aus, also 198 Teile. Richtig liegt es bei 95 plus 9.702 Teilen, das sind 97,97 Prozent.

Das nützliche System ist nach dieser Rechnung ungenauer als das nutzlose. Wer in der Abnahme nur die Genauigkeit über alle Teile misst, nimmt im Zweifel System A ab. Es besteht jede Prüfung mit 95 Prozent und hält seine Zusage. Es prüft nur nichts.

Der Grund ist einfach. Fehlteile sind selten. Eine Kennzahl, die alle Teile gleich zählt, wird von den Gutteilen beherrscht. Je besser Ihr Prozess läuft, desto weniger sagt sie aus. Bei 0,1 Prozent Fehleranteil kommt System A auf 99,9 Prozent und findet weiterhin nichts.

Dabei ist „Genauigkeit“ nicht das einzige Wort, das sich verbiegen lässt. Im Angebot kann damit auch die Erkennungsrate gemeint sein, also der Anteil der Fehlteile, die das System findet. Oder der Anteil echter Fehler unter allem, was es aussortiert. Drei verschiedene Größen, ein Wort. Steht im Lastenheft nur „95 Prozent Genauigkeit“, darf sich der Anbieter die günstigste aussuchen.

Ganz ohne Wert ist die Zahl trotzdem nicht. Meint der Anbieter mit 95 Prozent die Erkennungsrate, gemessen je Fehlerart auf Teilen aus Ihrer Fertigung, ist das eine starke Zusage. Dann fehlt nur noch die zweite Hälfte, der Preis dafür an Gutteilen. Fragen Sie also nicht, ob die Zahl stimmt. Fragen Sie, worauf sie sich bezieht und woran sie gemessen wurde. Ein seriöser Anbieter beantwortet das in einem Satz und legt die Vierfeldertafel dazu: wie viele Fehlteile erkannt, wie viele durchgelassen, wie viele Gutteile durchgelassen, wie viele aussortiert. Aus diesen vier Zahlen lässt sich jede Prozentangabe nachrechnen. Ohne sie lässt sich keine prüfen.

Zwei Zahlen gehören in die Abnahme

In der Qualitätssicherung gibt es dafür seit Jahrzehnten zwei Begriffe. Sie passen auf jede automatische Prüfung, ob mit KI oder ohne.

• Schlupf: Fehlteile, die durch die Prüfung rutschen. Bei System B sind es 5 von 100. Schlupf landet beim Kunden, als Reklamation, als 8D-Bericht, im schlimmsten Fall als Rückruf.
• Pseudoausschuss: Gutteile, die als fehlerhaft aussortiert werden. Bei System B sind es 198. Pseudoausschuss bleibt im Haus, als Nachprüfung von Hand, als Nacharbeit oder als Schrott.

Beide Zahlen haben einen Preis, und es ist nie derselbe. Bei einem Sichtteil mit kosmetischem Anspruch ist Pseudoausschuss teuer und Schlupf ärgerlich. Bei einem Teil, das in eine Bremse oder eine Lenkung geht, ist Schlupf das Einzige, was zählt. Deshalb gibt es keine allgemein gute Schwelle. Es gibt nur eine, die zu Ihrem Teil, Ihrem Kunden und Ihrer Kapazität in der Nachprüfung passt.

Ein Anbieter, der das verstanden hat, nennt Ihnen beide Zahlen ungefragt, und zwar gemessen auf Ihren Teilen. Eine Zahl aus dem Labor, gemessen an einem öffentlichen Datensatz mit Kratzern auf Blechen, sagt über Ihr Drehteil nichts. Fragen Sie nach der Zahl der Fehlteile im Testdatensatz. Stecken im Test zwanzig Fehlteile, ist jede Prozentangabe auf zwei Nachkommastellen eine Scheingenauigkeit. Ein einziges übersehenes Teil verschiebt die Erkennungsrate dann um fünf Punkte.

Dieselben 98 Prozent, zehnmal so viel Nachprüfung

Die zweite Falle zeigt sich erst im Betrieb. Nehmen wir an, Ihr Prozess wird besser, und der Fehleranteil sinkt von 1 auf 0,1 Prozent. Das System B bleibt, wie es ist: 95 Prozent der Fehlteile erkannt, 2 Prozent der Gutteile aussortiert.

• Bei 100.000 Teilen sind das 100 Fehlteile. Das System findet 95, 5 gehen durch.
• Von 99.900 Gutteilen sortiert es 1.998 aus.
• In der Kiste für die Nachprüfung liegen 2.093 Teile. 95 davon sind wirklich fehlerhaft. Gut 95 Prozent der Kiste sind Gutteile.
• Die Genauigkeit über alle Teile liegt bei 98,0 Prozent, fast genau wie vorher.

Bei 1 Prozent Fehleranteil waren noch knapp ein Drittel der aussortierten Teile echte Fehler. Jetzt ist es jedes zweiundzwanzigste. Die Kennzahl im Abnahmeprotokoll hat sich nicht bewegt. Der Werker an der Nachprüfung erlebt ein anderes System. Er sieht den ganzen Tag Gutteile, die angeblich schlecht sind, und fängt an, die Kiste durchzuwinken. Dann haben Sie Schlupf, den kein Protokoll zeigt.

Deshalb gehört in die Abnahme eine dritte Angabe, die sich aus den beiden ersten ergibt: Wie viele Teile pro Schicht landen in der Nachprüfung, bei Ihrem heutigen Fehleranteil und bei dem, den Sie in einem Jahr erwarten? Das ist eine Personalfrage, keine Statistik. Wer sie vor dem Kauf rechnet, erlebt nach dem Kauf keine Überraschung.

Was das Modell nie gesehen hat

Ein Modell für die Sichtprüfung lernt aus Beispielen. Es kennt die Fehlerarten, die im Trainingsdatensatz vorkamen: Kratzer, Lunker, Grat, fehlende Fase. Was passiert mit dem Riss, der im Training nie vorkam, weil er nur alle zwei Jahre auftritt? Ein Modell, das nur zwischen bekannten Klassen unterscheidet, ordnet ihn einer davon zu, im ungünstigen Fall „gut“.

Es gibt Systeme, die anders lernen. Sie bekommen nur Gutteile gezeigt und melden alles, was davon abweicht. Ein unbekannter Riss fällt so eher auf, weil er nicht wie ein Gutteil aussieht. Der Preis ist meist mehr Pseudoausschuss, denn auch harmlose Abweichungen fallen auf, etwa ein Fleck Kühlschmierstoff. Welcher Ansatz besser passt, hängt am Teil. Wichtig ist, dass Sie wissen, welchen Sie kaufen, und dass der Anbieter sagt, wie sein System mit Unbekanntem umgeht.

Eine Abnahme sollte das prüfen, und zwar mit Teilen, die dem Modell vorher nicht gezeigt wurden. Halten Sie einen Satz echter Fehlteile zurück, darunter Fehlerarten, die im Training fehlen, und lassen Sie das System erst bei der Abnahme darauf los. Das ist der Gedanke hinter ISO/IEC 42001, Anhang A.7.4 (Qualität von Daten für KI-Systeme): Anforderungen an die Daten festlegen und prüfen, ob die Daten sie erfüllen. Für die Sichtprüfung heißt das ganz handfest: genug Fehlteile je Fehlerart, Fotos unter den Lichtverhältnissen Ihrer Halle, Teile aus mehr als einer Charge.

Mit der Abnahme ist es nicht vorbei. Werkzeuge verschleißen, ein neuer Rohmaterial-Lieferant liefert eine andere Oberfläche, jemand stellt die Beleuchtung um. Jede dieser Änderungen kann die Erkennungsrate verschieben, ohne dass das System eine Meldung ausgibt. Der einzige Weg, das zu merken, ist eine regelmäßige Stichprobe von Hand aus den Teilen, die das System als gut durchgelassen hat. ISO/IEC 42001, Anhang A.6.2.6 (Betrieb und Überwachung des KI-Systems) verlangt, die Leistung im Betrieb zu überwachen. Bei der Sichtprüfung ist diese Stichprobe der Nachweis dafür.

Wer unterschreibt die Schwelle?

Jedes KI-Prüfsystem hat eine Schwelle. Das Modell gibt für jedes Teil einen Wert aus, und ab einem bestimmten Wert gilt das Teil als fehlerhaft. Senken Sie die Schwelle, sinkt der Schlupf und der Pseudoausschuss steigt. Heben Sie sie an, ist es umgekehrt. Es gibt keine Einstellung, die beides senkt.

Damit ist die Schwelle eine Entscheidung über Risiko und Kosten. Treffen sollte sie die Qualitätsleitung, mit Datum und Begründung, nicht der Inbetriebnehmer des Anbieters am letzten Abend vor dem Serienstart. In vielen Betrieben steht sie aber nirgends. Sie steckt in einer Konfigurationsdatei, und wer sie ändert, ändert den Prüfprozess, ohne dass es jemand merkt. Halten Sie Schwelle, Begründung und Freigabe fest, so wie jede andere Änderung am Prüfplan. Das ist der Kern von ISO/IEC 42001, Anhang A.6.2.3 (Dokumentation der Gestaltung und Entwicklung von KI-Systemen): Entscheidungen, die das Verhalten des Systems bestimmen, gehören dokumentiert, mit den Gründen.

Und was sagt das Recht? Für die meisten Sichtprüfungen in der Fertigung wenig. Seit dem Digital-Omnibus, Verordnung (EU) 2026/1744, gilt ein KI-System, das ausschließlich der Qualitätskontrolle dient, nicht als Sicherheitsbauteil (Art. 6 Abs. 1a KI-VO). Die Ausnahme hat eine Rückseite: Würde ein Ausfall des Systems Gesundheit und Sicherheit gefährden, gilt es doch als Sicherheitsbauteil (Art. 6 Abs. 1b). Wer Teile für Bremse oder Lenkung prüft, sollte die Frage nicht offen lassen.

Interessant ist, wie der Gesetzgeber Genauigkeit für Hochrisiko-Systeme beschreibt. Art. 15 Abs. 3 KI-VO verlangt, dass die Betriebsanleitung die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken angibt. Metriken, im Plural. Art. 13 Abs. 3 Buchst. b Ziff. ii verlangt dazu die bekannten Umstände, die das erwartete Maß an Genauigkeit beeinflussen können. Für Ihre Sichtprüfung ist das keine Pflicht. Als Maßstab für ein ehrliches Lastenheft taugt es trotzdem.

Fünf Punkte, die ich in jedes Lastenheft für eine KI-Sichtprüfung schreiben würde:

• Schlupf und Pseudoausschuss als getrennte Zielwerte, je Fehlerart, gemessen auf Ihren Teilen.
• Die Zahl der Fehlteile im Abnahmetest, mit mindestens einer Fehlerart, die im Training nicht vorkam.
• Die erwartete Menge in der Nachprüfung pro Schicht, beim heutigen und beim angestrebten Fehleranteil.
• Die Schwelle als dokumentierter Wert, mit Name, Datum und Begründung, und eine Regel, wer sie ändern darf.
• Eine Stichprobe von Hand aus den durchgelassenen Teilen, mit Häufigkeit und einer Grenze, ab der neu abgenommen wird.

Mit diesen fünf Punkten ist ein Angebot mit „95 Prozent Genauigkeit“ schnell entzaubert, oder es besteht. Beides ist eine gute Nachricht. Bleibt eine Frage, die nur Sie beantworten können: Wer in Ihrem Haus würde heute merken, wenn Ihr Prüfsystem seit drei Wochen jeden zweiten Riss durchlässt?