Fehlverhaftung durch fehlerhafte Gesichtserkennung
Was passierte
Robert Williams wurde 2020 zu Unrecht verhaftet, nachdem eine Gesichtserkennung ihn fälschlich einem Ladendiebstahl von 2018 zuordnete; er saß über 30 Stunden in Haft. Der erste öffentlich bekannte Fall einer Fehlverhaftung durch Gesichtserkennung endete 2024 mit einem Vergleich (300.000 US$) und strengen Auflagen für den Einsatz der Technik.
Fachliche Einordnung
Biometrische Erkennung ist fehleranfällig und trifft bekanntermaßen nicht alle Gruppen gleich gut. Ein KI-Treffer darf nie allein eine folgenschwere Entscheidung tragen. EU AI Act stuft biometrische Fernidentifizierung als hochriskant bis teils verboten ein; ISO/IEC 42001 verlangt menschliche Letztentscheidung und Bewertung der Modellgrenzen.
Mehrere Blickwinkel: Norm- & Regulierungs-Bezug
Biometrische Fernidentifizierung ist teils verboten, sonst Hochrisiko: ein KI-Treffer darf nie allein eine folgenschwere Entscheidung tragen, menschliche Letztentscheidung ist Pflicht.
Auswirkungen auf Personen bewerten, Modellgrenzen verifizieren und validieren, Datenqualität gegen Verzerrung sichern.
Genauigkeit und schädliche Verzerrung über Gruppen hinweg messen, bevor man der Erkennung vertraut.
Solche Fälle im eigenen Betrieb verhindern
Ich helfe Ihnen, ein KI-Vorfall- und Beinahe-Vorfall-Verfahren nach ISO/IEC 42001 aufzubauen, das im Alltag trägt, mit klarer Aufsicht, Verantwortung und Lerneffekt statt Schuldzuweisung.
Unverbindliches ErstgesprächBeruht auf öffentlich zugänglicher Berichterstattung (Quellen oben). Die Einordnung ist fachliche Meinung, keine Rechtsberatung.