Diskriminierender Risiko-Algorithmus im Kindergeld
Was passierte
Ein selbstlernender Algorithmus zur Betrugserkennung bei Kinderbetreuungs-Zulagen gewichtete Nationalität und Einkommen und benachteiligte so systematisch bestimmte Gruppen. Rund 26.000 Familien wurden zu Unrecht als Betrüger eingestuft; viele verloren ihre Existenz. Der Skandal führte 2021 zum Rücktritt der gesamten niederländischen Regierung und zu Entschädigungen in Höhe von 700 Mio. €.
Fachliche Einordnung
Der Hochrisiko-Fall schlechthin: Bias im Modell, fehlende menschliche Aufsicht, keine wirksamen Einspruchswege. Genau das adressieren der EU AI Act (Hochrisiko, Anhang III) und ISO/IEC 42001 mit Risikobeurteilung, Aufsicht und Korrekturmechanismen. Ein kleiner Modellfehler wurde mangels Kontrolle zur Katastrophe.
Mehrere Blickwinkel: Norm- & Regulierungs-Bezug
Hochrisiko-Einsatz (öffentliche Leistungen): Daten-Governance gegen Bias, Risikomanagement und wirksame menschliche Aufsicht mit Einspruchswegen.
Bewertung der Auswirkungen auf Personen und Gruppen, Datenqualität gegen Verzerrung und Fairness als Entwicklungsziel.
Schädliche Verzerrung messen, Auswirkungen auf Betroffene managen, nicht dem Modell überlassen.
Solche Fälle im eigenen Betrieb verhindern
Ich helfe Ihnen, ein KI-Vorfall- und Beinahe-Vorfall-Verfahren nach ISO/IEC 42001 aufzubauen, das im Alltag trägt, mit klarer Aufsicht, Verantwortung und Lerneffekt statt Schuldzuweisung.
Unverbindliches ErstgesprächBeruht auf öffentlich zugänglicher Berichterstattung (Quellen oben). Die Einordnung ist fachliche Meinung, keine Rechtsberatung.