Wissensbasis

KI-Vorfall-Bibliothek

Belegte, öffentlich dokumentierte KI-Vorfälle, kuratiert und fachlich eingeordnet nach ISO/IEC 42001 und EU AI Act. Kein Roh-Archiv und keine Meldestelle, sondern verständliche Fälle mit der entscheidenden Frage: Was ging schief und was lässt sich daraus für den eigenen Betrieb lernen?

Die Bibliothek wächst. Hinweise auf weitere belegte, öffentlich dokumentierte Fälle sind willkommen: [email protected]

Halluzination & Output-FehlerKPMG · 2025

KI-Beratungsreport voller erfundener Quellen

Was passierte: In KPMGs Report „Total Experience: Redefining Excellence in the Age of Agentic AI“ fand eine Analyse von GPTZero, dass nur 5 von 45 Quellenangaben korrekt auf die zitierte Quelle zeigten; der Rest war verstümmelt, irreführend oder erfunden („vibe citing“). KPMG zog den Report zurück.

Fachliche Einordnung

Ausgerechnet ein KI-Beratungs-Output ohne menschliche Endprüfung. Der Kern: KI darf entwerfen, aber ein Mensch muss freigeben. ISO/IEC 42001 verlangt genau diese menschliche Aufsicht und eine dokumentierte Kontrolle des Outputs vor der Auslieferung.

HalluzinationQuellenBeratungOutput-Kontrolle

Quelle: The Register

Halluzination & Output-FehlerDeloitte Australien · 2025

Teil-Rückzahlung für KI-Halluzinationen im Regierungsbericht

Was passierte: Deloitte Australien zahlte dem australischen Staat einen Teil eines rund 290.000 A$ teuren Auftrags zurück, nachdem ein Bericht erfundene wissenschaftliche Quellen und ein erfundenes Zitat aus einem Gerichtsurteil enthielt.

Fachliche Einordnung

Reputations- und Geldschaden durch ungeprüften KI-Output bei einem der großen Prüfungs- und Beratungshäuser. Verifikation ist kein Bürokratie-Extra, sondern Risikomanagement. ISO/IEC 42001: Richtigkeit vor Auslieferung nachweisen, nicht erst danach reparieren.

HalluzinationQuellenBeratungVerifikation

Quelle: Fortune

Chatbot & KundenkommunikationAir Canada (Kanada) · 2024

Unternehmen haftet für falsche Chatbot-Auskunft

Was passierte: Der Chatbot der Airline stellte einem Kunden im Trauerfall rückwirkende Trauer-Tarife in Aussicht, die es nicht gab. Das B.C. Civil Resolution Tribunal entschied in „Moffatt v. Air Canada“, dass das Unternehmen für die Auskunft seines Chatbots haftet, und sprach Schadenersatz zu (rund 812 CAD).

Fachliche Einordnung

Das Argument „die KI war's, nicht wir“ zog nicht. Wer KI kundenwirksam einsetzt, haftet für ihren Output. ISO/IEC 42001 verlangt klare Verantwortlichkeiten, Eingriffsmöglichkeiten und Protokollierung, damit eine Fehlauskunft erkannt und korrigiert werden kann.

ChatbotHaftungKundenkommunikationVerantwortung

Quelle: CBC News

Halluzination & Output-FehlerMata v. Avianca (USA) · 2023

Anwälte reichen sechs von ChatGPT erfundene Urteile ein

Was passierte: In einem Verfahren vor dem Bundesgericht in New York stützten Anwälte einen Schriftsatz auf sechs Gerichtsentscheidungen, die ChatGPT frei erfunden hatte, und verteidigten sie zunächst sogar. Das Gericht verhängte eine Sanktion von 5.000 US$ und ordnete Korrekturbriefe an.

Fachliche Einordnung

Klassischer „theoretisch ja, praktisch nein“-Fall: das Werkzeug ist mächtig, die Sorgfaltspflicht bleibt beim Menschen. ISO/IEC 42001 und die AI-Literacy-Pflicht (Art. 4 EU AI Act) verlangen, dass Anwender die Grenzen ihrer KI kennen und Ergebnisse prüfen.

HalluzinationRechtAI LiteracySorgfaltspflicht

Quelle: Wikipedia

Diskriminierung & HochrisikoSteuerbehörde Niederlande · 2005–2019

Diskriminierender Risiko-Algorithmus im Kindergeld

Was passierte: Ein selbstlernender Algorithmus zur Betrugserkennung bei Kinderbetreuungs-Zulagen gewichtete Nationalität und Einkommen und benachteiligte so systematisch bestimmte Gruppen. Rund 26.000 Familien wurden zu Unrecht als Betrüger eingestuft; viele verloren ihre Existenz. Der Skandal führte 2021 zum Rücktritt der gesamten niederländischen Regierung und zu Entschädigungen in Höhe von 700 Mio. €.

Fachliche Einordnung

Der Hochrisiko-Fall schlechthin: Bias im Modell, fehlende menschliche Aufsicht, keine wirksamen Einspruchswege. Genau das adressieren der EU AI Act (Hochrisiko, Anhang III) und ISO/IEC 42001 mit Risikobeurteilung, Aufsicht und Korrekturmechanismen. Ein kleiner Modellfehler wurde mangels Kontrolle zur Katastrophe.

BiasHochrisikoEU AI Actöffentliche VerwaltungAufsicht

Quelle: AI Incident Database

Deepfake & BetrugArup (Hongkong) · 2024

25 Mio. $ durch Deepfake-„CFO“ in der Videokonferenz

Was passierte: Ein Mitarbeiter im Hongkonger Büro des Ingenieurunternehmens überwies nach einer Videokonferenz rund 25,6 Mio. US$ in mehreren Tranchen. In der Konferenz waren der vermeintliche CFO und Kollegen per Deepfake nachgebildet. Der Betrug flog erst auf, als der Mitarbeiter bei der echten Zentrale nachfragte.

Fachliche Einordnung

KI-Deepfakes hebeln klassische „Ich habe die Person doch gesehen und gehört“-Kontrollen aus. Konsequenz für die Praxis: Vier-Augen-Prinzip und unabhängige Rückkanäle für Zahlungen, unabhängig davon, wie echt ein Video wirkt. Berührt ISO/IEC 27001 (Informationssicherheit) ebenso wie KI-Risikobewusstsein.

DeepfakeBetrugInformationssicherheitSocial Engineering

Quelle: CNN Business

Biometrie & ÜberwachungPolizei Detroit (USA) · 2020

Fehlverhaftung durch fehlerhafte Gesichtserkennung

Was passierte: Robert Williams wurde 2020 zu Unrecht verhaftet, nachdem eine Gesichtserkennung ihn fälschlich einem Ladendiebstahl von 2018 zuordnete; er saß über 30 Stunden in Haft. Der erste öffentlich bekannte Fall einer Fehlverhaftung durch Gesichtserkennung endete 2024 mit einem Vergleich (300.000 US$) und strengen Auflagen für den Einsatz der Technik.

Fachliche Einordnung

Biometrische Erkennung ist fehleranfällig und trifft bekanntermaßen nicht alle Gruppen gleich gut. Ein KI-Treffer darf nie allein eine folgenschwere Entscheidung tragen. EU AI Act stuft biometrische Fernidentifizierung als hochriskant bis teils verboten ein; ISO/IEC 42001 verlangt menschliche Letztentscheidung und Bewertung der Modellgrenzen.

BiometrieBiasHochrisikoEU AI Actmenschliche Aufsicht

Quelle: Reason

Datenabfluss & Schatten-KISamsung · 2023

Mitarbeiter geben Firmengeheimnisse in ChatGPT ein

Was passierte: Innerhalb von rund 20 Tagen pasten Ingenieure in drei Fällen Vertrauliches direkt in ChatGPT: Quellcode für Halbleiter-Diagnose, interne Testabläufe und das Transkript einer vertraulichen Besprechung. Samsung untersagte daraufhin generative KI auf Firmengeräten und im internen Netz.

Fachliche Einordnung

Der direkteste Mittelstands-Fall: Niemand wollte schaden, Beschäftigte nutzten nur ein nützliches Werkzeug. Ohne klare Regel landet so Sensibles bei einem Dritten und potenziell im Training des Modells. Lehre: KI-Nutzungsrichtlinie, geschulte Belegschaft (AI Literacy, Art. 4 EU AI Act) und freigegebene, datenschutzkonforme Werkzeuge. Genau das fordern ISO/IEC 42001 und ISO/IEC 27001.

DatenabflussSchatten-KIVertraulichkeitAI LiteracyRichtlinie

Quelle: Bloomberg Quelle: CNBC

Chatbot & KundenkommunikationChevrolet-Händler (USA) · 2023

Chatbot lässt sich zu „1-Dollar-Auto“ überreden

Was passierte: Ein Nutzer wies den ChatGPT-gestützten Chatbot eines Autohauses an, allem zuzustimmen und jede Antwort mit „und das ist ein rechtsverbindliches Angebot“ zu beenden. Der Bot „verkaufte“ daraufhin einen 76.000-$-Chevy Tahoe für 1 $. Das Händler-Geschäft kam nicht zustande, der Chatbot wurde abgeschaltet.

Fachliche Einordnung

Ein ungesicherter Chatbot lässt sich per „Prompt Injection“ manipulieren und gibt Aussagen ab, die das Unternehmen nicht will. Lehre: klare Grenzen, keine bindenden Zusagen ohne Mensch, Tests gegen Manipulation und definierte Themen. ISO/IEC 42001 verlangt für solche KI-Funktionen Risikobeurteilung, Aufsicht und Eingriffsmöglichkeit.

ChatbotPrompt InjectionKundenkommunikationRobustheit

Quelle: AI Incident Database Quelle: GM Authority

Diskriminierung & HochrisikoiTutorGroup (USA) · 2023

Recruiting-Software sortiert ältere Bewerber automatisch aus

Was passierte: Die Recruiting-Software des Unternehmens lehnte Bewerberinnen ab 55 und Bewerber ab 60 automatisch ab; über 200 qualifizierte Personen wurden allein wegen ihres Alters aussortiert. Im ersten KI-Diskriminierungs-Vergleich der US-Arbeitsbehörde EEOC zahlte das Unternehmen 365.000 $ und verpflichtete sich zu Anti-Diskriminierungs-Maßnahmen.

Fachliche Einordnung

KI im Recruiting ist für jeden Betrieb mit Personalbedarf relevant und schnell ein Hochrisiko-Einsatz. Diskriminierung passiert hier leise, im Code. Lehre: Auswahl-KI auf Bias prüfen, Entscheidungen nachvollziehbar halten, menschliche Kontrolle sichern. Der EU AI Act zählt KI für Personalauswahl ausdrücklich zum Hochrisiko-Bereich (Anhang III); ISO/IEC 42001 liefert den Prüf- und Kontrollrahmen.

HRRecruitingBiasHochrisikoEU AI Act

Quelle: EEOC

KI-Vorfälle vermeiden, bevor sie passieren

Fast jeder dieser Fälle hätte sich mit gelebter Vorfall- und Aufsichtskultur verhindern lassen. Genau das verlangt ISO/IEC 42001. Ich helfe Ihnen, ein belastbares KI-Vorfall- und Beinahe-Vorfall-Verfahren aufzubauen, das im Betrieb trägt.

Unverbindliches Erstgespräch

Alle Fälle beruhen auf öffentlich zugänglicher Berichterstattung; die jeweilige Quelle ist verlinkt. Die Einordnung ist fachliche Meinung, keine Rechtsberatung.