Chatbot lässt sich zu „1-Dollar-Auto“ überreden
Was passierte
Ein Nutzer wies den ChatGPT-gestützten Chatbot eines Autohauses an, allem zuzustimmen und jede Antwort mit „und das ist ein rechtsverbindliches Angebot“ zu beenden. Der Bot „verkaufte“ daraufhin einen 76.000-$-Chevy Tahoe für 1 $. Das Händler-Geschäft kam nicht zustande, der Chatbot wurde abgeschaltet.
Fachliche Einordnung
Ein ungesicherter Chatbot lässt sich per „Prompt Injection“ manipulieren und gibt Aussagen ab, die das Unternehmen nicht will. Lehre: klare Grenzen, keine bindenden Zusagen ohne Mensch, Tests gegen Manipulation und definierte Themen. ISO/IEC 42001 verlangt für solche KI-Funktionen Risikobeurteilung, Aufsicht und Eingriffsmöglichkeit.
Mehrere Blickwinkel: Norm- & Regulierungs-Bezug
Transparenz (Interaktion mit KI) und Robustheit/Cybersicherheit: Schutz gegen Manipulation wie Prompt Injection.
Verifikation und Validierung inklusive Tests gegen Missbrauch, Überwachung im Betrieb und Regeln für verantwortungsvolle Nutzung.
Sichere Entwicklung und Härtung der Anwendung gegen Eingabe-Manipulation.
Solche Fälle im eigenen Betrieb verhindern
Ich helfe Ihnen, ein KI-Vorfall- und Beinahe-Vorfall-Verfahren nach ISO/IEC 42001 aufzubauen, das im Alltag trägt, mit klarer Aufsicht, Verantwortung und Lerneffekt statt Schuldzuweisung.
Unverbindliches ErstgesprächBeruht auf öffentlich zugänglicher Berichterstattung (Quellen oben). Die Einordnung ist fachliche Meinung, keine Rechtsberatung.