KI-Dienstleister prüfen: 20 Fragen vor der Unterschrift

Wer einen KI-Dienstleister einkauft, kauft dessen Governance mit. Das klingt nach einem Satz für eine Folie, hat aber eine sehr handfeste Seite: Wenn der Anbieter sein Modell wechselt, ändert sich Ihr Ergebnis. Wenn seine Trainingsdaten ein Problem haben, haben Sie es auch. Und wenn er Ihren Namen auf das System schreibt, kann aus Ihnen im Sinne der KI-Verordnung ein Anbieter werden, ohne dass jemand bei Ihnen im Haus eine Zeile Code geschrieben hat. Die folgenden zwanzig Fragen stelle ich, bevor unterschrieben wird. Sie sind absichtlich unbequem.

Wofür dieser Katalog gut ist, und wofür nicht

Ich habe an anderer Stelle geschrieben, dass ein Selbstauskunftsbogen ein guter Filter und ein schlechter Nachweis ist. Das gilt weiter, und dieser Katalog widerspricht dem nicht. Er ist ein Filter. Seine Aufgabe ist es, Ihnen vor dem ersten Termin zu sagen, wo Sie hinsehen müssen, und Ihnen nach dem Rücklauf zu zeigen, ob ein Termin überhaupt lohnt.

Der Unterschied liegt darin, was Sie mit den Antworten machen. Wer sie abheftet, hat eine Sammlung von Behauptungen. Wer sie als Prüfplan liest, hat für jeden Punkt eine Erwartung, gegen die er im Termin etwas halten kann. Genau dafür steht hinter jeder Frage die Normstelle, die sie trägt.

Block 1: Wer ist eigentlich wer?

Die Rollenfrage steht am Anfang, weil sie über alles Weitere entscheidet. Und sie ist tückischer, als sie aussieht, denn dasselbe Wort meint in zwei Regelwerken zwei verschiedene Dinge. Die deutsche Fassung der ISO/IEC 42001 betitelt die Maßnahme A.10.3 mit „Anbieter“ und meint damit Ihren Lieferanten. Die KI-Verordnung nennt in Artikel 3 Nummer 3 den Hersteller „Anbieter“. Wenn in einer Besprechung alle vom Anbieter reden, lohnt die Rückfrage, wer gemeint ist.

Das ist keine Wortklauberei, sondern hat eine teure Folge. Artikel 25 der KI-Verordnung beschreibt, unter welchen Umständen ein Händler, ein Einführer oder ein Betreiber selbst als Anbieter eines Hochrisiko-Systems gilt, etwa wenn er das System unter eigenem Namen weitergibt oder seine Zweckbestimmung ändert. Genau das passiert im Mittelstand nicht in der IT-Abteilung, sondern im Marketing: Ein zugekauftes Werkzeug bekommt einen hauseigenen Namen, ein eigenes Logo, eine eigene Oberfläche. Damit ist die Rollenfrage neu gestellt, und niemand hat sie bemerkt. Artikel 26 legt daneben fest, was ein Betreiber ohnehin schuldet, unter anderem die menschliche Aufsicht und die Nutzung nach Betriebsanleitung. Wer nicht weiß, in welcher der beiden Rollen er steht, weiß auch nicht, welche der beiden Pflichtenlisten für ihn gilt.

Block 2: Woher kommen die Daten?

Dieser Block ist der, bei dem die Antworten am häufigsten ausweichend werden. Das ist selbst ein Ergebnis. Ein Anbieter, der die Herkunft seiner Trainingsdaten nicht beschreiben kann oder will, sagt Ihnen damit, dass er sie selbst nicht kennt.

Stellen Sie die Datenfrage außerdem zweimal, einmal für das Training und einmal für den Betrieb. Das sind zwei verschiedene Datenströme mit zwei verschiedenen Risiken. Beim Training geht es um Rechte, Repräsentativität und Verzerrungen. Im Betrieb geht es um Ihre eigenen Eingaben: Wo landen sie, wer sieht sie, wie lange bleiben sie liegen. Viele Anbieter beantworten die eine Frage ausführlich und die andere gar nicht, und meistens ist es die zweite, die Ihnen näher an der Haut sitzt.

Block 3: Was passiert, wenn sich das Modell ändert?

Das ist der Block, den klassische Lieferantenfragebögen nicht kennen, weil er bei herkömmlicher Software kein Thema war. Ein KI-Dienst kann sein Verhalten ändern, ohne dass jemand einen Vertrag anfasst: neues Modell im Hintergrund, neuer Systemprompt, andere Version. Ihre Abnahme war dann eine Momentaufnahme.

Block 4: Was bekommen Sie schriftlich?

Am Ende zählt, was Sie in der Hand haben, wenn der freundliche Ansprechpartner das Unternehmen wechselt. Dieser Block fragt nach Unterlagen, nicht nach Aussagen.

Wie Sie die Antworten lesen

Der Katalog misst nicht nur den Inhalt, sondern auch das Verhalten. Drei Muster sind aussagekräftiger als die meisten Einzelantworten.

• Die Geschwindigkeit. Wer für Rollen, Unterauftragnehmer und Löschkonzept mehr als zwei Wochen braucht, hat diese Unterlagen nicht, sondern erstellt sie gerade für Sie.
• Der Verweis auf Vertraulichkeit. Bei Trainingsdaten ist er manchmal berechtigt. Bei der eigenen Rolle, bei Unterauftragnehmern und beim Änderungsverfahren ist er eine Ausrede.
• Die Antwort, die auf Ihre Frage nicht passt. Wenn Sie nach dem Änderungsverfahren fragen und ein Zertifikat bekommen, ist das ein Befund, kein Missverständnis.

Ein schlechter Rücklauf heißt übrigens nicht automatisch: Finger weg. Er heißt: Verhandlungsmasse. Jede Lücke, die der Katalog aufdeckt, können Sie in den Vertrag schreiben, solange noch nicht unterschrieben ist. Keine Auskunft zum Änderungsverfahren wird zur Informationspflicht mit Frist. Kein Löschnachweis wird zur Löschbestätigung in Textform. Kein Prüfrecht wird zum vereinbarten Prüfrecht. Nach der Unterschrift ist dieselbe Lücke nur noch ein Ärgernis, das Sie drei Jahre begleitet.

Und eine Sache noch, die im Einkauf oft untergeht: Diese zwanzig Fragen sind kein Misstrauensvotum. Ein Anbieter mit sauberer Governance beantwortet sie in einer Stunde und freut sich, dass endlich jemand fragt. Die Fragen trennen nicht Gute von Bösen, sie trennen Vorbereitete von Unvorbereiteten.

Ein letzter Hinweis zur Reihenfolge. Schicken Sie den Katalog nicht an alle Ihre Dienstleister gleichzeitig. Fangen Sie bei denen an, deren Ausfall Sie am teuersten zu stehen kommt, und arbeiten Sie sich nach unten. Wie Sie diese Rangfolge bilden, habe ich getrennt beschrieben.

Rechnen Sie damit, dass dieser Katalog altert. Vor zwei Jahren hätte niemand nach dem Änderungsverfahren für ein Modell gefragt, weil kaum jemand eines eingekauft hat. In zwei Jahren werden Fragen dazukommen, die heute noch niemand stellt. Nehmen Sie die zwanzig als Grundgerüst und schreiben Sie nach jedem Lieferantengespräch die eine Frage dazu, die Ihnen im Termin gefehlt hat. Ein Katalog, der mit der Praxis wächst, ist nach einem Jahr mehr wert als jede Vorlage, die Sie irgendwo herunterladen.