Vor dem Kauf einer KI-Lösung
KI-Anbieterprüfung
Hält diese KI-Lösung, was der Anbieter verspricht, und bindest du dich an etwas, das in zwei Jahren noch trägt?
Ich gebe dir ein unabhängiges Technikurteil vor der Unterschrift, zum Festpreis und in rund einer Woche.
Für Geschäftsführung, Service- und After-Sales-Leitung sowie IT-Leitung im produzierenden Mittelstand, die eine KI-Lösung einkaufen oder einführen wollen.
Die Anfrage läuft über den Chat mit der KI-Assistentin Anne Tari.
Dauer
Rund eine Woche
Festpreis
ab 1.800 € netto
Ergebnis
Bericht mit Ampelbewertung
Das Problem
Die Vorführung überzeugt. Die Risiken zeigt sie nicht.
Du stehst kurz vor der Entscheidung für eine KI-Lösung. Der Anbieter hat gut präsentiert, das Angebot liegt vor, und intern wächst der Druck, endlich zu starten. Was du von außen nicht siehst, entscheidet darüber, ob die Lösung in zwei Jahren noch trägt.
Du siehst die Oberfläche, nicht die Technik.
Manche KI-Lösungen bestehen aus einer dünnen eigenen Schicht über fremden Sprachmodellen. Das muss kein Nachteil sein, aber du solltest es vor der Unterschrift wissen.
Deine Daten verlassen das Haus.
Servicefälle, Maschinendaten und Kundendaten fließen in die Lösung. Wohin sie von dort gehen und wer sie nutzen darf, steht selten in der Präsentation.
Die Kosten wachsen mit der Nutzung.
Im Pilot ist die Rechnung überschaubar. Im Regelbetrieb mit mehr Nutzern und mehr Anfragen kann sie anders aussehen, vor allem wenn dein Anbieter die Preise seines Modellanbieters weitergibt.
Du bindest dich für Jahre.
Integration, Schulung und Abläufe hängen an der Lösung. Ein Wechsel nach einem Jahr kann deutlich mehr kosten als die Lizenz.
Am Ende stehst du für die Entscheidung gerade. Ein unabhängiges Technikurteil gibt dir dafür eine belastbare Grundlage und Argumente für die Verhandlung.
Rechenbeispiel
Was eine Fehlentscheidung kostet
Ein Beispiel macht das Risiko greifbar. Die Zahlen sind offen ausgewiesene Annahmen und keine Statistik. Rechne mit deinen eigenen Werten nach.
| Posten | Annahme | Betrag |
|---|---|---|
| Lizenz und Nutzung | 2.500 € pro Monat über 36 Monate | 90.000 € |
| Einführung und Integration | einmalig durch den Anbieter | 40.000 € |
| Interner Aufwand | 60 Personentage zu 800 € | 48.000 € |
| Gebundenes Budget | 178.000 € | |
Abbruch nach 12 Monaten (Beispiel)
118.000 €
Trägt die Lösung nicht und steigst du nach 12 Monaten aus, sind im Beispiel Einführung, 12 Monatsgebühren und dein interner Aufwand verloren. Der Neustart kommt noch dazu.
Preiserhöhung um 30 Prozent (Beispiel)
18.000 €
Gibt der Anbieter nach 12 Monaten höhere Preise seines Modellanbieters weiter, zahlst du diesen Betrag bis zum Ende der Laufzeit zusätzlich.
Die Prüfung
4.500 €
Das sind rund 2,5 Prozent des gebundenen Budgets.
Anders gerechnet trägt sich die Prüfung in diesem Beispiel bereits, wenn sie die Wahrscheinlichkeit eines Fehlkaufs um rund 4 Prozentpunkte senkt. Dazu kommen die offenen Fragen aus dem Bericht, die du in der Verhandlung einsetzen kannst.
Prüfpunkte
Sieben Fragen, die vor der Unterschrift geklärt sein sollten
- 01
Eigenanteil der Technologie
Was ist selbst entwickelt, was sind fremde Modelle?
Je dünner die eigene Schicht, desto leichter ist die Lösung in der Regel ersetzbar und desto stärker hängt der Anbieter selbst von Dritten ab.
- 02
Daten
Welche Daten werden genutzt, wem gehören sie, wohin fließen sie?
Service- und Maschinendaten sind dein Kapital. Du solltest wissen, wer sie sieht und ob sie in das Training fremder Modelle einfließen.
- 03
Abhängigkeiten
Was passiert bei Preis- oder Bedingungsänderungen des Modellanbieters?
Ändert der Modellanbieter Preise oder Bedingungen, trifft das zuerst deinen Anbieter und danach dich.
- 04
Wirtschaftlichkeit
Was kostet die Nutzung im laufenden Betrieb und bei Wachstum?
Nutzungsabhängige Kosten wachsen mit dem Erfolg. Was im Pilot günstig wirkt, kann im Regelbetrieb deutlich teurer werden.
- 05
Qualitätsnachweis
Misst der Anbieter die Ergebnisqualität systematisch?
Eine gelungene Vorführung ist kein Qualitätsnachweis. Entscheidend ist, ob der Anbieter seine Fehlerquoten kennt und laufend misst.
- 06
Teamkompetenz
Versteht der Anbieter die Grenzen seiner Lösung?
Wer die Grenzen seiner Lösung nicht benennen kann, lernt sie erst im Betrieb kennen, und zwar auf deine Kosten.
- 07
Regulierung
Wie ordnet der Anbieter seine Lösung nach der EU-KI-Verordnung ein, und ist er darauf vorbereitet?
Als Betreiber können eigene Pflichten auf dich zukommen. Ich prüfe die Angaben des Anbieters technisch, die rechtliche Bewertung gehört in die Rechtsberatung.
Ablauf
Vier Schritte in rund einer Woche
- 01
Vorbereitung
Der Anbieter erhält meinen Fragebogen und stellt seine Unterlagen bereit. Ich werte beides vor dem Gespräch aus.
- 02
Gespräch
Ich spreche zwei bis drei Stunden mit der technischen Leitung des Anbieters und lasse mir die Lösung live vorführen.
- 03
Auswertung
Du bekommst einen Bericht mit Ampelbewertung je Prüfpunkt, einer Gesamteinschätzung und offenen Fragen für deine Verhandlung.
- 04
Abschlussgespräch
In einer Stunde gehen wir den Bericht gemeinsam durch und klären, was er für deine Entscheidung bedeutet.
Die Woche zählt ab dem Zeitpunkt, an dem die Unterlagen des Anbieters vorliegen. Beim Anbietervergleich verlängert sich die Dauer mit jeder weiteren Lösung.
Was der Fragebogen abfragt
Mein Fragebogen an den Anbieter hat 8 Teile. Der erste Teil klärt, wer hinter der Lösung steht. Die übrigen Teile folgen den 7 Prüfpunkten.
Anbieter und Lösung
- Unternehmen, Team und Finanzierung
- Einsatzstand und Referenzen
- Bereitstellung und nötige Anpassungen
Eigenanteil der Technologie
- Aufbau der Lösung und eingesetzte Modelle
- Selbst entwickelte Bestandteile
- Fremde Komponenten und Schnittstellen
Daten
- Verarbeitete Daten und Speicherorte
- Weitergabe an Dritte und Nutzung für das Training
- Zugriff, Trennung der Kunden, Löschung und Herausgabe
Abhängigkeiten
- Modellanbieter und deren Zusagen
- Modellwechsel und Abkündigungen
- Ausstieg des Kunden und Fortbestand des Anbieters
Wirtschaftlichkeit
- Preismodell und einmalige Kosten
- Kosten bei wachsender Nutzung
- Preisanpassungen und Aufwand beim Kunden
Qualitätsnachweis
- Messverfahren und aktuelle Werte
- Umgang mit falschen Antworten
- Nachweis mit den Daten des Kunden
Teamkompetenz
- Verantwortliche und Verteilung des Wissens
- Bekannte Grenzen der Lösung
- Vorfälle, Support und Weiterentwicklung
Regulierung
- Einordnung nach der EU-KI-Verordnung
- Pflichten von Anbieter und Betreiber
- Transparenz, Dokumentation und Datenschutz
Den Fragebogen selbst veröffentliche ich nicht. Er geht im Rahmen einer beauftragten Prüfung an den Anbieter.
Ergebnis
Was du nach der Prüfung in der Hand hältst
- Ein Bericht mit Ampelbewertung für jeden der sieben Prüfpunkte
- Eine Gesamteinschätzung in klarer Sprache, die du intern vorlegen kannst
- Offene Fragen, die du in die Verhandlung mit dem Anbieter mitnimmst
- Die Kennzeichnung, welche Aussagen ich geprüft habe und welche auf Angaben des Anbieters beruhen
- Ein Abschlussgespräch, in dem wir die Folgen für deine Entscheidung besprechen
Der Umfang gilt für die vollständige Anbieterprüfung. Der Kurzcheck liefert eine zweiseitige Einschätzung.
Musterbericht
So sieht ein Bericht aus
Der Musterbericht zeigt auf 6 Seiten, wie ein Bericht der Anbieterprüfung aufgebaut ist. Er ist gekürzt und zeigt die Gesamteinschätzung, die Ampelübersicht aller Prüfpunkte, drei Prüfpunkte mit einer Auswahl der Feststellungen und einen Auszug der offenen Fragen für die Verhandlung. Ein Bericht aus einer beauftragten Prüfung ist vollständig.
Auftraggeber, Anbieter, Lösung und alle Feststellungen im Musterbericht sind frei erfunden. Er zeigt keinen echten Prüffall.
Musterbericht der KI-Anbieterprüfung ansehen (PDF, 6 Seiten), öffnet in einem neuen TabStufen und Preise
Drei Stufen, jeweils zum Festpreis
Kurzcheck
1.800 €
netto, zuzüglich Umsatzsteuer
Eine erste Einschätzung auf Basis der Unterlagen und eines Gesprächs.
- Sichtung der Unterlagen des Anbieters
- Ein Gespräch mit dem Anbieter
- Zweiseitige Einschätzung
- Empfohlen
Anbieterprüfung
4.500 €
netto, zuzüglich Umsatzsteuer
Die vollständige Prüfung einer Lösung nach allen sieben Prüfpunkten.
- Mein Fragebogen an den Anbieter und Sichtung seiner Unterlagen
- Gespräch mit der technischen Leitung inklusive Live-Vorführung
- Bericht mit Ampelbewertung je Prüfpunkt
- Offene Fragen für deine Verhandlung
- Abschlussgespräch von einer Stunde
Anbietervergleich
8.500 €
netto, zuzüglich Umsatzsteuer
für zwei Lösungen, dritte Lösung zuzüglich 3.500 €
Zwei Lösungen durchlaufen jeweils die vollständige Anbieterprüfung, dazu kommt ein Vergleich mit meiner Empfehlung.
- Vollständige Anbieterprüfung für jede der beiden Lösungen
- Derselbe Fragebogen, dieselben sieben Prüfpunkte und dieselbe Ampelskala für alle Anbieter
- Bericht mit Ampelbewertung je Lösung
- Vergleichsübersicht, die die Lösungen Prüfpunkt für Prüfpunkt gegenüberstellt
- Empfehlung, welche Lösung zu deinem Vorhaben passt
- Ein gemeinsames Abschlussgespräch
Das Angebot richtet sich ausschließlich an Unternehmen und nicht an Verbraucher. Alle Preise sind Nettopreise zuzüglich Umsatzsteuer.
Du fragst die Prüfung im Chat mit der KI-Assistentin Anne Tari an. Ich prüfe deine Anfrage und melde mich bei dir, in der Regel mit einem schriftlichen Angebot. Verbindlich wird es erst mit deiner Beauftragung.
Unabhängigkeit
Vier Regeln, die für jede Prüfung gelten
- Die Vergütung hängt nie vom Ergebnis der Prüfung ab.
- tarienna erhält keine Provisionen von Anbietern.
- In einem Vorhaben, das tarienna prüft, setzt tarienna die Lösung nicht selbst um.
- Bestehende Geschäftsbeziehungen zu einem Anbieter legt tarienna vor der Beauftragung offen.
Was die Prüfung nicht ist
- Die Prüfung beruht auf Unterlagen, Gesprächen und Vorführung, nicht auf einer Quellcode-Analyse.
- Der Bericht kennzeichnet, welche Aussagen geprüft wurden und welche auf Angaben des Anbieters beruhen.
- Die Prüfung ist eine technische Einschätzung. Sie ist keine Rechtsberatung und keine Zusage, dass ein Vorhaben gelingt.
Über den Prüfer
Mark Joachim
Ich bin Diplom-Informatiker und Geschäftsführer der tarienna GmbH in Friedrichshafen. Seit über 25 Jahren entwickle und verantworte ich Software und Architekturen, darunter 13 Jahre im API-Management für Volkswagen, von Car-Net bis zur Testdaten-Plattform LISAweb.
Ich halte mehrere AWS-Zertifizierungen, darunter den AWS Certified Generative AI Developer (Professional), und unterrichte seit 2016 an der DHBW Ravensburg, unter anderem KI und Cloud Computing.
Mit Anne Tari betreibe ich selbst eine KI-Assistentin in Produktion. Architektur, Sicherheit und Erfahrungen aus dem Betrieb habe ich im Anne-Tari-Case offengelegt. Den Weg dorthin zeigt die Historie.
Häufige Fragen
Was Entscheider vor der Prüfung wissen wollen
Was ist eine KI-Anbieterprüfung?
Die KI-Anbieterprüfung ist eine unabhängige technische Prüfung einer KI-Lösung und ihres Anbieters vor der Kaufentscheidung, vergleichbar mit einer technischen Due Diligence für den Einkauf. Ich, Mark Joachim von der tarienna GmbH in Friedrichshafen am Bodensee, biete sie Unternehmen im produzierenden Mittelstand in Deutschland, Österreich und der Schweiz zum Festpreis ab 1.800 € netto an. Wer zwischen mehreren KI-Anbietern auswählen muss, nutzt den Anbietervergleich.
Wie prüfe ich einen KI-Anbieter, bevor ich unterschreibe?
Sieben Punkte entscheiden darüber, ob eine KI-Lösung trägt. Das sind der Eigenanteil der Technologie, der Umgang mit deinen Daten, die Abhängigkeit von Modellanbietern, die Kosten im laufenden Betrieb, der Qualitätsnachweis, die Kompetenz des Teams und die Vorbereitung auf die EU-KI-Verordnung. In der KI-Anbieterprüfung gehe ich diese Punkte durch. Der Anbieter beantwortet dafür meinen Fragebogen und stellt seine Unterlagen bereit, danach folgen ein Gespräch mit seiner technischen Leitung und eine Live-Vorführung. Du erhältst einen Bericht mit Ampelbewertung je Prüfpunkt.
Was kostet eine unabhängige Prüfung einer KI-Lösung?
Die KI-Anbieterprüfung gibt es in drei Stufen zum Festpreis (Kurzcheck 1.800 €, Anbieterprüfung 4.500 €, Anbietervergleich 8.500 € für zwei Lösungen, eine dritte Lösung kostet 3.500 € zusätzlich). Alle Preise sind Nettopreise zuzüglich Umsatzsteuer. Du erhältst vorab ein schriftliches Angebot.
Wie lange dauert die KI-Anbieterprüfung?
Rund eine Woche, sobald die Unterlagen des Anbieters vorliegen. Der Zeitplan hängt davon ab, wie schnell der Anbieter den Fragebogen beantwortet und einen Gesprächstermin ermöglicht.
Muss der KI-Anbieter bei der Prüfung mitwirken?
Ja. Der Anbieter beantwortet meinen Fragebogen, stellt Unterlagen bereit und nimmt sich Zeit für ein Gespräch mit Live-Vorführung. Seine Unterlagen behandle ich vertraulich, auf Wunsch mit einer Vertraulichkeitsvereinbarung. Will ein Anbieter vor der Unterschrift keine Fragen zu seiner Technik beantworten, ist auch das eine Information für deine Entscheidung.
Ist die Prüfung unabhängig, obwohl tarienna selbst KI-Lösungen baut?
Weil ich selbst KI-Lösungen baue und betreibe, weiß ich, an welchen Stellen sie in der Praxis an Grenzen stoßen. Die Unabhängigkeit der Prüfung sichern vier feste Regeln. Die Vergütung hängt nie vom Ergebnis ab, tarienna erhält keine Provisionen von Anbietern, und in einem Vorhaben, das tarienna prüft, setzt tarienna die Lösung nicht selbst um. Bestehende Geschäftsbeziehungen zu einem Anbieter lege ich vor der Beauftragung offen.
Für welche Vorhaben lohnt sich eine KI-Anbieterprüfung?
Für Entscheidungen, bei denen Lizenz, Einführung und interner Aufwand zusammen deutlich über dem Preis der Prüfung liegen oder bei denen du dich über mehrere Jahre bindest. Für ein einzelnes Standardwerkzeug mit monatlicher Kündigung lohnt sie sich in der Regel nicht.
Ersetzt die KI-Anbieterprüfung eine Rechtsberatung oder eine Quellcode-Analyse?
Nein. Die Prüfung beruht auf Unterlagen, Gesprächen und einer Vorführung und ist eine technische Einschätzung. Der Bericht kennzeichnet, was ich geprüft habe und was auf Angaben des Anbieters beruht. Für die rechtliche Bewertung von Verträgen und Pflichten braucht es eine Rechtsberatung.
Steht bei dir eine KI-Entscheidung an?
Im Erstgespräch klären wir, ob die Prüfung zu deinem Vorhaben passt und welche Stufe sinnvoll ist. Beides fragst du im Chat mit der KI-Assistentin Anne Tari an.