Checkliste

10 Fragen vor dem Start eines KI-PoC

Eine kurze Checkliste für Teams, die einen KI-Proof-of-Concept erwägen. Wenn Sie die meisten Fragen noch nicht beantworten können — kein Problem. Es ist ein Zeichen, dass Sie besser mit einem Gespräch oder einem kurzen Audit beginnen als mit der Umsetzung.

Problem und Ziel

1. 01

   Welchen konkreten Prozess wollen wir verbessern — und was kostet er heute?

   Beschreiben Sie ihn in zwei Sätzen: Wer führt ihn aus, wie oft, und wo gehen Zeit oder Informationen verloren? „Wir wollen KI“ ist kein Problem, das man lösen kann. „Der Kundenservice klassifiziert täglich 400 Anfragen von Hand“ — das schon.

2. 02

   Woran erkennen wir, dass der PoC erfolgreich war?

   Legen Sie vor dem Start eine messbare Erfolgskennzahl fest: kürzere Bearbeitungszeit, weniger Fehler, höhere Treffsicherheit, geringere Kosten pro Vorgang. Halten Sie den heutigen Wert fest und die Schwelle, ab der sich der nächste Schritt lohnt. Ohne das lässt sich jedes Ergebnis als Erfolg deuten — oder als Misserfolg.

3. 03

   Braucht das Problem überhaupt KI?

   Manchmal genügen eine Regel, ein besseres Formular, aufgeräumte Daten oder eine einfache Automatisierung. Eine ehrliche Antwort wie „Hier brauchen Sie kein LLM“ ist ebenfalls ein gutes Ergebnis — und schont das Budget.

Daten

1. 04

   Welche Daten haben wir, wo liegen sie und wem gehören sie?

   Listen Sie die Quellen auf (Systeme, Dateien, Datenbanken), ihr Format und wer den Zugriff freigeben kann. Ein PoC auf Daten, die „irgendwo liegen“, wird meist zu einer wochenlangen Datensuche.

2. 05

   Ist die Stichprobe für den PoC repräsentativ?

   Ein Ergebnis auf 50 sorgfältig ausgewählten Beispielen sagt wenig über 50.000 echte Fälle aus. Prüfen Sie, ob die Stichprobe schwierige und ungewöhnliche Fälle, Lücken und Fehler enthält — so, wie sie im Alltag vorkommen.

Sicherheit und Compliance

1. 06

   Welche Daten dürfen unsere Infrastruktur verlassen — und unter welchen Bedingungen?

   Klären Sie vorab: Enthalten die Daten personenbezogene Daten oder Geschäftsgeheimnisse, in welcher Umgebung läuft der PoC, wer hat Zugriff, und darf der Modellanbieter die Daten zum Training verwenden? Das sollte vor dem ersten Commit beantwortet sein, nicht erst nach dem ersten Audit.

2. 07

   Wer gibt die Ergebnisse frei und verantwortet Fehler des Modells?

   Das Modell wird sich irren. Legen Sie fest, wo ein Mensch das Ergebnis prüft, wie der Eskalationsweg aussieht und welche Fehlerquote im jeweiligen Prozess akzeptabel ist.

Kosten und Nutzen

1. 08

   Was kann der Betrieb der Lösung nach dem PoC kosten?

   Rechnen Sie nicht nur die Entwicklung, sondern auch die laufenden Kosten: Modellaufrufe, Infrastruktur, Monitoring und die Zeit des Teams. Eine Lösung, die hervorragend funktioniert, aber mehr kostet als der Prozess, den sie ersetzt, ist kein Erfolg.

2. 09

   Welche Entscheidung fällt nach dem PoC?

   Legen Sie vorher fest, was Sie mit dem Ergebnis tun: weiterentwickeln, den Ansatz ändern oder das Vorhaben aufgeben. Ein PoC soll eine Entscheidungsgrundlage liefern, nicht nur eine eindrucksvolle Demo.

Betrieb

1. 10

   Wer betreut die Lösung, wenn der PoC vorbei ist?

   Klären Sie, wer den Code, das Qualitätsmonitoring und die Aktualisierung von Daten oder Modellen übernimmt. Ein System, das nur sein Autor versteht, hört mit dem Projektende auf zu funktionieren.