KI im Unternehmen einführen: Was ein Pilotprojekt zeigen muss

Aus einer Idee einen prüfbaren Auftrag machen

Beschreiben Sie eine konkrete Tätigkeit, etwa das Vorbereiten einer Zusammenfassung aus einer abgeschlossenen Serviceakte. Legen Sie fest, welche Informationen die Zusammenfassung enthalten muss und wofür sie verwendet wird. Eine Person aus dem Fachbereich verantwortet die Qualität. Eine weitere Zuständigkeit muss den technischen Betrieb und die Bearbeitung von Störungen abdecken; in einem kleinen Team können Rollen zusammenfallen.

Das freiwillige AI Risk Management Framework des NIST bietet einen Rahmen, um Risiken beim Entwickeln, Nutzen und Bewerten von KI zu berücksichtigen. Für einen kleinen Pilotversuch folgt daraus keine Pflicht zu einem Großprojekt. Unser Vorschlag ist ein kurzer, schriftlicher Auftrag mit Aufgabe, Datenumfang, Verantwortlichen und Entscheidungsdatum. Benennen Sie darin auch Tätigkeiten, die eine gesonderte Freigabe benötigen, etwa das Versenden eines Entwurfs.

Quelle: NIST: AI Risk Management Framework

Die Daten und die Testumgebung vorab festlegen

Erstellen Sie eine Liste der benötigten Informationen. Für einen Zusammenfassungstest reichen möglicherweise bereinigte Beispielakten. Vertrauliche Inhalte oder personenbezogene Angaben gehören erst in die Anwendung, wenn deren Verwendung für diesen Zweck und diese Umgebung geklärt ist. Halten Sie fest, wer auf Eingaben und Ergebnisse zugreifen kann und welche Speicher- und Löschregeln für den Versuch gelten.

Prüfen Sie diese Punkte an der konkreten Anwendung und Konfiguration. Eine allgemeine Aussage über „die Cloud“ beantwortet weder die Frage nach dem Datenzugriff noch nach der Speicherung von Gesprächsverläufen. Beziehen Sie die betrieblich zuständigen Personen früh ein, damit ungeklärte Datenverwendung den Versuch nicht erst nach der Einrichtung stoppt. Für den ersten Funktionstest lassen sich gegebenenfalls eigens erstellte, fiktive Inhalte nutzen.

Ein Testset mit bekannten Antworten aufbauen

NIST empfiehlt für generative KI unter anderem den Vergleich mit bekannten Referenzdaten und warnt davor, Fähigkeiten aus wenigen anekdotischen Tests abzuleiten. Praktisch bedeutet das: Der Fachbereich legt vorab fest, wie ein brauchbares Ergebnis aussieht. Wählen Sie neben gewöhnlichen Fällen auch unvollständige Eingaben, widersprüchliche Informationen und Fälle, bei denen keine eindeutige Antwort möglich ist.

Trennen Sie Beispiele für die Einrichtung von Fällen für die abschließende Prüfung. Sonst optimiert das Team möglicherweise nur auf bereits bekannte Aufgaben. Bewerten Sie einzelne Pflichtangaben und schwerwiegende Fehler getrennt vom Gesamteindruck. Ein schön formulierter Text darf einen fehlenden Warnhinweis nicht ausgleichen. Halten Sie fest, welche Eingabe, Modellversion und Anweisung zum jeweiligen Ergebnis geführt haben, soweit die Anwendung diese Angaben bereitstellt.

Quelle: NIST AI 600-1: Generative Artificial Intelligence Profile

Hypothetisches Beispiel: Serviceakten zusammenfassen

Ein hypothetischer Betrieb möchte die interne Übergabe von Servicefällen verkürzen. Im Pilot erstellt die KI aus freigegebenen Beispielakten eine Zusammenfassung mit Störung, Bearbeitungsstand und offenem Schritt. Ein Fachkundiger vergleicht jeden Entwurf mit der vollständigen Akte. Bei mehrdeutigen Einträgen soll das Ergebnis die Unsicherheit benennen und auf die betreffenden Stellen verweisen.

Das Team misst die gesamte Zeit bis zur geprüften Übergabe. Dazu gehören das Bereitstellen der Akte, das Lesen des Entwurfs und die Korrekturen. Es erfasst gesondert, ob die Zusammenfassung eine erfolgte Reparatur behauptet, obwohl nur ein Vorschlag dokumentiert ist. Für diesen Fehler legt der Betrieb im Beispiel eine Stop-Regel fest. Eine kürzere durchschnittliche Bearbeitungszeit wäre kein ausreichender Grund, ihn zu übergehen.

Mit den späteren Nutzern unter Alltagsbedingungen testen

Nach der fachlichen Erstprüfung folgt ein begrenzter Versuch mit den Personen, die später damit arbeiten sollen. Lassen Sie diese Beschäftigten auch fehlerhafte Ergebnisse bearbeiten. Sie müssen erkennen können, wann die Quelle geöffnet werden muss, wie eine Korrektur erfolgt und wo sie ein Problem melden. Eine Schulung nur anhand gelungener Ausgaben bereitet darauf nicht ausreichend vor.

Planen Sie einen klaren Weg zurück zum bisherigen Ablauf. Wird der Dienst nicht erreicht oder liefert er unbrauchbare Ausgaben, darf die Arbeit nicht an einem leeren Ergebnis hängen bleiben. Sammeln Sie Rückmeldungen zu konkreten Fällen statt allgemeiner Bewertungen wie „hilfreich“. Prüfen Sie außerdem, ob sich Aufwand auf andere Personen verlagert: Die schnelle Erstellung eines Entwurfs kann eine längere Prüfung in der nächsten Abteilung verursachen.

Ausweiten, nachbessern oder beenden

Am vereinbarten Termin werden die Ergebnisse mit dem Auftrag verglichen. Für eine Ausweitung müssen die fachlichen Mindestanforderungen erfüllt und der laufende Aufwand vertretbar sein. Gehören wiederkehrende Fehler zur ungeklärten Datenbasis, folgt zunächst Datenpflege. Kostet die Kontrolle dauerhaft mehr Zeit als die bisherige Bearbeitung, kann ein Ende des Versuchs die wirtschaftlich richtige Entscheidung sein.

Eine Freigabe gilt für den geprüften Einsatzumfang. Andere Dokumentarten, neue Datenquellen oder eine geänderte Aufgabe benötigen passende zusätzliche Prüfungen. Vereinbaren Sie für den späteren Betrieb diese Punkte, bevor weitere Nutzer hinzukommen.

• Wer bewertet gemeldete Fehler und kann die Anwendung bei Bedarf anhalten?
• Welche Tests werden nach Änderungen an Modell, Anweisungen oder Datenzugriff wiederholt?
• Wann werden laufende Kosten, tatsächliche Nutzung und fachliche Qualität erneut geprüft?