Interne Wissenssuche mit KI: Antworten aus eigenen Unterlagen

Was RAG bei einer internen Suche übernimmt

Retrieval Augmented Generation, kurz RAG, verbindet eine Suche mit einem generativen Sprachmodell. Die Anwendung sucht zu einer Frage relevante Inhalte und stellt sie dem Modell für die Antwort bereit. So erklärt Microsoft das Grundprinzip. Das Modell muss für dieses Verfahren nicht mit dem gesamten Unternehmenswissen neu trainiert werden. Es erhält die ausgewählten Informationen im jeweiligen Anfragekontext.

Für die Planung sind damit zwei Aufgaben getrennt zu betrachten: Findet die Suche den richtigen Abschnitt? Und gibt die Antwort dessen Inhalt korrekt wieder? Scheitert schon die Suche, hilft eine sprachlich bessere Zusammenfassung wenig. Wer das System abnimmt, sollte deshalb sowohl die gefundenen Passagen als auch den Antworttext sehen können. Ein Quellenlink allein beweist noch nicht, dass er die konkrete Aussage tatsächlich stützt.

Quelle: Microsoft Learn: Grundlagen von Retrieval Augmented Generation

Einen gepflegten Dokumentbestand als Ausgangspunkt wählen

Beginnen Sie etwa mit den freigegebenen Anleitungen einer Produktgruppe. Erstellen Sie eine Übersicht mit Dokumenttitel, zuständiger Person und gültiger Fassung. Prüfen Sie, ob Bilder, Tabellen und gescannte Seiten lesbar übernommen werden. Eine Stückliste, bei der beim Auslesen Zeilen verrutschen, kann eine fachlich falsche Grundlage liefern, obwohl die einzelnen Wörter korrekt erkannt wurden.

Legen Sie fest, wie neue Fassungen in die Suche gelangen und wie ungültige Inhalte daraus verschwinden. Eine verantwortliche Person muss widersprüchliche Anweisungen klären. Versehen Sie den Bestand mit einem überprüfbaren Aktualisierungsstand und testen Sie die Änderung eines Dokuments. Microsoft beschreibt die Vorbereitung der Daten als eigenen Bestandteil einer RAG-Lösung. Für Ihren Betrieb gehört dazu auch die Entscheidung, welche Ablagen bewusst außerhalb des Suchumfangs bleiben.

Quelle: Microsoft Learn: Daten für eine RAG-Suche vorbereiten

Zugriffsrechte bis in die Suchergebnisse durchsetzen

Ein angemeldeter Nutzer darf dadurch nicht automatisch alle indexierten Dokumente lesen. Die Suche muss seine Berechtigung für die jeweiligen Inhalte berücksichtigen, bevor diese an das Sprachmodell übergeben werden. Microsoft beschreibt für Azure AI Search unter anderem Sicherheitsfilter und Verfahren mit Berechtigungsmetadaten. Welche Unterstützung verfügbar ist, hängt von Datenquelle, Schnittstelle und Konfiguration ab; einige dokumentierte Verfahren befinden sich in einer Vorschauversion.

Prüfen Sie ausdrücklich den Entzug von Rechten. Microsoft weist darauf hin, dass Änderungen im Quellsystem erst nach der entsprechenden Synchronisierung im Index berücksichtigt werden. Ein Test nur mit dauerhaft berechtigten Konten reicht deshalb nicht. Legen Sie fest, wie der Zugriff während einer solchen Verzögerung verhindert wird. Beziehen Sie dabei gespeicherte Antworten und Gesprächsverläufe ein, die bereits Informationen aus einem inzwischen gesperrten Dokument enthalten können.

Quelle: Microsoft Learn: Document-level access control in Azure AI Search

Belegte Antworten und erkennbare Wissenslücken verlangen

Für eine interne Fachsuche sollte jede überprüfbare Aussage zu einer passenden Dokumentstelle führen. Die Anzeige braucht genügend Kontext, damit ein Nutzer die Aussage nachlesen kann. Geben Sie für fehlende Belege ein klares Verhalten vor: eine Rückfrage, ein Hinweis auf unzureichende Quellen oder die Weitergabe an eine zuständige Person. Prüfen Sie dieses Verhalten mit absichtlich nicht beantwortbaren Fragen.

Unterscheiden Sie zwischen „keine passende Quelle gefunden“ und „die Quelle enthält mehrere mögliche Antworten“. Im zweiten Fall können etwa Produktversion oder Einsatzbereich fehlen. Die Anwendung sollte diese Angaben erfragen, bevor sie eine eindeutige Empfehlung formuliert. Ein technisches System kann solche Regeln unterstützen; die Abnahme muss zeigen, ob sie mit den eigenen Unterlagen auch tatsächlich greifen.

Hypothetisches Beispiel: Zwei Gerätefassungen im Handbuchbestand

In einem frei konstruierten Beispiel sucht der Innendienst nach dem vorgesehenen Zubehör für ein Gerät. Im Bestand liegen Handbücher für zwei Fassungen mit ähnlichen Namen. Die Frage enthält zunächst nur die Produktfamilie. Eine hilfreiche Antwort fragt nach der genauen Fassung und nennt die einschlägigen Fundstellen. Sie kombiniert die Zubehörangaben beider Fassungen nicht zu einer vermeintlich vollständigen Liste.

Für den Test wird anschließend die aktuelle Anleitung ersetzt. Das Team prüft, ob eine neue Suche die neue Fassung verwendet und die alte nicht weiter als gültig anführt. Ein zusätzliches Testkonto ohne Zugriff auf die Produktunterlagen darf daraus keine Inhalte erhalten. Das Beispiel zeigt zwei eigenständige Abnahmekriterien: fachlich richtige Zuordnung und wirksame Zugriffsbegrenzung. Beide müssen auch nach Änderungen funktionieren.

Die Suche an echten Fragen und klaren Fehlerfällen prüfen

Sammeln Sie Fragen, die im Fachbereich tatsächlich auftreten, und lassen Sie die erwarteten Antworten samt Belegen vorbereiten. Ergänzen Sie unbekannte Begriffe, unvollständige Produktangaben und Fragen außerhalb des Bestands. Messen Sie die Zeit bis zur überprüften Antwort. Vergleichen Sie sie mit der bestehenden Suche; bei bekannten Dokumenttiteln kann eine gewöhnliche Volltextsuche bereits genügen.

Das Testprotokoll sollte Fehler so beschreiben, dass gezielte Korrekturen möglich sind: falsches Dokument gefunden, richtige Stelle falsch zusammengefasst oder veraltete Fassung verwendet. Eine einzelne Gesamtnote zeigt diese Ursachen nicht. Für die Entscheidung über den Betrieb helfen drei getrennte Prüfungen.

• Die Suche findet passende, gültige Quellen und macht fehlende Belege erkennbar.
• Dokumentänderungen, Löschungen und entzogene Rechte wirken wie für den Betrieb vereinbart.
• Der Aufwand für Pflege und Antwortprüfung steht in einem vertretbaren Verhältnis zur eingesparten Sucharbeit.

Quelle: Microsoft Learn: Eine RAG-Lösung bewerten