Interne Firmen-Bots mit RAG: Wie Mittelstand und Handwerk ihr Wissen ohne Datenlecks nutzbar machen

In vielen mittelständischen Betrieben und Handwerksunternehmen liegt wertvolles Firmenwissen verstreut: PDF-Datenblätter auf lokalen Laufwerken, Kalkulationsregeln in veralteten Excel-Tabellen, Wartungsprotokolle in Papierordnern und wichtiges Prozesswissen ausschließlich in den Köpfen langjähriger Mitarbeiter. Suchzeiten nach einfachen Informationen blockieren täglich wertvolle Arbeitszeit.

Öffentliche Sprachmodelle wie ChatGPT bieten hier keine Lösung. Sie haben keinen Zugriff auf interne Daten und neigen dazu, Fakten zu erfinden (Halluzinationen), wenn ihnen spezifische Details fehlen. Zudem verbietet der Datenschutz die Eingabe vertraulicher Betriebsdaten in öffentliche KI-Systeme.

Die praxiserprobte Lösung für dieses Problem heißt Retrieval-Augmented Generation (RAG). Ein [Ihr eigener Firmen-Bot auf internem Wissen](/loesungen/firmen-chatbot-rag) verbindet die Sprachkompetenz eines KI-Modells mit der Datenbasis Ihres Unternehmens – ohne dass Ihre Daten das eigene System verlassen oder zum Training fremder Modelle genutzt werden.

Wie RAG im Unternehmensalltag funktioniert

Ein RAG-System trennt das Sprachmodell vom eigentlichen Wissen. Anstatt die Daten im Modell selbst zu speichern, greift das System in einem zweistufigen Prozess auf eine geschützte Unternehmens-Datenbank zu:

1. Indexierung und Einlesen: PDFs, Word-Dateien, Scans, E-Mails oder Datenbankeinträge werden strukturiert eingelesen und in Vektoren (mathematische Darstellungen von Bedeutung) umgewandelt.
2. Gezielter Abruf (Retrieval): Stellt ein Mitarbeiter eine Frage (z. B. „Welches Drehmoment gilt für Flansch Typ B nach der Überarbeitung 2025?“), sucht das System in Millisekunden die passenden Textpassagen heraus.
3. Präzise Antwort (Generation): Das KI-Modell formuliert auf Basis der exakt gefundenen Dokumentenabschnitte eine verständliche Antwort und gibt die Quelle (Dokumentname, Seite) direkt mit an.

Da das Modell ausschließlich mit den bereitgestellten Quellentexten arbeitet, werden Halluzinationen nahezu ausgeschlossen. Fehlt die Information in der Datenbasis, antwortet der Bot ehrlich, dass ihm dazu keine Unterlagen vorliegen.

Praxiseinsatz in Handwerk, Industrie und Service

Besonders in wissensintensiven und dezentral organisierten Betrieben spielt RAG seine Stärken aus:

• Technischer Außendienst und Handwerk: Monteure auf der Baustelle fragen per Spracheingabe Fehlercodes, Schaltpläne oder Montageanleitungen ab, anstatt lange in PDF-Handbüchern zu suchen. Bei der [KI-Automatisierung für Handwerksbetriebe](/loesungen/ki-automatisierung-handwerk) spart dies täglich erhebliche Fahr- und Wartezeiten.
• Onboarding neuer Mitarbeiter: Neue Arbeitskräfte erhalten sofort Antworten auf operative Fristen, Urlaubsregelungen, Standard-Arbeitsanweisungen (SOPs) oder Software-Anleitungen.
• Kalkulation und Vertrieb: Vertriebsmitarbeiter greifen sekundenschnell auf historische Projektkalkulationen, Sondervereinbarungen oder technische Spezifikationen zu.

Ein reales Anwendungsbeispiel zeigt das Projekt [Bausanierung.ai](/referenzen/bausanierung-ai), bei dem komplexe Bau-Vorschriften und Projektdokumentationen digital für die Teams vor Ort nutzbar gemacht wurden.

Rechenbeispiel: ROI eines internen Wissens-Bots

Die Wirtschaftlichkeit von RAG lässt sich mathematisch klar ermitteln. Die folgende Rechnung illustriert das Einsparpotenzial für ein typisches KMU:

• Betriebsgröße: 20 Mitarbeiter im Büro- oder Außendienst.
• Durchschnittlicher Stundensatz (vollkosten): 60 Euro/Stunde.
• Bisherige Suchzeit nach internen Informationen: 30 Minuten (0,5 Stunden) pro Mitarbeiter und Tag.
• Suchzeit pro Tag gesamt: 20 × 0,5 Stunden = 10 Arbeitsstunden täglich.
• Kosten der Suchzeit pro Tag: 10 Stunden × 60 Euro = 600 Euro täglich.
• Reduktion der Suchzeit durch RAG: Erwartete Zeiteinsparung um 60 % (Aufwand sinkt von 30 auf 12 Minuten pro Tag).
• Zeitersparnis täglich: 6 Stunden täglich für das gesamte Team.
• Tägliche Ersparnis: 6 Stunden × 60 Euro = 360 Euro pro Arbeitstag.
• Ersparnis pro Monat (bei 20 Arbeitstagen): 7.200 Euro.

Selbst nach Abzug der einmaligen Einrichtungs- und laufenden Infrastrukturkosten amortisiert sich ein RAG-System in der Regel innerhalb weniger Monate.

Datenschutz und Zugriffskontrolle

Ein zentraler Aspekt beim Einsatz im Mittelstand ist die Rechtestruktur. Nicht jeder Mitarbeiter darf Zugriff auf alle Dokumente haben. Moderne RAG-Systeme lassen sich direkt an bestehende Rechtesysteme (z. B. Active Directory oder SharePoint-Berechtigungen) anbinden.

Ein Mitarbeiter aus dem Marketing erhält dadurch nur Antworten aus freigegebenen Vorlagen, während die Projektleitung Zugriff auf Kalkulationen und Verträge besitzt. Eine professionelle [KI-Beratung für den Mittelstand](/loesungen/ki-beratung-mittelstand) stellt sicher, dass DSGVO-Vorgaben eingehalten werden und die Daten auf europäischen Servern verbleiben.

Der erste Schritt: Wissensinventar erstellen

Die technische Bereitstellung eines RAG-Bots ist heutzutage in wenigen Wochen umsetzbar. Der begrenzende Faktor ist selten die Software, sondern die Qualität der Datenbasis.

Konkreter erster Schritt:

Erstellen Sie eine Liste der 10 am häufigsten gesuchten Dokumente in Ihrem Betrieb (z. B. technische Handbücher, Qualitätsrichtlinien, Preislisten, FAQs). Prüfen Sie, ob diese Dokumente aktuell und als Text lesbar (PDFs mit Volltext, Word-Dateien) vorliegen. Diese 10 Dokumente bilden das ideale Testset für einen ersten internen Prototyp.