Retrieval-Augmented Generation (RAG) einfach erklärt

Was ist Retrieval-Augmented Generation (RAG)?

Stellen Sie sich einen frischen Morgen in Zürich vor. Ein CEO nippt an seinem Espresso und stellt einem KI-Assistenten die Frage: „Was gibt es Neues zu unserem wichtigsten Kundenportfolio und den aktuellen Markttrends?“ Sekunden später liefert die KI Einblicke direkt aus dem CRM des Unternehmens und aus den heutigen Finanznachrichten – als würde sie einen persönlichen Archivar beauftragen, in jeder Ecke des Unternehmens nach Fakten zu suchen. Retrieval-Augmented Generation (RAG) hat sich in kurzer Zeit als entscheidende Technologie im Bereich der Unternehmens-KI etabliert. Mit RAG können Unternehmen Large Language Models (LLMs) wie GPT-4, LLaMA, oder Claude sicher und effizient um firmeneigene Daten erweitern.

Denn grosse Sprachmodelle wie GPT-4 sind zwar beeindruckend, aber sie haben zwei Hauptschwächen:

1. Eingeschränkter Wissensstand: Sie kennen nur Informationen, die während ihres Trainings verfügbar waren.
2. Halluzinationen: Wenn sie keine genaue Antwort wissen, „erfinden“ sie mitunter plausible, aber falsche Fakten.

Retrieval-Augmented Generation (RAG) löst diese Probleme, indem das Sprachmodell gezielt auf aktuelle und zuverlässige Datenquellen zugreift. Sobald eine Frage gestellt wird, sucht das RAG-System in Unternehmensdokumenten, Datenbanken oder Webseiten nach relevanten Inhalten und integriert diese Ergebnisse in die Antwort. So entsteht eine Kombination aus der Sprachgewandtheit eines grossen Modells und der Aktualität und Genauigkeit einer gezielten Recherche.

• Retrieval: Ein KI-Modell greift bei Bedarf auf Datenquellen (z. B. Dokumente, Datenbanken) zu, um relevante Informationen zu finden.

• Augmented: Die gefundenen Informationen werden „angereichert“ und kombiniert, damit das KI-Modell eine aktuellere und kontextbezogene Antwort liefern kann.

• Generation: Das Sprachmodell erzeugt auf Basis dieser abgerufenen Fakten eine verständliche, zusammenhängende und korrekte Antwort.

Das folgende Diagramm zeigt schematisch den Ablauf eines RAG-Systems (Retrieval-Augmented Generation) innerhalb eines Chatbots. Der Prozess startet damit, dass der Nutzer in der Chat-App eine Anfrage stellt (Chat Eingabe). Diese Anfrage wird zunächst an die Datenabruf-Komponente weitergeleitet, wo geprüft wird, ob zur Beantwortung interne Unternehmensdaten benötigt werden. Falls ja, erfolgt ein Abgleich mit der Firmendatenbank (Daten abgleichen). Die gefundenen relevanten Informationen werden dann gemeinsam mit der ursprünglichen Nutzereingabe in den Prompt des Sprachmodells (LLM) integriert. Das LLM verarbeitet die Kombination aus Nutzerfrage und abgeglichenen Daten und generiert eine fundierte Antwort. Diese Antwort wird schliesslich zurück in die Chat-App übermittelt und dort als Chat Ausgabe angezeigt. Dieses Zusammenspiel von Datensuche, Abgleich und KI-gestützter Texterstellung veranschaulicht, wie RAG eine Brücke zwischen Unternehmenswissen und Sprachmodell schlägt.

‍

Kurzer Überblick zur Entstehung von RAG

Der Begriff RAG tauchte erstmals in einer Forschungsarbeit von Lewis et al. (2020) auf. Die Idee dahinter: Statt das gesamte Wissen immer wieder ins Modell zu integrieren (was sehr aufwendig sein kann), verbindet RAG das Sprachmodell dynamisch mit externen Datenquellen. Dank dieser Herangehensweise können Unternehmen ihre KI-Lösungen schneller und sicherer aktualisieren: Wenn sich Wissen ändert (z. B. neue Produktdaten), wird lediglich die Datenbasis angepasst, nicht das gesamte Modell neu trainiert.

Warum RAG für KI im Unternehmen unverzichtbar ist

1. Aktuelles Wissen
Klassische LLMs haben in der Regel einen Stichtag (Knowledge Cutoff). Mit RAG kann ein Unternehmen jedoch jederzeit die neuesten Informationen abfragen, etwa die jüngsten Verkaufszahlen oder aktuelle Marktdaten.

2. Kontextbezogene und spezifische Antworten
RAG stützt sich auf firmeneigene Daten, anstatt nur auf allgemeine Informationen. Wird z. B. nach internen Richtlinien gefragt, bezieht das System die Antwort direkt aus dem entsprechenden Dokument.

3. Geringere Halluzination, höheres Vertrauen
Da das Sprachmodell seine Aussagen anhand echter Dokumente belegen kann, sinkt die Wahrscheinlichkeit von „erfundenen“ Antworten drastisch.

4. Nutzung interner Daten – ohne Risiko
Bei RAG bleiben sensible Daten im Unternehmen: Das KI-Modell ruft nur relevante Textauszüge ab, anstatt die gesamte Datenbasis an einen externen Dienst weiterzugeben.

5. Effizienz und Flexibilität
Um neue Informationen ins System einzubringen, muss kein umfangreiches Re-Training erfolgen. Es reicht, neue Dokumente in die Suchdatenbank aufzunehmen.

Drei zentrale Anwendungsfelder

1. Interne Chatbots („Chat mit Unternehmensdaten“)
Mitarbeitende können über einen KI-Chatbot Fragen zu Produktdetails, Richtlinien oder anderen Inhalten stellen. Das System liefert fundierte Antworten und zitiert die Quelle direkt aus der Datenbank.

2. Sichere Q&A für sensible Dokumente (Patientendaten und Bankdaten)
Gerade im Gesundheits- oder Finanzbereich sind die Dokumente hochsensibel. RAG ermöglicht es, KI-gestützte Analysen und Abfragen durchzuführen, ohne Patientendaten oder Bankinformationen nach aussen zu geben.

3. Prozessautomatisierung in der Finanzdienstleistung (FSI)
Die Finanzbranche ist geprägt von datenintensiven Prozessen, etwa bei Compliance, Reporting oder Lead-Qualifizierung. RAG kann viele dieser Aufgaben automatisieren und gleichzeitig die Genauigkeit steigern.

Fallbeispiel: RAG im Einsatz für Lead-Qualifizierung in einer Schweizer Bank  

Eine Schweizer Bank stand vor der Herausforderung, Hunderte Kundenanfragen täglich effizient zu bearbeiten und wertvolle Leads zu identifizieren. Viele Nachrichten kamen per E-Mail, Chat oder Messenger: von einfachen Service-Fragen bis hin zu komplexen Anlagewünschen.

Lösung mit RAG und dem KI-Assistenten  

1. Eingangsnachricht
   Sobald eine Kundenanfrage eingeht, wird sie automatisch erfasst.

2. Datenrecherche
   Der KI-Assistent sucht im CRM nach Kontodaten, bisheriger Kundenhistorie und Produkten. Gleichzeitig werden interne Wissensquellen (Marktberichte, Produkthandbücher) ausgewertet.

3. Antwortentwurf
   Das RAG-System generiert einen Vorschlag für den Vertrieb:
   
   • Kurzes Kundenprofil (Anliegen, bisherigen Produkte).
   • Passende Angebote oder Handlungsempfehlungen basierend auf aktuellen Daten.
   • Relevante Marktdaten oder Neuigkeiten (z. B. Zinssätze, regulatorische Updates).

4. Weitergabe an den Vertrieb
   Die Berater*innen sehen automatisch priorisierte Leads und können sofort reagieren.

Ergebnisse

• Zeitersparnis: Die Zeit für die Bearbeitung von nicht qualifizierten Leads wurde von einigen Tagen auf wenige Stunden pro Woche und Vertriebsmitarbeiter*in reduziert.

• Schnelligkeit: Vor dem Projekt warteten potenzielle Kunden bis zu zwei Monate auf eine Antwort des Vertriebsteams. Dank unserer Lösung wurde diese Frist auf wenige Stunden reduziert.

• Datenschutz und Compliance: Der KI-Assistent läuft in einer geschützten Umgebung, sensible Daten bleiben im Bankensystem.

Sicherheit, Datenschutz und Compliance in der Schweiz

Die Schweiz hat mit dem revidierten Datenschutzgesetz (FADP) und den FINMA-Vorgaben für Finanzinstitute besonders strenge Regelungen. RAG hilft dabei, diesen hohen Standards zu genügen, weil die sensiblen Daten nicht an externe Stellen weitergegeben werden müssen.

• Datenresidenz: Der gesamte Prozess kann wahlweise in einer Schweizer Cloud, in einer Private Cloud oder On-Premises betrieben werden.

• Rollen- und Rechtemanagement: Nur autorisierte Personen oder Abteilungen erhalten Zugriff auf die relevanten Dokumente.

• Verschlüsselung: Dokumente können verschlüsselt gespeichert und nur zur Laufzeit entschlüsselt werden.

Mit diesem Ansatz lassen sich sowohl interne IT-Richtlinien als auch externe Vorgaben (z. B. aktuelle FINMA-Rundschreiben) einhalten.

Fazit: RAG als Schlüssel zur effektiven KI-Nutzung

Retrieval-Augmented Generation gilt als wichtiger Meilenstein, um KIs in Unternehmen produktiv und sicher einzusetzen. Indem Sprachmodelle durch aktuelle, interne Wissensquellen ergänzt werden, lassen sich Geschäftsabläufe schneller und verlässlicher gestalten – von internen Chatbots über die Automatisierung in der Finanzbranche bis hin zur Analyse sensibler Patientendaten im Gesundheitswesen. Dank RAG bleiben Daten unternehmensintern geschützt, Compliance-Vorgaben werden erfüllt, und die Effizienz steigt.