Vereinfachung von RAG-Systemen: Ein Open-Source-Blueprint für skalierbare und anpassbare Entwicklung

Große Sprachmodelle (Large Language Models, LLMs) werden branchenübergreifend eingesetzt, um Geschäftsprozesse zu optimieren. Retrieval-augmented Generation (RAG)-Systeme, das Thema dieses Blogposts, erweitern LLMs, indem sie internes Wissen einbinden, auf das die Modelle sonst keinen Zugriff hätten. In diesem Artikel untersuchen wir die Vorteile und Anwendungsmöglichkeiten von RAG-Systemen – von E-Commerce-Personalisierung bis hin zu Wissensdatenbanken. Anschließend stellen wir den RAG Blueprint vor, unsere Open-Source-Codebasis, die anpassbar für verschiedene Anwendungsfälle, skalierbar für Produktionsumgebungen und sicher für Ihre Daten ist.

In diesem Blogartikel erfahren Sie:

 

• Was RAG-Systeme sind
• Die möglichen Anwendungsbereiche von RAG-Systemen
• Warum die Entwicklung eines RAG-Systems komplex ist
• Wie Sie mit unserem RAG Blueprint ein RAG-System erstellen
• Plus Links zu weiteren Ressourcen und Dokumentation auf GitHub

Hier ist eine Demo eines RAG-Systems, das eine bayerische Bier-Datenquelle nutzt.

Planen Sie, Ihr eigenes RAG-System zu entwickeln?

Wir stehen gerne bereit, um Fragen zu beantworten und Ihnen den Einstieg mit dem RAG Blueprint zu erleichtern.

Kontaktieren Sie uns

Was ist ein RAG-System?

RAG-Systeme erweitern LLMs, indem sie ihnen Zugang zu externen Datenquellen ermöglichen. Dadurch können sie Fragen zu internen Daten beantworten, wie z. B. „Wie lauten die Verkaufszahlen für 2024?“ Sie stellen dem LLM relevante interne Informationen bezüglich der Nutzeranfrage bereit, sodass es genaue, datenbasierte Antworten liefern kann.

Das übergeordnete Konzept eines RAG-Systems

Das Ergebnis? Zuverlässige Antworten auf Basis echter Daten, inklusive Verweise auf die Quellen. Dies verbessert nicht nur die Genauigkeit, sondern verringert auch LLM-Halluzinationen (wenn ein KI-Modell plausible, aber falsche oder irreführende Antworten generiert). Zudem sind RAG-Systeme nahezu Echtzeitlösungen, die sich an dynamische Datenquellen und Dokumentenaktualisierungen in Echtzeit anpassen.

Mögliche Anwendungsbereiche von RAG-Systemen

RAG-Systeme haben ein breites Anwendungsspektrum. Hier sind ein paar Beispiele:

• E-Commerce-Personalisierung: RAG verbessert das Einkaufserlebnis, indem es Echtzeitdaten (Browserverlauf, frühere Käufe, Vorlieben) nutzt, um maßgeschneiderte Produktempfehlungen bereitzustellen. Das steigert die Conversion-Rate und das Kundenengagement. [1]
• Wissensdatenbanken: Schluss mit dem mühsamen Durchsuchen umfangreicher Dokumentationen. Ein RAG-System kann Ihre Wissensdatenbank durchsuchen, die relevantesten Dokumente identifizieren und für Sie zusammenfassen. [2]
• Coding-Copilots: RAG-gestützte Copilots helfen Entwicklern dabei, Code zu erklären, Fehler zu beheben, Optimierungen vorzunehmen oder bestehende Codebasen zu erweitern – und beschleunigen so den Entwicklungsprozess. [3]

Diese Anwendungsfälle verdeutlichen die zentralen Anforderungen: Datensicherheit, Genauigkeit, faktische Fundierung und Relevanz – Bereiche, in denen RAG-Systeme herkömmlichen generativen KI-Lösungen überlegen sind.

Was macht die Entwicklung eines RAG-Systems so komplex?

Ein kleines RAG-System für einen einzelnen Anwendungsfall ist schnell aufgebaut. Doch die Skalierung für verschiedene Anwendungen oder den produktiven Einsatz bringt Herausforderungen. 

RAG-System-Architektur

Die Architektur eines RAG-Systems umfasst viele verschiedene Komponenten und Prozesse, die je nach Anwendungsfall variieren können. Einige zentrale Herausforderungen sind:

• Datenquellen: Verschiedene Anwendungsfälle erfordern unterschiedliche Dokumentformate und Datensätze.
• Leistungs- & Kostenabwägungen: Die Wahl zwischen Cloud- und On-Premise-Lösungen beeinflusst sowohl die Systemleistung als auch die Betriebskosten. Dasselbe gilt für verschiedene Vektorspeicher-Anbieter.
• Datenschutzbedenken: Für sensible Daten kann es sinnvoll sein, ein lokal gehostetes LLM zu verwenden.

Alle diese Komponenten – zusammen mit den Embedding-, Retrieval- und Augmentation-Prozessen – erfordern eine flexible Codebasis, die sich leicht an verschiedene Anforderungen anpassen lässt.

Wie man ein RAG-System aufbaut: Unser RAG Blueprint

Um diese Komplexität zu reduzieren, haben wir eine Open-Source-RAG-Codebasis erstellt, die hier verfügbar ist. Sie ermöglicht es Entwicklern, das System einfach für spezifische Anwendungsfälle zu konfigurieren und um neue Komponenten zu erweitern. Unser Ziel ist es, Ihnen zu helfen, Ihr RAG-System anzupassen und zu skalieren, während Ihre Daten sicher bleiben.

Flexibilität

Unsere modulare Architektur erlaubt es Entwicklern:

• Verschiedene Datenquellen problemlos zu integrieren.
• Vektorspeicher, Einbettungsmodelle und LLMs auszutauschen, um Leistung und Kosten zu optimieren.
• Prozesse so anzupassen, dass sie den spezifischen Projektzielen entsprechen.

Diese Flexibilität stellt sicher, dass Ihr RAG-System sowohl funktional als auch effizient ist.

Benutzeroberfläche

Der Blueprint enthält eine vorgefertigte Chat-Oberfläche zur Interaktion mit dem System. Entwickler können diese jedoch problemlos erweitern, um sie mit anderen Endnutzer-Oberflächen zu verbinden.

Monitoring

Ein zentraler Aspekt jedes produktionsreifen Systems ist das Monitoring. Unser Blueprint enthält Tools, die aufschlussreiche Metriken zur Systemleistung und Nutzerinteraktionen liefern.

Langfuse als Monitoring-System für RAG.

Wir haben Langfuse integriert, um detaillierte Einblicke in jeden Prozess der Antwortgenerierung zu ermöglichen. Es trackt Systemnutzungsmetriken und Kosten, um den geschäftlichen Nutzen zu bewerten. Für Entwickler dient es als Fehlerbehebungstool, das hilft, Probleme effizient zu identifizieren und zu beheben.

Evaluation

Jedes robuste System benötigt eine kontinuierliche Bewertung. Unser Blueprint unterstützt „Human-in-the-Loop“-Evaluierungen, bei denen Nutzer Antworten mit einem einfachen Daumen-hoch oder Daumen-runter bewerten können. Dieses Feedback hilft, Leistungstrends zu erkennen und gezielt zu verbessern.

Zusätzlich können Evaluierungsdatensätze manuell hochgeladen werden, falls bereits bestehende Daten vorhanden sind. Wir nutzen verschiedene Evaluierungsmethoden – von einfachen statistischen Techniken bis hin zu fortschrittlichen Methoden mit Einbettungen und Sprachmodellen –, um eine umfassende Leistungsbewertung zu gewährleisten.

Zusammenfassung

In diesem Artikel haben wir untersucht, was RAG-Systeme sind, welche vielfältigen Anwendungsmöglichkeiten sie bieten und welche Herausforderungen bei der Implementierung solcher Systeme bestehen. Zudem haben wir unseren RAG Blueprint vorgestellt – eine vollständige und skalierbare Open-Source-Lösung, die die Entwicklung von RAG-Systemen vereinfacht und gleichzeitig Datensicherheit gewährleistet.

Tauchen Sie tiefer in die technischen Details auf unserem GitHub und in unsere detaillierte Dokumentation ein. Oder werfen Sie einen Blick auf unsere Data-Science- & KI-Dienstleistungen, um zu sehen, wie wir Sie bei Ihren Anwendungsfällen unterstützen können.

Fragen oder Feedback? Wir freuen uns auf den Austausch – schreiben Sie uns!

Kontaktieren Sie uns

Referenzen

[1] Alvarez, E. (2024, April 2). Transforming Retail with RAG: The Future of Personalized Shopping. Medium. 

[2] Jay, S. (2023, Sep 12). Leveraging Retrieval-Augmented Generation and Embeddings for Advanced Document Search. Medium.

[3] GitHub. (2025, Januar 30). Enhancing software development with retrieval-augmented generation. GitHub Resources.