Zum Hauptinhalt springen

Retrieval Augmented Generation

Was ist RAG​

Retrieval Augmented Generation kombiniert einen Suchschritt über Ihre eigenen Inhalte mit einem großen Sprachmodell. Für jede Benutzernachricht ruft eine semantische Suche relevante Textabschnitte aus der Wissensdatenbank ab und übergibt sie dem LLM als Kontext. Das LLM antwortet aus diesem Kontext, statt sich nur auf seine Trainingsdaten zu stützen.

LoyJoy verwendet dieses Muster seit 2023, um KI-Agenten auf kundenspezifische Inhalte zu stützen.

Wie LoyJoy RAG umsetzt​

Sie pflegen in LoyJoy eine Wissensdatenbank, indem Sie Websites hinzufügen, Dokumente hochladen (PDF, DOCX, PPTX) oder Daten per API übertragen. LoyJoy erzeugt für jeden Textabschnitt Vektor-Embeddings und speichert sie zusammen mit dem Quelltext.

Zur Laufzeit:

  1. Die Benutzernachricht wird eingebettet und per semantischer Suche gegen die Wissensdatenbank abgeglichen.
  2. Die besten übereinstimmenden Textabschnitte bilden den Kontext für den LLM-Aufruf.
  3. Das LLM erzeugt die Antwort aus Prompt, Konversationsverlauf und den abgerufenen Textabschnitten.

RAG-Prozess in LoyJoy

Detaillierte Konfiguration auf Modulebene wie Anzahl der Textabschnitte, Re-Ranking und Fragenaufteiler finden Sie im AI-Knowledge-Modul. Eingaben verwalten Sie in den Quellen.

Best Practices für die Kuratierung​

Die Antwortqualität hängt mehr von der Kuratierung des Wissens ab als von der Modellwahl.

  1. Qualität vor Quantität. Eine fokussierte Wissensdatenbank mit relevantem Material schlägt die Indexierung der gesamten Unternehmenswebsite.
  2. Duplikate vermeiden. Wiederholender SEO-artiger Inhalt verwässert die Suche. Kuratieren Sie kanonische Quellen.
  3. Inhalt an Fragen ausrichten. Prüfen Sie den Tab Konversationen, um zu sehen, was die KI abruft und wie Kunden ihre Fragen formulieren.

RAG in LoyJoy einrichten​

  1. Öffnen Sie einen KI-Agenten und gehen Sie zum Tab Knowledge.
  2. Fügen Sie Quellen hinzu: Fügen Sie eine URL ein, um eine Website zu crawlen, oder laden Sie Dokumente hoch.
  3. LoyJoy fügt automatisch ein AI-Knowledge-Modul in den Prozess ein.

Wissensbereich in der LoyJoy Platform

Für fortgeschrittene Abläufe mit Tool-Aufrufen, Websuche und mehrstufigem Denken siehe das KI-Agent-Modul.