Zum Hauptinhalt springen

Quellen

Mit LoyJoy haben Sie die Möglichkeit, Ihre eigenen Daten hinzuzufügen, indem Sie externe Quellen einbinden, die dann von den KI-Sprachmodellen zur Generierung von Antworten auf Nutzerfragen genutzt werden können. Das Hinzufügen externer Quellen ist ein einfacher Prozess: Geben Sie einfach die URL der gewünschten Quelle in das vorgesehene Eingabefeld ein. Das System erkennt automatisch den mit der URL verbundenen Dateityp.

ai_sources_input_pdf ai_sources_input_csv

Viele URLs auf einmal hinzufügen​

Wenn Sie eine große Anzahl von Quellen hinzufügen möchten, müssen Sie nicht jede URL von Hand eingeben. Laden Sie eine CSV- oder Excel-Datei hoch, die eine Spalte mit dem Namen url enthält, und LoyJoy fügt jede aufgeführte URL in einem Schritt als Quelle hinzu. Jede URL wird dann genauso verarbeitet wie eine manuell eingegebene.

ai_sources_bulk_upload

Nach dem Upload zeigt LoyJoy ein Import-Ergebnis. Es gibt an, wie viele URLs gefunden wurden, wie viele importiert wurden und wie viele nicht importiert werden konnten. Abgelehnte URLs werden zusammen mit dem Grund aufgelistet, z. B. ein fehlendes https://-Präfix oder eine ungültige URL, damit Sie sie korrigieren und die Datei erneut hochladen können. Wenn jede URL importiert werden konnte, schließt sich der Dialog direkt mit einer Erfolgsmeldung.

Ihre Website indexieren/crawlen​

Zusätzlich zu bestimmten Dateitypen können Sie auch ganze Websites indexieren/crawlen, indem Sie deren URLs eingeben. Wenn Sie eine URL eingeben, sucht LoyJoy zuerst nach einer zugehörigen Sitemap. Eine Sitemap ist eine Datei, die angibt, welche Seiten zu einer Website gehören und gecrawlt werden sollen. Wenn wir eine Sitemap finden, teilen wir Ihnen mit, wie viele Seiten gecrawlt werden.

ai_sources_sitemap

Wenn keine Sitemap gefunden wird, können Sie die Website trotzdem crawlen. Dies geschieht, indem geprüft wird, welche Links auf der Startseite enthalten sind, und untersucht wird, welche Links auf den verlinkten Seiten vorhanden sind usw. Dieser Ansatz dauert länger und ist auf höchstens 800 zu crawlende Seiten begrenzt.

ai_sources_no_sitemap

info

Wenn Sie die URL zu einer Sitemap kennen, können Sie sie direkt eingeben. Dies kann auch hilfreich sein, wenn auf Ihrer Website mehrere Sitemaps vorhanden sind und Sie eine bestimmte auswählen möchten.

Experteneinstellungen​

Um das Verhalten Ihres Crawlings weiter festzulegen, werfen Sie einen Blick in die Experteneinstellungen. Um die Last für Ihren Webserver zu reduzieren, können Sie eine Verzögerungszeit in Sekunden festlegen, die den Crawler nach jeder Anfrage pausieren lässt. Außerdem können Sie nach bestimmten Teilen Ihrer Webseite suchen, die Sie indexieren möchten, indem Sie eine Reihe von CSS-Selektoren angeben.

ai_sources_expert_settings

Diese CSS-Selektoren werden dann als Filter auf den gecrawlten Seiten verwendet. Nur der Inhalt, der in den Elementen enthalten ist, die den CSS-Selektoren entsprechen, wird indexiert. Dies kann nützlich sein, wenn Sie bestimmte Teile Ihrer Website von der Indexierung ausschließen möchten. Für eine Beispiel-Rezeptseite könnten wir zum Beispiel nur den Text einschließen wollen, der im Element mit der ID recipe_detail_container enthalten ist, sowie die Elemente mit der Klasse utils. Um dies zu erreichen, können wir die folgenden CSS-Selektoren verwenden:

ai_sources_css_selectors

In den meisten Browsern können Sie mit Rechtsklick und "Untersuchen" die CSS-Selektoren eines bestimmten Elements finden. Weitere Informationen zur Verwendung von CSS-Selektoren finden Sie in dieser Anleitung.

Wöchentliches Crawlen​

Für Websites, die sich regelmäßig ändern, aktivieren Sie Wöchentlich crawlen, damit LoyJoy die Quelle einmal pro Woche neu crawlt und die indexierten Inhalte automatisch aktuell hält. In der Quellenliste zeigt ein Badge dann das Datum des nächsten geplanten Imports an.

Diese Option ist ab dem Enterprise-Plan verfügbar.

Häufig wechselnde Seiten und URLs​

Nachrichten- und Event-Websites aktualisieren ihre Inhalte oft häufig oder veröffentlichen neue Inhalte unter neuen URLs. Wählen Sie die Aktualisierungsmethode danach, wie aktuell die Antworten des KI-Agenten sein müssen:

  • Für aktuelle Inhalte, die sich häufiger als einmal pro Woche ändern, fügen Sie das Tool WebPage zu Ihrem KI-Agenten hinzu. Es ruft eine Webseite ab, wenn der Agent sie benötigt, ohne auf den nächsten Crawl zu warten.
  • Wenn wöchentliche Aktualisierungen ausreichen, aktivieren Sie Wöchentlich crawlen. LoyJoy crawlt die Quelle dann automatisch einmal pro Woche neu. Diese Option ist ab dem Enterprise-Plan verfügbar.

Ausschlüsse​

Wenn Sie Ihre Website und ihre Unterseiten zur Indexierung hinzufügen, möchten Sie möglicherweise bestimmte Seiten von der Aufnahme in den Index ausschließen. LoyJoy bietet vier verschiedene Möglichkeiten, dies zu erreichen.

Nachdem Sie URLs ausgeschlossen haben, klicken Sie unbedingt auf das Re-Index-Symbol der Website. Nur danach werden die Ausschlüsse wirksam.

ai_sources_exclusions_rules

  1. Ausschließen, wenn der URL-Pfad Folgendes enthält: Sie können eine Zeichenfolge angeben, die, wenn sie im URL-Pfad gefunden wird, zum Ausschluss der Seite von der Indexierung führt.

    Geben Sie z. B. 2025 an, um alle Seiten auszuschließen, die die Zeichenfolge 2025 in ihrem URL-Pfad enthalten. Die ersten 2 URLs sind enthalten, während die dritte ausgeschlossen ist.

    ✅ https://example.com/blog/2024/some_article.html

    ✅ https://example.com/blog/2026/some_article.html

    ❌ https://example.com/blog/2025/some_article.html

  2. Ausschließen, wenn der URL-Pfad mit Folgendem endet: Sie können eine Zeichenfolge angeben, die, wenn sie am Ende des URL-Pfads gefunden wird, zum Ausschluss der Seite von der Indexierung führt.

    Geben Sie z. B. .xml an, um alle Seiten auszuschließen, die mit .xml enden. Die erste URL ist enthalten, die zweite und dritte sind ausgeschlossen.

    ✅ https://example.com/blog/2024/some_article.html

    ❌ https://example.com/blog/2025/index.xml

    ❌ https://example.com/blog/2026/index.xml

  3. Ausschließen, wenn der URL-Pfad exakt Folgendes ist: Sie können eine Zeichenfolge angeben, die, wenn sie als exakter URL-Pfad gefunden wird, zum Ausschluss der Seite von der Indexierung führt.

    Geben Sie z. B. /blog/2025/some_other_article.html an, um die URL mit diesem spezifischen Pfad auszuschließen. Die ersten beiden URLs sind enthalten, die dritte ist ausgeschlossen.

    ✅ https://example.com/blog/2024/some_article.html

    ✅ https://example.com/blog/2025/some_article.html

    ❌ https://example.com/blog/2025/some_other_article.html

  4. Ausschließen, wenn der URL-Pfad mit Folgendem beginnt: Sie können eine Zeichenfolge angeben, die, wenn sie am Anfang des URL-Pfads gefunden wird, zum Ausschluss der Seite von der Indexierung führt.

    Geben Sie z. B. /blog/2025/ an, um alle Seiten auszuschließen, die mit dieser Zeichenfolge beginnen. Die erste URL ist enthalten, die zweite und dritte sind ausgeschlossen.

    ✅ https://example.com/blog/2024/some_article.html

    ❌ https://example.com/blog/2025/some_article.html

    ❌ https://example.com/blog/2025/another_article.html

Crawling-Fehler​

Nachdem Ihre Website gecrawlt wurde, werden mögliche Fehler als Zahl in einem roten Kreis neben dem Website-Namen angezeigt. Erweitern Sie die Website-Details, um alle gecrawlten Seiten und ihren Status zu sehen. Seiten mit Fehlern sind mit einem Ausrufezeichen in einem roten Kreis markiert. Sie können die Fehlermeldung sehen, indem Sie mit der Maus über das Symbol fahren. Häufige Fehler sind:

  • No contents found: Dies bedeutet, dass wir auf der Seite keinen Textinhalt finden konnten. Entweder ist die Seite leer oder enthält nur wiederholenden Boilerplate-Text (z. B. in Kopf- oder Fußzeile).
  • Navigation timeout ... exceeded: In diesem Fall dauerte das Laden der Seite zu lange. Es scheint ein Problem mit der Website oder dem Server zu geben.
  • net::ERR_TOO_MANY_REDIRECTS at ...: Die Seite hat zu viele Weiterleitungen (Fowarding auf eine andere Seite), sodass der Crawler nicht auf den Inhalt zugreifen kann.
  • net::...: Verschiedene andere Netzwerkfehler, die beim Zugriff auf die Seite auftreten können. Dies kann auf Serverprobleme, Verbindungsprobleme oder Einschränkungen der Website zurückzuführen sein.

ai_sources_crawling_errors

Dateien hochladen​

Sie können Dateien wie pdf, pptx (PowerPoint), docx (Word), xlsx (Excel) und txt hochladen. Wählen Sie eine oder mehrere Dateien aus oder ziehen Sie sie per Drag & Drop in das Upload-Feld. Sie können im dafür vorgesehenen Feld einen Link für die Quelle hinzufügen. Andernfalls kann die Datei vom Chat-Nutzer nicht heruntergeladen werden (aber als Quelle erwähnt!).

Jede Datei darf bis zu 30 MB groß sein. Größere Dateien werden beim Upload mit einer entsprechenden Meldung abgelehnt.

Dateieinstellungen​

Jede hochgeladene Datei hat ihre eigenen Einstellungen. Erweitern Sie die Dateiquelle und klicken Sie auf den Button Einstellungen, um sie zu öffnen.

Datei bei der Wissenssuche in Chunks laden: Standardmäßig teilt die Wissenssuche eine Datei in kleinere Chunks und ruft nur die relevantesten Teile zur Beantwortung einer Frage ab. Sie können dies ausschalten, sodass die Datei der KI in ihrer Gesamtheit übergeben wird. Dies ist nützlich für Rechtstexte und andere Dokumente, die die KI als Ganzes erfassen muss.

Mehrere Quellen gleichzeitig auswählen und verwalten​

In den Quellenlisten URLs und Dateien können Sie mehrere Quellen auswählen und gemeinsam verwalten. Fahren Sie mit der Maus über eine Quelle, um ihre Checkbox anzuzeigen, oder verwenden Sie Alle auswählen in der Massenleiste, um jede sichtbare Quelle auszuwählen. Die Massenleiste am unteren Rand der Liste zeigt, wie viele Quellen ausgewählt sind.

Die Massenleiste bietet die folgenden Aktionen:

  • Alle auswählen / Auswahl aufheben: wählt die gesamte Auswahl aus bzw. hebt sie auf.
  • Verschieben: verschiebt alle ausgewählten Quellen in einen Ordner Ihrer Wahl.
  • Löschen: löscht alle ausgewählten Quellen nach Bestätigung.

Die Massenleiste wirkt auf die Quellen der aktuell geöffneten Liste, im Tab URLs auf die URL- und Website-Quellen, im Tab Dateien auf die hochgeladenen Dateien. Verwenden Sie Massenaktionen, um größere Quellensammlungen übersichtlich zu halten, z. B. um eine Gruppe verwandter Quellen in einen eigenen Ordner zu verschieben oder veraltete Quellen in einem Schritt zu entfernen.

Einen Ordner aktualisieren​

Um den Inhalt eines gesamten Ordners aktuell zu halten, importieren Sie alle seine URL-Quellen in einem Schritt neu, statt jede Quelle einzeln neu zu indexieren.

  • Klicken Sie in der Ordnerübersicht auf das Aktualisierungs-Symbol des Ordners.
  • Klicken Sie innerhalb eines geöffneten Ordners auf Ordner aktualisieren.

Nach Ihrer Bestätigung importiert LoyJoy die URL- und Website-Quellen des Ordners im Hintergrund neu. Der Import läuft auch weiter, wenn Sie die Seite verlassen oder den Browser schließen. Hochgeladene Dateien im Ordner bleiben unverändert, da es keine URL gibt, um sie erneut zu laden. Das Aktualisierungs-Symbol wird nur für Ordner angezeigt, die mindestens eine URL-Quelle enthalten.

Jeder Ordner zeigt das Datum, an dem seine Quellen zuletzt aktualisiert wurden, und die Quellenlisten zeigen das Datum der letzten Aktualisierung für jede einzelne Quelle. So sehen Sie auf einen Blick, welcher Inhalt veraltet sein könnte und welcher Ordner eine Aktualisierung wert ist.