Zum Hauptinhalt springen

Einstellungen

Generative KI-Modelle & GPT-Modelle​

Sie können eines von mehreren generativen KI-Modellen wählen. Allgemein empfehlen wir für die meisten Anwendungsfälle Azure GPT-4.1 Mini. Wenn Sie eine höhere Antwortqualität benötigen, können Sie Azure GPT-4.1 wählen.

TitleRegionPrice LevelPrice In
(per 1M tokens)		Price Out
(per 1M tokens)

Reasoning Effort​

Wenn Sie das interne DeepSeek-Modell auswählen, erscheint eine zusätzliche Einstellung Reasoning Effort. Sie steuert, wie viel Aufwand das Modell vor der Antwort in das Denken investiert. Sie können zwischen Minimal, Low, Medium, High, Extra high, Max und None wählen. Wenn nichts ausgewählt ist, gilt der Standard des Modells.

Reasoning Effort gilt für das interne DeepSeek-Modell sowohl bei Chat-Agenten als auch bei Phone Agents.

Benutzerdefinierte API-Keys​

Wenn Sie ein Large Language Model verwenden, können Sie Ihren eigenen API-Key eingeben, um die API-Aufrufe über Ihr Konto zu leiten.

Bei Verwendung eines Azure-Modells können Sie außerdem benutzerdefinierte Endpunktinformationen hinzufügen. In diesem Fall müssen Sie nicht nur einen API-Key eingeben, sondern auch die Basis-URL und die Deployments. Weitere Details zur Einrichtung Ihrer Azure-GPT-Modell-Endpunkte finden Sie im Artikel Azure GPT.

KI-Rate-Limiting​

Um Missbrauch zu verhindern und Kosten zu kontrollieren, können Sie die Anzahl der KI-Anfragen begrenzen, die ein Nutzer innerhalb eines bestimmten Zeitraums senden kann.

📍 Wo Sie es finden: Gehen Sie zu Wissen > Tab Einstellungen und scrollen Sie zum Abschnitt KI-Einstellungen.

Konfiguration: Sie können ein Rate-Limit basierend auf IP-Adresse pro Stunde oder Tenant-ID pro Minute festlegen.

  • Verfügbare Optionen: 30, 60, 360 oder 3.600 Anfragen pro Stunde.
  • Verhalten: Sobald das Limit erreicht ist, sieht der Nutzer die Meldung "Too many requests" in der Chat-Kopfzeile (Fehlercode 429) und kann keine weiteren Nachrichten senden, bis der Timer zurückgesetzt wird.

💡 Empfehlung: Für Standard-KI-Agenten sind niedrigere Limits oft ausreichend. Wenn Sie jedoch das AI Prompt Modul verwenden oder intensive Tests durchführen, empfehlen wir, das Limit auf 360 Anfragen pro Stunde oder höher zu erhöhen, um Unterbrechungen zu vermeiden.

Kosten überwachen: Die konkrete Anzahl der verwendeten Tokens und die daraus resultierenden Kosten können Sie im Tab Wissen > Nachrichten einsehen.

Selbst gehostete Modelle​

Wenn Sie Ihr eigenes Modell hosten möchten, können Sie Ollama oder vLLM verwenden, um sich mit Ihrem Modellhosting zu verbinden.

Ollama​

Ollama ist ein Open-Source-Projekt, das als Plattform für die Ausführung von LLMs auf Ihrer eigenen Infrastruktur dient. Sie können Ollama verwenden, um Ihr eigenes Modell auszuführen und sich damit zu verbinden. Weitere Informationen zu Ollama finden Sie auf der Ollama-Website.

vLLM​

vLLM ist eine Open-Source-Bibliothek für LLM-Inferenz und Serving. vLLM enthält eine OpenAI-kompatible API, die in LoyJoy integriert werden kann, indem Sie das Modell OpenAI compatible auswählen und Ihre vLLM-Endpunkt-URL eingeben. Weitere Informationen zu vLLM finden Sie im vLLM-Repository.

Llama-3 70b: Generative KI 100% Made in Germany 🇩🇪​

Die Integration von Metas Open-Weight-Modell Llama-3 70b in die LoyJoy Platform bietet ein neues LLM, das von unserem deutschen Partner primeLine AI (Teil der primeLine Group) in Limburg an der Lahn, Deutschland, gehostet wird und sicherstellt, dass alles zu 100% in Deutschland entwickelt wird.

Hauptfunktionen

  • Gehostet in einem ISO-27001-zertifizierten Rechenzentrum der partimus GmbH in Limburg an der Lahn (Teil der primeLine Group)
  • Datenschutzorientiert: Daten bleiben in Deutschland
  • Kein Azure-OpenAI-Hosting erforderlich
  • 100% Made in Germany
  • Wie immer volle DSGVO-Konformität

Interessiert? Kontaktieren Sie uns zur Aktivierung über unser Kontaktformular.