KI-Testautomatisierung

Mit dieser Funktion können Sie eine oder mehrere Konfigurationen Ihres generativen KI-Setups effizient testen.

Statt einzelne Fragen manuell in den Chat zu tippen, können Sie eine Liste von Testfragen (als CSV- oder XLSX-Datei) hochladen. Für jede Frage wird automatisch eine Antwort vom KI-Prozess generiert, wie er in Ihrem Prozessmodell konfiguriert ist. Dies umfasst das AI Gateway, alle KI-Wissensquellen und andere relevante Module. Nach einer Verarbeitungszeit (üblicherweise ca. 30 Minuten, abhängig von der Anzahl der Fragen) können Sie die generierten Antworten als CSV-Datei herunterladen. So können Sie die Leistung Ihrer KI einfach auswerten, besonders nach Änderungen an ihrer Konfiguration (z. B. aktualisierten Modulen, Prompts, System Messages, Wissensquellen oder LLMs).

Da die KI-Tests prozessspezifisch sind, können Sie nur die KI eines bestimmten Prozesses/KI-Agenten testen. Um Testfragen hochzuladen und die KI zu testen, navigieren Sie zum Tab Wissen des Prozesses und klicken Sie auf den Button KI-Testautomatisierung.

Format der Upload-Datei

Die Datei zum Hochladen der Fragen sollte eine CSV- oder XLSX-Datei mit den folgenden Spalten sein:

• question: Die Frage, die von der KI beantwortet werden soll.
• locale: Das Gebietsschema (die Sprache), in dem die Frage beantwortet werden soll. Dies ist wichtig, damit das Sprachmodell die korrekte Antwort erzeugt. Das Gebietsschema sollte im Format en für Englisch, de für Deutsch usw. sein.
  • Bitte beachten: Es werden nur Gebietsschemata unterstützt, die im KI-Agenten (Prozess) konfiguriert und aktiv sind.
• conversation (optional): Der Name einer Unterhaltung, in der die Frage beantwortet wird. Fragen mit demselben conversation-Namen werden als aufeinanderfolgende Turns einer Unterhaltung ausgewertet, sodass jede Antwort mit den vorherigen Turns als Kontext erzeugt wird. Lassen Sie diese Spalte leer, um eine Frage isoliert auszuwerten.

Die Fragen werden in der Reihenfolge der Datei von oben nach unten verarbeitet. Das ist wichtig für die Spalte conversation: Die Turn-Reihenfolge einer Unterhaltung folgt der Zeilenreihenfolge. Platzieren Sie die Turns einer Unterhaltung also in der Datei in der Reihenfolge, in der sie beantwortet werden sollen.

info

Die Spalte hieß zuvor dialog. Upload-Dateien, die noch die alte Spalte dialog verwenden, werden abgelehnt; benennen Sie die Spalte vor dem Upload in conversation um.

Beispiel für Dateiinhalte:

question	locale	conversation
How do I cancel my subscription?	en	cancel
And can I get a refund?	en	cancel
What is the capital of France?	en
Suche ein Produkt mit einer Bewertung über 4 Sternen.	de