Dreistein Medienentwicklung Startseite

Handbuch · Kapitel 16 · Teil D Betrieb im Alltag

Qualitäts-Cockpit

Wozu

Ob der Chat gut ist, entscheidet sich nicht im Test, sondern in den echten Gesprächen. dAI Pro protokolliert jede Frage mit Antwort, Quellen, Bewertung und Ausgang und macht daraus Kennzahlen, Themen und konkrete Arbeitslisten. Das Qualitäts-Cockpit ist kein einzelner Bildschirm, sondern das Zusammenspiel aus Protokoll, Kennzahlen unter „Verbrauch“ und den Agenten, die das Protokoll auswerten.

Die Bausteine

BausteinWoWas es zeigt
ProtokollJe Sammlung, für Redakteure einsehbarJede Frage mit Antwort, Quellen, Sprache, Kanal (Chat, Suche, Endpunkt für Agenten), Bewertung und Ausgang.
GesprächsausgangVerbrauch (Kapitel 19)Gelöst, nicht gelöst, Lösungsquote und Kosten je gelöster Anfrage, aus Signalen ohne KI-Urteil.
Antwort-BewertungChat, Einstellung in Kapitel 4Daumen der Besucher unter jeder Antwort.
Qualitätsprüfung (Agent)Agenten (Kapitel 15)Wochenbericht: Lösungsquote, Themen mit Trend, KI-Stichprobe der Antworten gegen die Wissensauszüge, die der Chat wirklich hatte.
Content-Gap-Radar (Agent)AgentenLücken-Themen mit Beispielfragen und Empfehlung.
Golden Set (Agent)AgentenRegressionstest mit festen Prüffragen; meldet, wenn eine Antwort kippt.
TraceProtokollJe Antwort der Weg dorthin: welche Abschnitte gefunden wurden, welche Strategie lief, welches Modell antwortete. Für die Ursachensuche.

Der Gesprächsausgang

Jede Antwort bekommt einen Ausgang aus Signalen:

  • Gelöst: beantwortet; vom Besucher mit Daumen hoch bestätigt; eine Folgefrage kam; eine Aktion wurde ausgelöst.
  • Nicht gelöst: Wissenslücke (der Chat musste absagen); abgelehnt (themenfremd); umformuliert (der Besucher fragte dasselbe anders); Übergabe an einen Menschen; Fehler.

Die Lösungsquote und die Kosten je gelöster Anfrage stehen unter „Verbrauch“. Der Wochenbericht der Qualitätsprüfung vergleicht sie mit dem Vorzeitraum.

Die Arbeitsroutine

  1. Wöchentlich: den Bericht der Qualitätsprüfung lesen. Themen mit Trend zeigen, was Besucher gerade bewegt; die KI-Stichprobe nennt Antworten, die schwach oder zu prüfen sind.
  2. Nicht gelöste Anfragen durchgehen: Wissenslücke heißt Inhalt fehlt, Umformulierung heißt Inhalt unklar, Übergabe heißt der Chat kam nicht weiter. Die Vorschläge des FAQ-Generators und des Content-Gap-Radars nehmen diese Arbeit ab.
  3. Daumen runter prüfen: Quelle öffnen, Inhalt korrigieren, neu indexieren, Cache leeren (Kapitel 7).
  4. Golden Set ergänzen, sobald eine Frage wichtig genug ist, dass ihre Antwort nie mehr kippen darf.

Datenschutz

Das Protokoll speichert Fragen und Antworten ohne Zuordnung zu Personen und löscht sie nach der eingestellten Frist (Kapitel 20). Angaben aus Übergabe-Formularen stehen nicht im Protokoll, sondern gehen per E-Mail an das Team.

Häufige Fragen

Die Lösungsquote ist niedrig, aber die Antworten sind gut. Prüfen Sie die Verteilung: Viele „abgelehnt“ deuten auf eine zu strenge Themenfilter-Schwelle, viele „umformuliert“ auf unklare Inhalte, viele „Wissenslücke“ auf fehlende Seiten.

Wo sehe ich, welche Abschnitte der Chat für eine Antwort hatte? Im Trace der Antwort im Protokoll. Er zeigt die gefundenen Abschnitte mit Quelle und Nähe zur Frage.

Kann ich das Protokoll exportieren? Der Verbrauch ist als Excel und CSV exportierbar; das Protokoll steht in TYPO3 als eigenes Modul mit Export bereit, im Standalone über die REST-API (Kapitel 29).

Siehe auch