dAI Pro Agenten – Wissen pflegen, Antworten prüfen

Ein KI-Chatbot ist nur so gut wie sein Wissen und so verlässlich wie seine Antworten. Beides bleibt selten von allein in Ordnung. Agenten sind in dAI Pro die Hintergrundhelfer, die nach Zeitplan hinsehen, berichten und auf Wunsch handeln. Drei davon stellen wir hier ausführlich vor – den Frische-Wächter, der die Wissensbasis aktuell hält, die Qualitätsprüfung, die echte Gespräche bewertet, und das Golden Set, den Regressionstest für Antworten. Alle Funktionen von dAI Pro finden Sie auf der dAI Pro Features, eine Einführung mit Anwendungsbeispielen auf der dAI-Pro-Produktseite.

Ein Agent ist ein Auftrag mit Zeitplan. Sie legen ihn an einer Sammlung an, wählen den Typ, stellen wenige Optionen ein und bestimmen, wann er läuft – stündlich, täglich, wöchentlich, monatlich oder nach einem eigenen Cron-Ausdruck. Zusätzlich lässt sich jeder Agent jederzeit von Hand starten.

• Jeder Lauf ist ein Bericht – mit Datum, Dauer, Zusammenfassung und einer Liste von Funden. Jeder Fund trägt einen Schweregrad (Info, Warnung, Kritisch), einen Typ und eine Beschreibung mit Link zur betroffenen Seite. Erledigte Funde haken Sie ab.
• Bericht per E-Mail – auf Wunsch geht jeder Bericht an eine Adresse Ihrer Wahl, etwa an die Redaktion oder den Support.
• Die Entscheidung bleibt bei Ihnen – Agenten schreiben nichts in Ihre Wissensbasis, es sei denn, Sie schalten eine Automatik ausdrücklich ein. Was sie getan haben, steht im Bericht.
• Kosten sichtbar – nutzt ein Agent ein Sprachmodell, stehen die Kosten des Laufs am Ende des Berichts und im Verbrauchsprotokoll der Sammlung.
• Sprachmodell wählbar – je Agent wählen Sie eine der für die Sammlung freigegebenen LLM-Konfigurationen, etwa ein europäisch betriebenes Modell für die Bewertung.

Acht Agententypen stehen bereit. Die drei wichtigsten für den laufenden Betrieb erklären wir im Detail.

Die häufigste Ursache für falsche Antworten ist veraltetes Wissen. Eine Seite wurde umgeschrieben, ein Preis geändert, ein PDF ersetzt – und der Chatbot antwortet noch mit dem alten Stand. Der Frische-Wächter vergleicht die Dokumente einer Sammlung mit ihren Quellen, inklusive verknüpfter Bilder und Dateien, und meldet, was sich geändert hat, was nicht mehr erreichbar ist und was neu dazugekommen ist.

Damit das auch bei großen Websites schnell bleibt, arbeitet er in drei Stufen.

• Änderungshinweise aus TYPO3 – speichert die Redaktion eine Seite, meldet die TYPO3-Integration das sofort an den Wächter. Im Bericht erscheinen diese Funde als „Änderung gemeldet“, ohne Wartezeit bis zum nächsten Crawl. Für Datensätze, die dieses Signal umgehen (etwa News), gibt es eine Tabellen-Zuordnung.
• Schnellprüfung über die Sitemap – ein einziger Abruf statt hunderter Seitenaufrufe. Seiten mit neuerem Änderungsdatum werden neu eingelesen, neue Seiten aufgenommen, aus der Sitemap verschwundene Seiten deaktiviert. Eine Sicherung greift, wenn mehr als 30 % auf einmal verschwinden – dann wird nur gemeldet.
• Tiefenprüfung – in einstellbaren Abständen (zum Beispiel jeder siebte Lauf) ruft der Wächter jede Quelle einzeln ab, prüft Bilder byteweise und findet tote Links. Ein Kontingent je Lauf sorgt dafür, dass auch große Sammlungen in Rotation vollständig geprüft werden.

Mit den Automatik-Optionen wird aus dem Wächter eine komplette Aktualisierungsstrecke ohne Redakteur.

• Geänderte Quellen automatisch neu einlesen – der gespeicherte Stand wird überschrieben, verknüpfte Bilder und Dateien werden mitgezogen. Hochgeladene Dateien und Konnektor-Inhalte werden nur gemeldet.
• Nicht mehr existierende Inhalte löschen – Quellen mit HTTP-Fehler oder Umleitung auf eine andere Seite verschwinden samt Abbildungen und Textabschnitten aus der Wissensbasis.
• Geändertes verarbeiten – neu Eingelesenes und alles noch Unverarbeitete wird eingebettet und freigeschaltet.
• CAG-Bundle neu aufbauen – am Ende des Laufs, wenn sich Daten geändert haben, je Sprache.
• Fachsammlungen automatisch füttern – neue Dateien (PDF, Office, Text) ordnet die KI der thematisch passenden Sammlung zu.

Der Frische-Wächter kommt dabei ohne Sprachmodell aus, ein Sprachmodell braucht nur die Zuordnung zu Fachsammlungen. Der Bericht zeigt je Fund die betroffene Seite, die Ursache und die ausgelöste Aktion – „Automatisches Neu-Einlesen angestoßen“ oder „Neu-Einlesen bereits eingeplant“.

Ob ein Chatbot gut antwortet, zeigt sich nicht im Testlabor, sondern in den echten Gesprächen. Die Qualitätsprüfung ist der Wochenbericht darüber. Sie wertet die Chat-Protokolle eines Zeitraums aus (Standard sieben Tage), bündelt die Fragen zu Themen und lässt eine Stichprobe der Antworten von einem KI-Richter bewerten – gegen genau die Wissensauszüge, die der Chatbot beim Antworten vorliegen hatte.

• Überblick – Fragen, Gespräche, Lösungsquote, Kosten und Kosten je gelöster Anfrage. Die Lösungsquote entsteht aus dem Gesprächsausgang. Beantwortet, bestätigt, Folgefrage oder Aktion gelten als gelöst, Absage, Daumen runter, Umformulierung, Übergabe oder Fehler nicht.
• Themen – die Fragen werden eingebettet und nach Ähnlichkeit gebündelt, ein Sprachmodell benennt die Themen. Je Thema sehen Sie Anfragen, Lösungsquote, Kosten und den Trend zum Vorzeitraum. Themen mit schwacher Lösungsquote und stark wachsende Themen werden als Fund gemeldet.
• Auto-QA – der Richter vergibt je Antwort Noten von 1 bis 5 in vier Rubriken (Quellentreue, Vollständigkeit, keine unbelegten Behauptungen, Ton und Länge – eigene Rubriken sind möglich), ein Urteil und die wahrscheinliche Ursache. Retrieval, Wissensbasis, Prompt oder Modell. Einmal beurteilte Antworten merkt sich der Agent.
• Vorsichtig im Urteil – Fehlermeldungen, Aktionen wie Terminbuchungen und Übergaben werden nicht bewertet, sondern gezählt. Ein Widerspruch zählt nur mit wörtlichem Beleg aus den Auszügen, und der Richter kennt die eingerichteten Fähigkeiten Ihres Chatbots. Auffällige Antworten heißen „Antwort prüfen“ – die Einschätzung bleibt eine Hypothese, die Sie mit einem Klick im Protokoll überprüfen.
• Richter frei wählbar – als Richter dient die am Agenten gewählte LLM-Konfiguration, sonst das Chat-Modell der Sammlung.

Jede Änderung an Prompt, Wissensbasis oder Sprachmodell kann Antworten verbessern – oder unbemerkt verschlechtern. Das Golden Set ist der Regressionstest dafür. Hinterlegte Prüffragen schickt der Agent durch die echte Antwort-Pipeline und prüft die Antworten deterministisch.

• Prüffragen mit Erwartungen – je Frage legen Sie fest, welche Fakten in der Antwort stehen müssen, welche mindestens vorkommen sollen, welche Quelle zitiert werden soll oder dass der Chatbot ehrlich absagen muss. Bis zu 60 Prüffragen je Agent, in der Sprache Ihrer Wahl.
• Ursache statt Bauchgefühl – fällt eine Prüffrage durch, liest der Agent aus dem Antwort-Trace, warum. Quelle nicht gefunden, gefunden, aber vor dem Prompt abgeschnitten, im Prompt, aber nicht genutzt, Wissenslücke, falsche Quelle oder eine unerwartete Antwort statt der Absage.
• Läuft nach Änderungen – auf Wunsch startet das Golden Set automatisch, sobald sich Wissensbasis, Prompt oder LLM-Konfiguration geändert haben. Jeder Lauf wird mit dem vorigen verglichen – Regressionen erscheinen als kritischer Fund, Verbesserungen als Hinweis.
• Modellvergleich – eine zweite LLM-Konfiguration der Sammlung beantwortet dieselben Fragen. Der Bericht stellt Quote, Kosten und Noten gegenüber – die Grundlage für einen Modellwechsel mit Zahlen statt Vermutungen.
• Richter-LLM – optional bewertet ein Richter jede Antwort mit einer Note von 1 bis 5 und entscheidet Prüffragen ohne Erwartungen. Bestanden oder nicht bestanden bleibt bei Erwartungen deterministisch, die KI-Note ist eine Zusatzspalte.
• Antworten im Bericht – jede Antwort steht vollständig im Bericht, angeteasert und aufklappbar, mit Quellen-Links und, falls der Chatbot Bilder genutzt hat, mit Vorschaubildern.
• Prüffragen aus echten Fragen – der FAQ-Generator liefert Vorschläge, die Sie mit einem Klick als Prüffragen übernehmen. Die Kachel „Golden Set“ auf der Verbrauchsseite zeigt den jüngsten Lauf neben Lösungsquote und Kosten.

Beide Prüf-Agenten schließen ihren Bericht mit konkreten Handlungsempfehlungen ab – nicht „Qualität verbessern“, sondern „Quelle X prüfen“, „Prompt erweitern um …“, „Inhalt ergänzen zu …“ oder „Retrieval prüfen“. Jede Empfehlung nennt die auslösende Frage, die Note und die Begründung.

Dieselben Empfehlungen liegen dem Bericht als maschinenlesbarer JSON-Block bei – mit Aktion, Ziel, Text, Quelle und Protokollnummer. So kann ein KI-Assistent, etwa ein Coding-Agent Ihres Teams, die Vorschläge direkt aufnehmen. Den Prompt-Zusatz einfügen, die genannte Seite öffnen oder einen Redaktionsauftrag anlegen.

Neben den drei Prüf- und Pflege-Agenten stehen fünf weitere Typen bereit.

• Inhalts-Wächter – KI-Prüfung der gespeicherten Inhalte auf Sinnhaftigkeit. Abgelaufene Fristen, alte Preise oder Versionen, Widersprüche zwischen Dokumenten – mit wörtlichen Zitaten im Bericht.
• Content-Gap-Radar – wertet die echten Chat-Fragen aus und liefert Lücken-Themen mit Beispielfragen und Content-Empfehlung, die Futterliste für die Redaktion.
• FAQ-Generator – macht aus unbeantworteten Besucherfragen redaktionsreife FAQ-Entwürfe aus dem Sammlungswissen. Wo die Sammlung nichts hergibt, entsteht ein Redaktions-To-do.
• Ticket-Assistent – beobachtet eine Datenquelle als Support-Posteingang und entwirft für jede neue Anfrage eine Antwort aus dem Sammlungswissen, in der Sprache der Anfrage. Ins Ticketsystem wird nichts zurückgeschrieben.
• Freier Prompt – ein frei formulierter Auftrag nach Zeitplan, wahlweise gestützt auf das Wissen der Sammlung, abgelegt als Bericht.

Agenten arbeiten mit denselben Sprachmodellen wie Ihr Chatbot – also mit den LLM-Konfigurationen, die Sie für die Sammlung freigegeben haben, auf Wunsch ausschließlich mit europäisch oder souverän betriebenen Modellen. Welche Daten ein Richter-Modell sieht, bestimmen Sie damit selbst. Die Stichprobe enthält Frage, Antwort und die Wissensauszüge.

Jeder Lauf protokolliert seine Kosten unter dem Zweck „Agent“, getrennt vom Chat. Berichte bleiben in Ihrer Installation, gehen auf Wunsch per E-Mail hinaus und lassen sich jederzeit löschen. Und weil Agenten ohne eingeschaltete Automatik nichts verändern, können Sie sie gefahrlos einschalten, zusehen und erst danach entscheiden, wie viel Sie ihnen überlassen.

Agenten sind Teil von dAI Pro – in der TYPO3-Erweiterung wie in der Web-Anwendung. Mit der Demo mit Ihrer eigenen Website legen Sie in wenigen Minuten eine Sammlung an. Frische-Wächter, Qualitätsprüfung und Golden Set zeigen wir Ihnen gern im Erstgespräch an Ihren Inhalten.