So messen Sie die Leistung Ihres Website-Chatbots
Einen Chatbot auf der Website einzubauen, ist der leichte Teil. Schwer ist es zu wissen, ob er hilft: Antwortet er richtig, sagt er es, wenn er etwas nicht weiß, und nimmt er Ihrem Team echte Arbeit ab? Zahlen wie „90 % der Fragen beantwortet“ sind schnell erzeugt und leicht falsch zu deuten. Dieser Ratgeber zeigt in fünf Schritten, wie Sie einen Website-Chatbot messen, mit Kennzahlen, die das aussagen, was sie sagen, vor dem Livegang und danach jede Woche.
Schritt 1: Vor dem Start mit einem Readiness-Score testen
Prüfen Sie, bevor Besucher den Chat sehen, wie er mit Ihren eigenen Inhalten abschneidet. OneType schreibt aus Ihren Seiten Testfragen in den Worten, die ein Besucher verwenden würde, dazu Fragen, die Ihre Inhalte nicht abdecken, und gibt dem KI-Agenten einen Score von 0 bis 100. Das Finden der richtigen Textstelle zählt zu drei Vierteln in den Score, das Zurückhalten statt Raten zählt für den Rest. Ab 85 gilt „Ready“, 70 bis 84 sind „Good“, und alles darunter braucht Nacharbeit. Ist unter den Tests keine Frage, die Ihre Inhalte nicht abdecken, steht der Wert nie auf „Ready“, weil die Fähigkeit des Chats zur Zurückhaltung nie geprüft wurde. Zu jeder gescheiterten Frage gibt es eine Schaltfläche, um die fehlende Antwort zu ergänzen oder die Quelle zu öffnen.
Schritt 2: Ihre echten Fragen erneut abspielen
Ein Score auf erzeugten Fragen ist ein Anfang; Ihre eigenen Tickets sind besser. Wenn Sie frühere Tickets oder Chats haben, laden Sie sie als CSV-Datei hoch, und OneType beantwortet jede Frage so, wie es heute antworten würde. Sie sehen, wie viele es mit Quellen beantworten würde, wie viele es an einen Menschen übergeben würde und wie viele Ihre Inhalte nicht abdecken. Das Wiederabspielen von Tickets ist im Free-Tarif nicht verfügbar, und in bezahlten Tarifen legt Ihr Tarif fest, wie viele Wiederholungen Sie pro Monat ausführen können. Die Fragen, die es nicht abdecken kann, sind das Erste, was Sie beheben sollten.
Schritt 3: Die Wochenzahlen lesen und wissen, was sie zählen
Öffnen Sie „Analytics“ einmal pro Woche. Dort sehen Sie Unterhaltungen, Lösungsquote, Antwortzeit, Leads und Ihre wichtigsten Themen, jeweils im Vergleich zum Zeitraum davor. Lesen Sie die Lösungsquote genau: Eine Unterhaltung gilt nur dann als von der KI gelöst, wenn niemand aus Ihrem Team eingegriffen hat, sie nicht übergeben wurde und der Besucher keine Antwort negativ bewertet hat; sie ist bestätigt, wenn der Besucher es sagt oder eine Antwort positiv bewertet, und wird automatisch als gelöst gezählt, wenn sie nach einer hilfreichen Antwort still endet. Sie ist ein nützlicher Anhaltspunkt, aber kein Beweis, dass jedes Problem gelöst wurde. Testchats aus Vorschauen zählen nie mit, und solange noch nichts beendet ist, sehen Sie gar keine Quote statt einer Null.
Schritt 4: Den verpassten Fragen folgen
Die nützlichste Zahl ist die Liste der Fragen, die der Chat nicht beantworten konnte. OneType sammelt die Fragen, bei denen es sich zurückgehalten hat, und die Antworten, die Besucher als nicht beantwortend, falsch oder veraltet bewertet haben, gruppiert sie nach Bedeutung, versieht sie mit einer Anzahl und zeigt die häufigsten zuerst. Jede Gruppe ist nur eine Antwort davon entfernt, abgedeckt zu sein: Schreiben Sie eine gespeicherte Antwort oder aktualisieren Sie eine Seite, und der Chat kennt sie ab der nächsten Unterhaltung. Passt eine Gruppe nicht zum Thema, verwerfen Sie sie. Beobachten Sie, wie die Liste über einige Wochen kürzer wird.
Schritt 5: Die gesparte Zeit schätzen und als Schätzung kennzeichnen
Der Wertbericht zeigt von der KI gelöste Unterhaltungen, vermiedene Übergaben an einen Menschen, erfasste Leads und gesparte Stunden. Die gesparten Stunden sind eine Schätzung: von der KI gelöste Unterhaltungen multipliziert mit den Minuten, die ein Mensch für eine davon aufwenden würde. Der Startwert liegt bei 6 Minuten, und Inhaber und Administratoren können ihn an Ihr Team anpassen. Nutzen Sie ihn zum Vergleich mit Ihren eigenen Aufzeichnungen, etwa der Zahl der Support-E-Mails pro Woche vorher und nachher, und geben Sie ihn als Schätzung an.
Sehen Sie, was Ihr Chatbot wert ist
Mehr dazu: analytics, lesen Sie über den Readiness-Score, oder kostenlos starten.