#KPIGesunderMenschenverstand
Messbarkeit und Nutzererlebnis mit Chatbots
Am 08.06. traf sich die Chatbotcommunity. Gestartet wurde wie immer mit dem Speeddating.
Anschließend ging es um Messbarkeit. Wann kommt ein Chatbot gut an? Wie kann das quantifiziert werden? Welche Messgrößen können zur Anwendung kommen?
- Anzahl der vom Chatbot bearbeiteten Konversationen
- Durchschnittliche Dauer einer Konversationen
- Anzahl (aktive) Nutzerinnen und Nutzer
- Anfragen außerhalb normaler Geschäftszeiten
- Prozentsatz/Anzahl nicht erkannter (vorher definierten Absicht) Intents (Default-Fallback-Intents wie „Meinten Sie xy?“ „Ich habe deine Frage nicht verstanden.“)
- Durchschnittlicher Confidence-Score bei der Erkennung von Intents
- Feedback-Funktions-Auswertung (thumbs up/down)
- Ergebnisse aus Feedback-Katalog (z. B. würden Sie den Chatbot weiterempfehlen, wurde ihre Anfrage erfolgreich beantwortet, fanden Sie die Konversation angenehm …
- Falls „Human handover“ möglich ist, wie oft musste das genutzt werden?
- Zielerfüllungsgrad bei kompletter Prozessabbildung -> wurde der Prozess erfolgreich abgeschlossen?
- Indirekte Effekte: weniger Anfragen auf bisherigen Kanälen (z. B. Telefon, E-Mail, vor Ort …)
In der virtuellen Podiumsdiskussion standen drei Standpunkte und Perspektiven im Raum.
- Sindre mit langjähriger Erfahrung und einem „klassischen“ Verwaltungschatbot, dem WienBot.
- Tabea stellte sich der Frage: „Chatbot? – Mehr oder weniger Kumpel“.
- Lisa mit quasi zero Erfahrung und einem pädagogischen Chatbot; Zielbild: digitale Chatbot-Rangerin.
Eine spannende Diskussion als Auftakt für unsere Murmelgruppen.
Einige Erkenntnisse und Standpunkte wollen wir teilen:
- Chatbots sind über die Zeit noch nicht wirklich besser geworden
- Ein Chatbot sollte nicht auf den Service-Output begrenzt, sondern als gesamtheitlicher Prozess verstanden werden: durch die didaktische Aufarbeitung der eigenen Inhalte können auch andere Verwaltungsangebote digital neu und nutzerfreundlicher gedacht und gestaltet werden.
- Gute Antworten sind das entscheidende, das kann man auch nicht outsourcen. Wir als Verwaltung sind DIE ANTWORTGEBER, daher sollten wir alle einen Chatbot haben. Es ist keine Frage des ob, sondern des wann. Die Nutzer wollen kurze Antworten haben.
Anschließend stellten Daniel und Alexandros den aktuellen Stand des NExTLeitfaden Chatbot vor.
Mit Botpress und RASA gibt es leichtgewichtigen Einstieg für Behörden, die einfach mal anfangen wollen.
Gesucht werden Mitstreiter:innen für die Erarbeitung des Leitfadens
Wollt Ihr Eure Ideen diskutieren? Ab sofort sind Anmeldung für CoP Chatbot im Oktober hier möglich 👉🏽 Treffen der NExTcommunity: Chatbot | NExT (next-netz.de) Erzähle auch gerne deinen interessierten Kolleg:innen davon.
