De Knowledge Base Optimizer is een testtool die je laat zien welke fragmenten van je trainingsdata de chatbot vindt voor een bepaalde vraag. De tool gebruikt de instellingen van de bot voor kennisophaling en taal voor een op zichzelf staande vraag. Hij speelt niet een heel gesprek na en roept ook niet de webwinkel of andere acties van de bot aan, waardoor het geen exacte weergave is van elk live antwoord.
Het is een alleen-lezen tool: het testen van een vraag hier verandert niets aan je trainingsdata en heeft op geen enkele manier invloed op je chatbot.
Waar vind je het?
Selecteer je chatbot in het hoofddashboard en open het tabblad Training (Training). Klik in de linkerkolom, onder de lijst met broncategorieën, op Knowledge Base Optimizer (Kennisbank-optimalisatie).
Als je je chatbot nog niet hebt getraind, begin dan eerst met het toevoegen van trainingsdata - de optimizer kan alleen zoeken in kennis die al getraind is.
Een vraag testen
- Typ een vraag in het veld Message (Bericht) - bij voorkeur een echte vraag die je bezoekers stellen, of eentje die de chatbot onlangs slecht heeft beantwoord.
- Klik op Submit (Verzenden).
- Na een kort moment verschijnen de overeenkomende kennisfragmenten eronder, geordend op basis van de relevantiescore en het taalbeleid.
De resultaten begrijpen
Elke resultaatrij vertegenwoordigt één fragment van je trainingsdata:
- Match (Overeenkomst) - het percentage aan de linkerkant toont hoe goed het fragment aansluit op je vraag. Gebruik dit als een indicatie van gelijkenis, niet als een procentuele waarschijnlijkheid dat een antwoord correct is. Taalvoorkeuren en herrangschikking kunnen de volgorde ook beïnvloeden.
- Source (Bron) - de rijkolom toont het pictogram en de naam van het brontype, bijvoorbeeld de URL van de getrainde pagina, een bestandsnaam of een Q&A-item.
- Taallabel - de kleine badge naast de bron toont met welke taal het fragment is gelabeld. Bronnen zonder taallabel tonen "any", wat betekent dat ze voor elke taal worden gebruikt.
- Fragmentinhoud - klik op een rij om deze uit te vouwen en de exacte tekst te lezen die de chatbot zou ontvangen.
De volgorde is belangrijk. Resultaten worden gerangschikt op relevantie, en de chatbot leest ze in deze volgorde, van boven naar beneden, totdat het contextbudget voor kennis vol is. Het budget is afhankelijk van de Chat Context Size en geheugeninstellingen van de bot - fragmenten die niet binnen het budget passen, worden aan de onderkant afgekapt. Als het fragment dat je verwachtte ontbreekt of erg laag in de lijst staat, gebruikt de chatbot het hoogstwaarschijnlijk niet bij het antwoorden.
Taalbeleid
Boven het berichtveld legt de regel Language policy (Taalbeleid) uit hoe je bot omgaat met brontalen tijdens de zoekopdracht. Bij een bot zonder taalfiltering doorzoekt hij alle bronnen tegelijk. Met Multi-language kan het geconfigureerde beleid de zoekopdracht beperken tot de hoofdtaal of de taal van de bezoeker, samen met de geselecteerde fallback en taalonafhankelijke bronnen. Lees het weergegeven beleid voordat je conclusies trekt over ontbrekende resultaten.
Bij meertalige bots verschijnt er na elke zoekopdracht een extra informatieregel onder het berichtveld. Deze toont de Detected message language (de taal die de tool in je vraag heeft herkend), de Searched languages (welke brontalen in de zoekopdracht zijn meegenomen), en, wanneer de tool je vraag heeft geherformuleerd om beter te zoeken, de Refined query die daadwerkelijk is gebruikt.
Wanneer gebruik je het?
- De chatbot geeft een verkeerd antwoord of zegt het niet te weten. Test dezelfde vraag hier. Als het juiste fragment ontbreekt, controleer dan eerst de oorspronkelijke bron, of de training voltooid is, het taallabel en het getoonde taalbeleid. Ontbrekende resultaten kunnen ook het gevolg zijn van de rangschikking of het contextbudget; ze bewijzen niet automatisch dat de informatie ontbreekt. Voeg pas inhoud toe of pas deze aan nadat je het probleem hebt geïdentificeerd.
- Na het opnieuw trainen. Wanneer je je bronnen opnieuw traint, voer dan een paar typische vragen in om te controleren of de bijgewerkte inhoud zoals verwacht wordt opgehaald.
- Voor livegang. Test de meest voorkomende vragen die je bezoekers zullen stellen en controleer of elke vraag relevante fragmenten bovenaan toont.
Als de resultaten gaten in de kennis aan het licht brengen, verbeter dan je trainingsdata en test opnieuw - de wijzigingen worden beschikbaar zodra het trainen is voltooid. Test het antwoord vervolgens in Overview (Overzicht), inclusief een realistische vervolgvraag. Raadpleeg voor een uitgebreidere handleiding Hoe je chatbotantwoorden kunt verbeteren.