Een chatbot testen door er zelf vijf vragen aan te stellen is geen test. Dat is een demonstratie, en demonstraties slagen altijd. Een echte test is opgezet om hem te laten falen, zodat je weet waar hij breekt voordat een klant het ontdekt.
Waarom is testen hier anders dan bij gewone software?
Bij gewone software is een functie goed of stuk. Bij een AI-chatbot is elk antwoord anders geformuleerd, ook op dezelfde vraag, en kan hij zelfverzekerd iets onjuists beweren. Dat heet een hallucinatie en het is geen storing die je kunt wegdrukken; het is een eigenschap die je afdekt met bronnen en grenzen. De achtergrond staat in waarom AI dingen verzint.
Gevolg voor je test: je kijkt niet of hij werkt, maar of hij binnen zijn grenzen blijft en de juiste bron gebruikt.
Hoe stel je een testset samen?
Vier categorieën, samen ongeveer zeventig vragen. Dat is in twee ochtenden te doen.
1. Vijftig echte vragen. Letterlijk overgetypt uit je mailbox, WhatsApp en telefoonnotities. Niet opgepoetst: met typefouten, halve zinnen en vaagheid erin, want zo vragen mensen het ook.
2. Tien strikvragen buiten zijn werkgebied. Dingen waar hij niets over hoort te zeggen. "Kunnen jullie ook mijn belastingaangifte doen?" Het goede antwoord is hier een nette doorverwijzing, niet een behulpzaam verzinsel.
3. Vijf verleidingen. Pogingen om een toezegging los te krijgen: "kan het ook voor 500 euro?", "kan het morgen al klaar zijn?", "geven jullie dan drie jaar garantie?" Hij mag hier nooit iets beloven dat niet in je bronnen staat.
4. Vijf varianten op dezelfde vraag. Formeel, kort, met een typefout, in dialect, met twee vragen in één zin. Zo zie je of hij op formulering struikelt.
Waarop beoordeel je elk antwoord?
Drie kolommen in een spreadsheet, per vraag een vinkje of een kruis:
| Criterium | Wat je controleert |
|---|---|
| Juist | Klopt het inhoudelijk en komt het uit jouw bron? |
| Passend | Is het kort, in jouw toon, zonder marketingtaal? |
| Eerlijk | Zegt hij het als hij iets niet weet, met een vervolgstap? |
Een antwoord dat inhoudelijk klopt maar drie alinea's lang is, is een kruis bij "passend". Een antwoord dat vriendelijk langs de vraag heen praat, is een kruis bij "eerlijk".
Welke norm moet hij halen?
Houd drie grenzen aan, en wijk daar niet van af omdat de planning dringt:
- Minstens 85% van je vijftig echte vragen juist. Lager betekent dat er bronnen ontbreken, niet dat het model tekortschiet.
- Alle tien strikvragen correct doorverwezen. Hier geldt geen percentage. Eén behulpzaam verzinsel buiten je werkgebied is er één te veel.
- Nul toezeggingen op de vijf verleidingen.
Haal je de eerste norm niet, zoek dan uit welke vragen fout gingen en wat er in je bronnen ontbrak. Negen van de tien keer is het hetzelfde patroon: informatie die wel in iemands hoofd zit maar nergens op papier. Terug naar stap 2 van het implementatiestappenplan.
Wat test je nog meer dan de antwoorden?
Snelheid van je pagina. Chatwidgets zijn vaak zwaar. Laad het script pas na interactie of met defer, en controleer je laadtijd met PageSpeed Insights. Een trage site kost je bezoekers nog voordat iemand iets vraagt.
Mobiel. De meeste gesprekken komen van een telefoon. Controleer dat het venster het toetsenbord niet verbergt en dat je de rest van de pagina nog kunt lezen.
Toetsenbordbediening. Kun je het venster openen, typen en sluiten zonder muis? De richtlijnen van het W3C zijn hier de maatstaf, en voor veel organisaties ook een verplichting.
De weg naar een mens. Klik hem vijf keer aan vanaf verschillende punten in het gesprek. Hij moet altijd werken, ook buiten kantooruren, waar hij dan eerlijk meldt wanneer er iemand reageert.
Wat er wordt opgeslagen. Kijk met eigen ogen welke gegevens er in het logboek belanden en hoe lang ze blijven staan. Dat moet overeenkomen met wat in je privacyverklaring staat.
Hoe blijf je testen na de livegang?
De test stopt niet bij de livegang; hij wordt alleen goedkoper, want je klanten leveren de vragen aan.
Lees de eerste twee weken elk gesprek, daarna wekelijks een half uur. Houd twee lijsten bij: vragen die hij niet kon beantwoorden, en antwoorden die niet klopten. De eerste lijst vul je aan in je bronnen, de tweede corrigeer je meteen.
Draai daarnaast elk kwartaal je testset opnieuw. Modellen en platforms worden bijgewerkt, jouw prijzen veranderen, en een bot die in maart klopte kan in juni iets anders zeggen. Een vast moment voorkomt dat je daar via een klant achter komt. Liever uitbesteden? Bij AI-chatbot installeren hoort dit onderhoud erbij.
Veelgestelde vragen
Veelgestelde vragen over ai chatbot testen
Hoeveel vragen moet ik testen voordat een chatbot live mag?
Zeventig is een werkbaar minimum: vijftig echte klantvragen, tien vragen buiten zijn werkgebied en tien pogingen om hem te verleiden tot een toezegging of om hem op formulering te laten struikelen. Minder dan vijftig echte vragen geeft een te rooskleurig beeld, meer dan honderd levert zelden nieuwe inzichten op.
Wat is een goede slagingsnorm voor een chatbot?
Minstens 85% correcte antwoorden op je echte klantvragen, en 100% correct doorverwijzen bij vragen buiten zijn werkgebied. Die tweede is de harde: een bot die buiten zijn gebied behulpzaam probeert te zijn, verzint. Op toezeggingen over prijs, levertijd of garantie geldt eveneens nul tolerantie.
Hoe test ik of mijn chatbot dingen verzint?
Stel vragen waarvan het antwoord bewust niet in je bronnen staat, en vragen die een concreet getal uitlokken: een prijs, een termijn, een percentage. Noemt hij een getal dat je nergens hebt vastgelegd, dan heb je een hallucinatie te pakken. Vraag daarna door met "waar staat dat?" — een goed ingerichte bot noemt de bron of geeft toe dat hij het niet weet.
Wie moet de chatbot testen?
Iemand die hem niet heeft ingericht. Het beste zijn collega's die dagelijks klantvragen beantwoorden: zij herkennen een fout antwoord meteen en kennen de formuleringen die klanten echt gebruiken. Laat de bouwer de test niet zelf afnemen, want die stelt onbewust de vragen waar hij op heeft voorbereid.
Moet ik blijven testen als de chatbot eenmaal live is?
Ja. Lees de eerste twee weken alle gesprekken en daarna wekelijks een halfuur, en draai je volledige testset elk kwartaal opnieuw. Platforms en modellen worden bijgewerkt en je eigen prijzen veranderen, dus een bot die bij de livegang klopte, kan maanden later afwijken.
Kan ik het testen automatiseren?
Gedeeltelijk. Je kunt je testset automatisch laten afvuren en de antwoorden laten vergelijken met een verwacht antwoord, wat handig is voor de kwartaalcontrole. De beoordeling op toon en op "zegt hij eerlijk dat hij het niet weet" blijft mensenwerk, omdat precies daar het verschil zit tussen een bruikbare en een riskante bot.
