Wat is de chatcontextgrootte?
De chatcontextgrootte bepaalt hoeveel informatie er naar de AI wordt gestuurd telkens wanneer een bezoeker een vraag stelt. De context bevat de rolinstructies van je chatbot (de prompt), het gesprek tot nu toe en de meest relevante trainingsgegevens uit je kennisbank. Een token is een klein stukje tekst dat de AI leest - gemiddeld is 1 token ongeveer 4 tekens, of grofweg 3/4 van een woord.
Voordelen van een grotere context:
- Meer ruimte voor gedetailleerde rolinstructies zonder dat dit ten koste gaat van je kennisbank
- Een beter begrip van langere gesprekken
- Het vermogen om complexe vragen te beantwoorden door meer trainingsgegevens tegelijk te raadplegen
- Wanneer chatgeheugen is ingeschakeld: meer ruimte voor samenvattingen en klantprofielen uit eerdere gesprekken
Hoe je de contextgrootte wijzigt
Selecteer je chatbot, klik op het tabblad Settings (Instellingen) en kies vervolgens Model & Advanced (Model en geavanceerd) in de linkerzijbalk.
Zoek het dropdownmenu Context size (Contextgrootte) en kies je gewenste optie:
- 8000 tokens (standaard) - 1x berichtcredits
- 16000 tokens (2x berichtcredits/bericht)
- 32000 tokens (4x berichtcredits/bericht)
De opties voor 16K en 32K zijn beschikbaar als premiumfuncties - ze verschijnen alleen in de lijst wanneer je abonnement de grotere chatcontext bevat.
Hoe het contextvenster wordt verdeeld
De context is een gedeeld budget. Bij elk bericht wordt dit verdeeld over:
- Je prompt - de instructies voor de rol en het gedrag die je hebt geschreven (alleen wanneer je Custom Role Definition gebruikt)
- Systeeminstructies - een kleine hoeveelheid die ChatLab toevoegt zodat de bot correct werkt
- Tools - als je bot gebruikmaakt van AI Actions of integraties, nemen hun instructies een deel in beslag
- Gespreksgeheugen - het recente gesprek, plus samenvattingen en klantprofielen wanneer chatgeheugen is ingeschakeld
- Overgebleven voor je kennisbank - alles wat overblijft, wordt gebruikt voor trainingsgegevens die aansluiten op de vraag van de bezoeker
De belangrijkste conclusie: hoe meer ruimte je instructies innemen, hoe minder kennis de AI kan gebruiken om te antwoorden. Het vergroten van de contextgrootte verruimt het hele budget, waardoor zowel je instructies als je kennis meer ruimte krijgen.
De meter voor contextgebruik
Wanneer je een aangepaste rol definieert, laat ChatLab je live zien hoeveel van de context je instructies gebruiken. Selecteer je chatbot en ga naar Settings > Role & Behavior (Instellingen > Rol en gedrag), en ga daarna naar het tabblad Custom Role Definition (Aangepaste roldefinitie). De meter verschijnt direct onder de instructie-editor.
De gekleurde balk is een miniatuurweergave van je hele contextvenster: elk segment staat voor een van de hierboven genoemde onderdelen, en het groene segment aan de rechterkant is wat overblijft voor je kennisbank. Naast de balk zie je het aantal tokens van je prompt vergeleken met een aanbevolen richtlijn (bijvoorbeeld "~788 / 2,400 tokens · 8k") en een beoordeling:
- Optimaal - je prompt past ruim; er blijft voldoende ruimte over voor kennis.
- Wordt groot - de prompt begint de context te verdringen; overweeg om deze in te korten.
- Te groot - de prompt overschrijdt de aanbevolen richtlijn of laat te weinig ruimte over voor kennis; antwoorden kunnen slechter worden.
Klik op de balk om de volledige uitsplitsing uit te vouwen:
Het uitgevouwen paneel toont het geschatte aantal tokens van elk onderdeel en een dropdownmenu voor Chat context size (Chatcontextgrootte), zodat je de contextgrootte direct daar kunt verhogen zonder naar Model & Advanced te hoeven gaan. De exacte verdeling verschilt per gesprek - het paneel toont een schatting, geen exacte meting.
Rondom de editor worden twee limieten weergegeven, en deze werken op een andere manier:
- Tekenlimiet (bijvoorbeeld "2,882 / 8,000 characters") - een harde limiet; de editor accepteert geen langere prompt.
- Tokenrichtlijn (de meter) - een zachte richtlijn; als je deze overschrijdt, kun je nog steeds opslaan, maar blijft er minder ruimte over voor je kennisbank en het gespreksgeheugen.
Als de meter rood wordt, stelt deze twee oplossingen voor: verhoog de chatcontextgrootte (berichten kosten dan meer credits - 16K is 2x, 32K is 4x, zie berichtcredits), of verplaats stapsgewijze scenario's van de prompt naar Conversation Flow-fasen, zoals hierna wordt uitgelegd.
Contextgrootte en Conversation Flow
Met Conversation Flow kun je het gedrag van je bot opsplitsen in fasen, elk met zijn eigen instructies. Wanneer de flow is ingeschakeld, worden de instructies van de actieve fase toegevoegd aan de prompt - ze delen dus hetzelfde contextbudget. Lange fase-instructies bovenop een lange aangepaste rol laten bij dezelfde contextgrootte minder ruimte over voor je kennisbank.
De contextgrootte bepaalt ook hoe lang de instructies van elke fase mogen zijn:
- Context van 8.000 tokens - maximaal 1.000 tekens per fase
- Context van 16.000 of 32.000 tokens - maximaal 6.000 tekens per fase
Het verhogen van de contextgrootte doet daarom twee dingen tegelijk: het verhoogt de instructielimiet per fase en herstelt de ruimte voor kennis. Het omgekeerde werkt ook - als je prompt voor de aangepaste rol te groot is, zorgt het verplaatsen van stapsgewijze scenario's naar flow-fasen ervoor dat de basisrol kort blijft, omdat de instructies van elke fase alleen worden geladen zolang het gesprek zich in die fase bevindt.
Creditkosten per contextgrootte
De standaard contextgrootte is 8.000 tokens. Door deze te verhogen, wordt vermenigvuldigd hoeveel berichtcredits elk antwoord verbruikt:
- 8.000 tokens - 1x berichtcredits (standaard)
- 16.000 tokens - 2x berichtcredits per bericht
- 32.000 tokens - 4x berichtcredits per bericht
Deze vermenigvuldiger stapelt bovenop de creditkosten van het AI-model dat je selecteert - een grotere context maakt elk antwoord van dat model evenredig duurder.