Wat is de chatcontextgrootte?
De chatcontextgrootte bepaalt hoeveel informatie er naar de AI wordt gestuurd telkens wanneer een bezoeker een vraag stelt. De context bevat de rolinstructies van je chatbot (de prompt), het gesprek tot nu toe en de meest relevante delen van de trainingsgegevens die uit je kennisbank zijn opgehaald. Een token is een klein stukje tekst dat de AI leest - het aantal varieert per taal en model, dus tokens zijn niet hetzelfde als tekens of woorden.
Voordelen van een grotere context:
- Meer ruimte voor gedetailleerde rolinstructies zonder dat je kennisbank in het gedrang komt
- Beter begrip van langere gesprekken
- Mogelijkheid om complexe vragen te beantwoorden door meer trainingsgegevens tegelijk te raadplegen
- Wanneer chatgeheugen is ingeschakeld, meer ruimte voor samenvattingen en klantprofielen uit eerdere gesprekken
Hoe je de contextgrootte wijzigt
Selecteer je chatbot, klik op het tabblad Settings (Instellingen) en kies vervolgens Model & Advanced (Model en geavanceerd) in de linkerzijbalk.
Zoek het vervolgkeuzemenu Context size (Contextgrootte) en kies de gewenste optie:
- 8000 tokens (standaard) - 1x berichtcredits
- 16000 tokens (2x berichtcredits/bericht)
- 32000 tokens (4x berichtcredits/bericht)
De opties van 16K en 32K zijn beschikbaar als premiumfuncties - ze verschijnen alleen in de lijst wanneer je plan de grotere chatcontext bevat.
Wacht op Saved (Opgeslagen) en test vervolgens een nieuw gesprek in Overview (Overzicht) met een vraag waarvoor meerdere samenhangende feiten nodig zijn. Een grotere context verhoogt je opslaglimiet voor training niet en garandeert geen beter antwoord; vergelijk de resultaten voordat je de hogere creditkosten aanhoudt.
Hoe het contextvenster wordt verdeeld
De context is een gedeeld budget. Bij elk bericht wordt dit verdeeld over:
- Je prompt - gegenereerde vooraf gedefinieerde rolinstructies of de instructies die je hebt geschreven in Custom Role Definition
- Systeeminstructies - een kleine hoeveelheid die ChatLab toevoegt zodat de bot zich correct gedraagt
- Tools - als je bot AI Actions of integraties gebruikt, nemen hun instructies een deel in beslag
- Gespreksgeheugen - het recente gesprek, plus samenvattingen en klantprofielen wanneer chatgeheugen is ingeschakeld
- Over voor je kennisbank - alles wat overblijft, wordt gebruikt voor trainingsgegevens die aansluiten op de vraag van de bezoeker
De belangrijkste les: hoe meer ruimte je instructies innemen, hoe minder kennis de AI kan gebruiken om te antwoorden. Het vergroten van de contextgrootte vergroot het hele budget, zodat zowel je instructies als je kennis meer ruimte krijgen.
De contextgebruiksmeter
Wanneer je een aangepaste rol definieert, laat ChatLab je live zien hoeveel van de context je instructies gebruiken. Selecteer je chatbot en navigeer naar Settings > Role & Behavior (Instellingen > Rol en gedrag), en ga vervolgens naar het tabblad Custom Role Definition (Aangepaste roldefinitie). De meter verschijnt direct onder de instructie-editor.
De gekleurde balk is een miniatuur van je gehele contextvenster: elk segment is een van de hierboven genoemde onderdelen, en het groene segment aan de rechterkant is wat er overblijft voor je kennisbank. Naast de balk zie je het aantal tokens van je prompt vergeleken met een aanbevolen richtlijn (bijvoorbeeld "~788 / 2.400 tokens · 8k") en een beoordeling:
- Optimal (Optimaal) - je prompt past comfortabel; er blijft voldoende ruimte over voor kennis.
- Getting large (Wordt groot) - de prompt begint de context te verdringen; overweeg deze in te korten.
- Too large (Te groot) - de prompt overschrijdt de aanbevolen richtlijn of laat te weinig ruimte over voor kennis; antwoorden kunnen minder goed worden.
Klik op de balk om de volledige uitsplitsing uit te vouwen:
Het uitgevouwen paneel toont het geschatte aantal tokens van elk onderdeel en een vervolgkeuzemenu Chat context size (Chatcontextgrootte), zodat je de contextgrootte direct daar kunt verhogen zonder naar Model & Advanced te gaan. De exacte verdeling verschilt per gesprek - het paneel is een schatting, geen exacte meting.
Rond de editor worden twee limieten weergegeven, en ze werken verschillend:
- Tekenlimiet - een harde limiet die wordt weergegeven door de teller van de editor en die kan afhangen van het abonnement van de eigenaar van de bot; de editor accepteert geen langere prompt.
- Tokenrichtlijn (de meter) - een zachte richtlijn; overschrijding ervan blokkeert het opslaan niet, maar laat minder ruimte over voor je kennisbank en gespreksgeheugen.
Als de meter rood wordt, suggereert deze twee oplossingen: verhoog de chatcontextgrootte (berichten kosten dan meer credits - 16K is 2x, 32K is 4x, zie berichtcredits), of verplaats stapsgewijze scenario's vanuit de prompt naar de fasen van Conversation Flow, wat hierna wordt uitgelegd.
Contextgrootte en Conversation Flow
Met Conversation Flow kun je het gedrag van je bot opsplitsen in fasen, elk met eigen instructies. Wanneer de flow is ingeschakeld, worden de instructies van de actieve fase aan de prompt toegevoegd - ze delen dus hetzelfde contextbudget. Lange fase-instructies bovenop een lange aangepaste rol laten bij dezelfde contextgrootte minder ruimte over voor je kennisbank.
De contextgrootte bepaalt ook hoe lang de instructies van elke fase mogen zijn:
- Context van 8.000 tokens - tot 1.000 tekens per fase
- Context van 16.000 of 32.000 tokens - tot 6.000 tekens per fase
Het vergroten van de contextgrootte doet daarom twee dingen tegelijk: het verhoogt de instructielimiet per fase en herstelt de ruimte voor kennis. Het omgekeerde werkt ook - als je aangepaste rolprompt te groot is, houdt het verplaatsen van stapsgewijze scenario's naar flowfasen de kernrol kort, omdat de instructies van elke fase alleen worden geladen zolang het gesprek zich in die fase bevindt.
Creditkosten per contextgrootte
De standaard contextgrootte is 8.000 tokens. Het verhogen hiervan vermenigvuldigt het aantal berichtcredits dat elk antwoord verbruikt:
- 8.000 tokens - 1x berichtcredits (standaard)
- 16.000 tokens - 2x berichtcredits per bericht
- 32.000 tokens - 4x berichtcredits per bericht
De vermenigvuldiger stapelt met de creditkosten van het AI-model dat je selecteert - een grotere context maakt elk antwoord van dat model naar verhouding duurder.