Qu'est-ce que la taille du contexte de discussion ?
La taille du contexte de discussion détermine la quantité d'informations envoyées à l'IA chaque fois qu'un visiteur pose une question. Le contexte contient les instructions de rôle de votre chatbot (le prompt), l'historique de la conversation jusqu'ici et les éléments les plus pertinents de vos données d'entraînement extraits de votre base de connaissances. Un token est un petit morceau de texte que l'IA lit - le décompte varie selon la langue et le modèle, les tokens ne sont donc pas identiques aux caractères ou aux mots.
Avantages d'un contexte plus large :
- Plus d'espace pour des instructions de rôle détaillées sans empiéter sur votre base de connaissances
- Meilleure compréhension des conversations plus longues
- Capacité à répondre à des questions complexes en consultant plus de données d'entraînement à la fois
- Lorsque la mémoire du chat est activée, plus d'espace pour les résumés et les profils clients issus des conversations précédentes
Comment modifier la taille du contexte
Sélectionnez votre chatbot, cliquez sur l'onglet Settings (Paramètres), puis sélectionnez Model & Advanced (Modèle et avancé) dans la barre latérale gauche.
Recherchez le menu déroulant Context size (Taille du contexte) et choisissez l'option souhaitée :
- 8 000 tokens (par défaut) - 1x crédits de message
- 16 000 tokens (2x crédits de message par message)
- 32 000 tokens (4x crédits de message par message)
Les options 16K et 32K sont disponibles sous forme de fonctionnalités premium - elles n'apparaissent dans la liste que si votre forfait inclut le contexte de discussion plus grand.
Attendez la mention Saved (Enregistré), puis testez une nouvelle conversation dans Overview (Aperçu) avec une question nécessitant plusieurs éléments liés. Un contexte plus grand n'augmente pas la limite de stockage de votre entraînement et ne garantit pas une meilleure réponse ; comparez les résultats avant de conserver le coût en crédits plus élevé.
Comment la fenêtre de contexte est partagée
Le contexte est un budget partagé. À chaque message, il est réparti entre :
- Votre prompt - les instructions prédéfinies générées pour le rôle ou les instructions que vous avez rédigées dans Custom Role Definition (définition personnalisée du rôle)
- Les instructions système - une petite part ajoutée par ChatLab pour que le bot se comporte correctement
- Les outils - si votre bot utilise des AI Actions ou des intégrations, leurs instructions occupent une partie
- La mémoire de la conversation - la conversation récente, ainsi que les résumés et profils clients lorsque la mémoire du chat est activée
- Ce qu'il reste pour votre base de connaissances - tout ce qui reste est utilisé pour les données d'entraînement correspondant à la question du visiteur
Le point essentiel à retenir : plus vos instructions prennent de place, moins l'IA dispose de connaissances pour répondre. Augmenter la taille du contexte accroît le budget total, ce qui donne plus d'espace à la fois à vos instructions et à vos connaissances.
L'indicateur d'utilisation du contexte
Lorsque vous définissez un rôle personnalisé, ChatLab vous montre en temps réel la part du contexte consommée par vos instructions. Sélectionnez votre chatbot et accédez à Settings > Role & Behavior (Paramètres > Rôle et comportement), puis passez sur l'onglet Custom Role Definition (Définition du rôle personnalisé). L'indicateur apparaît directement sous l'éditeur d'instructions.
La barre colorée est une miniature de l'ensemble de votre fenêtre de contexte : chaque segment correspond à l'une des parties mentionnées ci-dessus, et le segment vert à droite représente ce qu'il reste pour votre base de connaissances. À côté de la barre, vous voyez le nombre de tokens de votre prompt par rapport à une recommandation (par exemple « ~788 / 2 400 tokens · 8k ») ainsi qu'une évaluation :
- Optimal - votre prompt s'intègre parfaitement ; il reste beaucoup d'espace pour les connaissances.
- Getting large (Devient volumineux) - le prompt commence à encombrer le contexte ; pensez à le réduire.
- Too large (Trop volumineux) - le prompt dépasse la recommandation ou laisse trop peu d'espace pour les connaissances ; la qualité des réponses risque de baisser.
Cliquez sur la barre pour afficher le détail complet :
Le panneau développé affiche le nombre approximatif de tokens pour chaque partie et propose une liste déroulante Chat context size (Taille du contexte du chat), ce qui vous permet d'augmenter la taille du contexte directement ici sans passer par Model & Advanced. La répartition exacte varie selon la conversation - ce panneau est une estimation, pas une mesure exacte.
Deux limites s'affichent autour de l'éditeur, et elles fonctionnent différemment :
- Limite de caractères - une limite stricte indiquée par le compteur de l'éditeur, qui peut dépendre de l'abonnement du propriétaire du bot ; l'éditeur n'accepte pas de prompt plus long.
- Recommandation de tokens (l'indicateur) - une recommandation indicative ; la dépasser ne bloque pas l'enregistrement, mais cela laisse moins d'espace pour votre base de connaissances et la mémoire de la conversation.
Si l'indicateur devient rouge, il propose deux solutions : augmenter la taille du contexte de chat (les messages coûtent alors plus de crédits - 16K applique un multiplicateur de 2x, 32K de 4x, voir les crédits de message), ou déplacer les scénarios étape par étape en dehors du prompt vers des étapes de flux de conversation (Conversation Flow), expliquées ci-après.
Taille du contexte et Conversation Flow
Conversation Flow vous permet de diviser le comportement de votre bot en étapes, chacune ayant ses propres instructions. Lorsque le flux est activé, les instructions de l'étape active sont ajoutées au prompt - elles partagent donc le même budget de contexte. Des instructions d'étape longues ajoutées à un rôle personnalisé long laissent moins d'espace pour votre base de connaissances à taille de contexte égale.
La taille du contexte détermine également la longueur maximale des instructions de chaque étape :
- Contexte de 8 000 tokens - jusqu'à 1 000 caractères par étape
- Contexte de 16 000 ou 32 000 tokens - jusqu'à 6 000 caractères par étape
Augmenter la taille du contexte permet donc deux choses à la fois : cela relève la limite d'instructions par étape et libère de l'espace pour les connaissances. L'inverse fonctionne également - si le prompt de votre rôle personnalisé est trop long, déplacer les scénarios étape par étape dans des étapes de flux permet de garder le rôle principal concis, car les instructions de chaque étape ne sont chargées que lorsque la conversation se trouve à cette étape.
Coût en crédits par taille de contexte
La taille de contexte par défaut est de 8 000 tokens. L'augmenter multiplie le nombre de crédits de message consommés par chaque réponse :
- 8 000 tokens - 1x crédits de message (par défaut)
- 16 000 tokens - 2x crédits de message par message
- 32 000 tokens - 4x crédits de message par message
Le multiplicateur se cumule avec le coût en crédits du modèle d'IA que vous sélectionnez - un contexte plus large rend chaque réponse de ce modèle proportionnellement plus coûteuse.