Che cos'è la dimensione del contesto di chat?
La dimensione del contesto di chat determina la quantità di informazioni inviate all'IA ogni volta che un visitatore fa una domanda. Il contesto contiene le istruzioni sul ruolo del tuo chatbot (il prompt), la conversazione fino a quel momento e i dati di addestramento più rilevanti estratti dalla tua knowledge base. Un token è un piccolo blocco di testo letto dall'IA: il conteggio varia in base alla lingua e al modello, quindi i token non corrispondono esattamente a caratteri o parole.
Vantaggi di un contesto più grande:
- Più spazio per istruzioni dettagliate sul ruolo senza sacrificare la tua knowledge base
- Migliore comprensione delle conversazioni più lunghe
- Capacità di rispondere a domande complesse facendo riferimento a più dati di addestramento contemporaneamente
- Quando la memoria della chat è abilitata, più spazio per riepiloghi e profili cliente delle conversazioni precedenti
Come modificare la dimensione del contesto
Seleziona il tuo chatbot, fai clic sulla scheda Settings (Impostazioni), quindi seleziona Model & Advanced (Modello e avanzate) nella barra laterale sinistra.
Individua il menu a discesa Context size (Dimensione contesto) e scegli l'opzione che preferisci:
- 8000 tokens (default) - 1x message credits
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Le opzioni da 16K e 32K sono disponibili come funzioni premium: compaiono nell'elenco solo quando il tuo piano include un contesto di chat più ampio.
Attendi la conferma Saved (Salvato), quindi testa una nuova conversazione in Overview (Panoramica) con una domanda che richiede diversi dettagli correlati. Un contesto più grande non aumenta il tuo limite di spazio di addestramento né garantisce una risposta migliore; confronta i risultati prima di mantenere il costo in crediti più elevato.
Come viene suddivisa la finestra di contesto
Il contesto è un budget condiviso. A ogni messaggio, viene suddiviso tra:
- Il tuo prompt - istruzioni sul ruolo predefinite generate o le istruzioni che hai inserito in Custom Role Definition
- Istruzioni di sistema - una piccola quantità aggiunta da ChatLab per garantire che il bot si comporti correttamente
- Tools - se il tuo bot usa AI Actions o integrazioni, le loro istruzioni occupano una parte dello spazio
- Memoria della conversazione - la conversazione recente, oltre a riepiloghi e profili cliente quando la memoria della chat è abilitata
- Spazio rimasto per la knowledge base - tutto ciò che rimane viene utilizzato per i dati di addestramento corrispondenti alla domanda del visitatore
Il punto chiave: più spazio occupano le tue istruzioni, meno conoscenza potrà utilizzare l'IA per rispondere. Aumentare la dimensione del contesto incrementa l'intero budget, offrendo più spazio sia alle tue istruzioni sia alla tua conoscenza.
L'indicatore di utilizzo del contesto
Quando definisci un ruolo personalizzato, ChatLab ti mostra in tempo reale quanto contesto consumano le tue istruzioni. Seleziona il tuo chatbot e vai su Settings > Role & Behavior (Impostazioni > Ruolo e comportamento), quindi passa alla scheda Custom Role Definition (Definizione del ruolo personalizzato). L'indicatore appare direttamente sotto l'editor delle istruzioni.
La barra colorata è una miniatura dell'intera finestra di contesto: ogni segmento rappresenta una delle parti elencate sopra, e il segmento verde a destra corrisponde a ciò che rimane per la tua knowledge base. Accanto alla barra vedi il conteggio dei token del tuo prompt rispetto a una linea guida consigliata (ad esempio "~788 / 2.400 tokens · 8k") e una valutazione:
- Optimal (Ottimale) - il tuo prompt si inserisce agevolmente; rimane molto spazio per la conoscenza.
- Getting large (In aumento) - il prompt inizia a occupare troppo contesto; valuta di ridurlo.
- Too large (Troppo grande) - il prompt supera la linea guida consigliata o lascia troppo poco spazio per la conoscenza; la qualità delle risposte potrebbe peggiorare.
Fai clic sulla barra per espandere il dettaglio completo:
Il pannello espanso mostra il conteggio approssimativo dei token di ciascuna parte e un menu a discesa Chat context size (Dimensione contesto chat), così puoi aumentare la dimensione del contesto direttamente da lì senza accedere a Model & Advanced. La suddivisione esatta varia da conversazione a conversazione: il pannello fornisce una stima, non una misurazione esatta.
Intorno all'editor sono visibili due limiti, che funzionano in modo diverso:
- Limite di caratteri - un limite rigido indicato dal contatore dell'editor, che può dipendere dall'abbonamento del proprietario del bot; l'editor non accetta un prompt più lungo.
- Linea guida dei token (l'indicatore) - una linea guida flessibile; superarla non impedisce il salvataggio, ma lascia meno spazio per la tua knowledge base e per la memoria della conversazione.
Se l'indicatore diventa rosso, suggerisce due soluzioni: aumentare la dimensione del contesto di chat (i messaggi costeranno più crediti - 16K è 2x, 32K è 4x, vedi message credits), oppure spostare gli scenari dettagliati dal prompt alle fasi di Conversation Flow, come illustrato di seguito.
Dimensione del contesto e Conversation Flow
Conversation Flow ti consente di suddividere il comportamento del tuo bot in fasi, ciascuna con le proprie istruzioni. Quando il flusso è abilitato, le istruzioni della fase attiva vengono aggiunte al prompt, condividendo quindi lo stesso budget di contesto. Istruzioni di fase lunghe, sommate a un ruolo personalizzato lungo, lasciano meno spazio alla tua knowledge base a parità di dimensione del contesto.
La dimensione del contesto controlla anche la lunghezza massima consentita per le istruzioni di ciascuna fase:
- Contesto da 8.000 token - fino a 1.000 caratteri per fase
- Contesto da 16.000 o 32.000 token - fino a 6.000 caratteri per fase
Aumentare la dimensione del contesto produce quindi due effetti contemporaneamente: alza il limite di istruzioni per fase e ripristina lo spazio per la conoscenza. Vale anche il contrario: se il prompt del tuo ruolo personalizzato è troppo grande, spostare gli scenari guidati nelle fasi del flusso mantiene breve il ruolo principale, poiché le istruzioni di ciascuna fase vengono caricate solo quando la conversazione si trova in quella specifica fase.
Costo in crediti in base alla dimensione del contesto
La dimensione predefinita del contesto è di 8.000 token. Aumentarla moltiplica il numero di message credits consumati da ciascuna risposta:
- 8.000 token - 1x message credits (predefinito)
- 16.000 token - 2x message credits per messaggio
- 32.000 token - 4x message credits per messaggio
Il moltiplicatore si somma al costo in crediti del modello di IA selezionato: un contesto più grande rende ogni risposta di quel modello proporzionalmente più costosa.