O que é o tamanho do contexto do chat?
O tamanho do contexto do chat determina quanta informação é enviada para a IA sempre que um visitante faz uma pergunta. O contexto guarda as instruções de função do seu chatbot (o prompt), a conversa até ao momento e as partes mais relevantes dos dados de treino obtidos a partir da sua base de conhecimento. Um token é um pequeno bloco de texto lido pela IA - em média, 1 token corresponde a cerca de 4 caracteres, ou sensivelmente 3/4 de uma palavra.
Vantagens de um contexto maior:
- Mais espaço para instruções de função detalhadas sem excluir a sua base de conhecimento
- Melhor compreensão de conversas mais longas
- Capacidade de responder a perguntas complexas consultando mais dados de treino em simultâneo
- Quando a memória do chat está ativa, mais espaço para resumos e perfis de clientes de conversas anteriores
Como alterar o tamanho do contexto
Selecione o seu chatbot, clique no separador Settings (Definições) e, em seguida, selecione Model & Advanced (Modelo e avançado) na barra lateral esquerda.
Localize o menu pendente Context size (Tamanho do contexto) e escolha a sua opção preferida:
- 8000 tokens (default) - 1x créditos de mensagens
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
As opções de 16K e 32K estão disponíveis como funcionalidades premium - apenas surgem na lista quando o seu plano inclui o contexto de chat alargado.
Como a janela de contexto é partilhada
O contexto é um orçamento partilhado. Em cada mensagem, é dividido entre:
- O seu prompt - as instruções de função e comportamento que escreveu (apenas quando utiliza a Custom Role Definition)
- Instruções do sistema - uma pequena quantidade adicionada pelo ChatLab para que o bot funcione corretamente
- Ferramentas - se o seu bot utiliza AI Actions ou integrações, as respetivas instruções ocupam uma parte
- Memória da conversa - a conversa recente, juntamente com os resumos e perfis de clientes quando a memória do chat está ativa
- Restante para a sua base de conhecimento - tudo o que sobra é utilizado para os dados de treino correspondentes à pergunta do visitante
A conclusão principal: quanto mais espaço as suas instruções ocuparem, menos conhecimento a IA pode utilizar para responder. Aumentar o tamanho do contexto expande todo o orçamento, pelo que tanto as suas instruções como o seu conhecimento ganham mais espaço.
O medidor de utilização do contexto
Quando define uma função personalizada, o ChatLab mostra em tempo real quanto contexto é consumido pelas suas instruções. Selecione o seu chatbot e navegue até Settings > Role & Behavior (Definições > Função e comportamento); depois, mude para o separador Custom Role Definition (Definição de função personalizada). O medidor surge diretamente por baixo do editor de instruções.
A barra colorida é uma miniatura de toda a sua janela de contexto: cada segmento representa uma das partes listadas acima e o segmento verde à direita indica o que resta para a sua base de conhecimento. Junto à barra, pode ver a contagem de tokens do seu prompt face a uma recomendação sugerida (por exemplo, "~788 / 2,400 tokens · 8k") e uma avaliação:
- Optimal (Ideal) - o seu prompt cabe confortavelmente; resta muito espaço para o conhecimento.
- Getting large (A ficar grande) - o prompt começa a sobrecarregar o contexto; considere reduzi-lo.
- Too large (Demasiado grande) - o prompt excede a recomendação sugerida ou deixa demasiado pouco espaço para o conhecimento; a qualidade das respostas pode diminuir.
Clique na barra para expandir a discriminação completa:
O painel expandido mostra a contagem aproximada de tokens de cada parte e inclui o menu pendente Chat context size (Tamanho do contexto do chat), permitindo aumentar o tamanho do contexto logo ali sem ter de aceder a Model & Advanced. A divisão exata varia consoante a conversa - o painel apresenta uma estimativa, não uma medição exata.
São apresentados dois limites junto ao editor, funcionando de forma distinta:
- Limite de carateres (por exemplo, "2,882 / 8,000 characters") - um limite rígido; o editor não aceita um prompt mais longo.
- Recomendação de tokens (o medidor) - uma recomendação flexível; exceder este valor não impede guardar, mas deixa menos espaço para a sua base de conhecimento e para a memória da conversa.
Se o medidor ficar vermelho, sugere duas soluções: aumentar o tamanho do contexto do chat (as mensagens passarão a consumir mais créditos - 16K corresponde a 2x, 32K a 4x, consulte créditos de mensagens) ou mover cenários passo a passo para fora do prompt, integrando-os nas etapas do Conversation Flow, tal como explicado em seguida.
Tamanho do contexto e Conversation Flow
O Conversation Flow permite dividir o comportamento do seu bot em etapas, cada uma com as suas próprias instruções. Quando o fluxo está ativo, as instruções da etapa atual são adicionadas ao prompt - partilhando, assim, o mesmo orçamento de contexto. Instruções de etapa extensas adicionadas a uma função personalizada longa deixam menos espaço para a base de conhecimento com o mesmo tamanho de contexto.
O tamanho do contexto também define a extensão máxima que as instruções de cada etapa podem ter:
- Contexto de 8 000 tokens - até 1 000 carateres por etapa
- Contexto de 16 000 ou 32 000 tokens - até 6 000 carateres por etapa
Aumentar o tamanho do contexto cumpre, assim, duas funções em simultâneo: aumenta o limite de instruções por etapa e liberta espaço para o conhecimento. O inverso também resulta - se o prompt da função personalizada for demasiado grande, transferir cenários passo a passo para etapas de fluxo mantém a função principal concisa, uma vez que as instruções de cada etapa só são carregadas enquanto a conversa se encontrar nessa mesma etapa.
Custo em créditos consoante o tamanho do contexto
O tamanho de contexto predefinido é de 8 000 tokens. Aumentá-lo multiplica o número de créditos de mensagens consumido por cada resposta:
- 8 000 tokens - 1x créditos de mensagens (predefinição)
- 16 000 tokens - 2x créditos de mensagens por mensagem
- 32 000 tokens - 4x créditos de mensagens por mensagem
O multiplicador acumula com o custo em créditos do modelo de IA que selecionar - um contexto maior torna cada resposta desse modelo proporcionalmente mais cara.