O que é o tamanho do contexto do chat?
O tamanho do contexto do chat determina quanta informação é enviada para a IA sempre que um visitante faz uma pergunta. O contexto contém as instruções de função do chatbot (o prompt), a conversa até ao momento e as partes mais relevantes dos dados de treino obtidas a partir da sua base de conhecimento. Um token é um pequeno bloco de texto lido pela IA - a contagem varia consoante o idioma e o modelo, pelo que os tokens não são o mesmo que carateres ou palavras.
Vantagens de um contexto maior:
- Mais espaço para instruções de função detalhadas sem comprimir a sua base de conhecimento
- Melhor compreensão de conversas mais longas
- Capacidade de responder a perguntas complexas ao consultar mais dados de treino em simultâneo
- Quando a memória do chat está ativada, mais espaço para resumos e perfis de clientes de conversas anteriores
Como alterar o tamanho do contexto
Selecione o seu chatbot, clique no separador Settings (Definições) e, em seguida, selecione Model & Advanced (Modelo e avançadas) na barra lateral esquerda.
Localize o menu suspenso Context size (Tamanho do contexto) e escolha a opção pretendida:
- 8000 tokens (default) - 1x créditos de mensagem
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
As opções de 16K e 32K estão disponíveis como funcionalidades premium - apenas surgem na lista quando o seu plano inclui o contexto de chat alargado.
Aguarde por Saved (Guardado) e, em seguida, teste uma nova conversa em Overview (Visão geral) com uma pergunta que necessite de vários factos relacionados. Um contexto maior não aumenta o limite de armazenamento de treino nem garante uma resposta melhor; compare os resultados antes de manter o custo de créditos mais elevado.
Como é partilhada a janela de contexto
O contexto é um orçamento partilhado. Em cada mensagem, é dividido entre:
- O seu prompt - instruções de função predefinidas geradas ou as instruções que escreveu em Custom Role Definition
- Instruções de sistema - uma pequena quantidade adicionada pelo ChatLab para que o bot se comporte corretamente
- Ferramentas - se o bot utilizar AI Actions ou integrações, as respetivas instruções ocupam uma parte
- Memória da conversa - a conversa recente, além dos resumos e perfis de clientes quando a memória do chat está ativada
- Restante para a sua base de conhecimento - tudo o que sobra é utilizado para dados de treino correspondentes à pergunta do visitante
A conclusão principal: quanto mais espaço as suas instruções ocuparem, menos conhecimento a IA pode utilizar para responder. Aumentar o tamanho do contexto expande todo o orçamento, permitindo que tanto as suas instruções como o seu conhecimento ganhem mais espaço.
O medidor de utilização do contexto
Quando define uma função personalizada, o ChatLab mostra em tempo real quanto do contexto é consumido pelas suas instruções. Selecione o seu chatbot e aceda a Settings > Role & Behavior (Definições > Função e comportamento), mudando depois para o separador Custom Role Definition (Definição de função personalizada). O medidor surge diretamente por baixo do editor de instruções.
A barra colorida é uma miniatura de toda a sua janela de contexto: cada segmento representa uma das partes listadas acima, e o segmento verde à direita é o que resta para a sua base de conhecimento. Junto à barra, vê a contagem de tokens do seu prompt face a uma recomendação sugerida (por exemplo, "~788 / 2,400 tokens · 8k") e uma classificação:
- Optimal (Ideal) - o seu prompt cabe confortavelmente; resta bastante espaço para o conhecimento.
- Getting large (A ficar grande) - o prompt começa a sobrecarregar o contexto; considere reduzi-lo.
- Too large (Demasiado grande) - o prompt excede a recomendação sugerida ou deixa pouco espaço para o conhecimento; as respostas podem piorar.
Clique na barra para expandir a discriminação completa:
O painel expandido mostra a contagem aproximada de tokens de cada parte e um menu suspenso Chat context size (Tamanho do contexto do chat), permitindo aumentar o tamanho do contexto logo ali, sem ter de aceder a Model & Advanced. A divisão exata varia consoante a conversa - o painel é uma estimativa, não uma medição exata.
São apresentados dois limites junto ao editor, funcionando de forma diferente:
- Limite de carateres - um limite rígido apresentado pelo contador do editor, que pode depender da subscrição do proprietário do bot; o editor não aceita um prompt mais longo.
- Recomendação de tokens (o medidor) - uma orientação flexível; excedê-la não impede a gravação, mas deixa menos espaço para a sua base de conhecimento e para a memória da conversa.
Se o medidor ficar vermelho, sugere duas soluções: aumentar o tamanho do contexto do chat (as mensagens passam a custar mais créditos - 16K é 2x, 32K é 4x, consulte créditos de mensagem) ou retirar cenários passo a passo do prompt e passá-los para etapas do Conversation Flow, conforme explicado a seguir.
Tamanho do contexto e o Conversation Flow
O Conversation Flow permite dividir o comportamento do bot em etapas, cada uma com as suas próprias instruções. Quando o fluxo está ativado, as instruções da etapa ativa são adicionadas ao prompt - partilhando, portanto, o mesmo orçamento de contexto. Instruções de etapa longas somadas a uma função personalizada extensa deixam menos espaço para a sua base de conhecimento com o mesmo tamanho de contexto.
O tamanho do contexto também controla o comprimento máximo das instruções de cada etapa:
- Contexto de 8.000 tokens - até 1.000 carateres por etapa
- Contexto de 16.000 ou 32.000 tokens - até 6.000 carateres por etapa
Aumentar o tamanho do contexto produz, assim, dois efeitos em simultâneo: aumenta o limite de instruções por etapa e recupera espaço para o conhecimento. O inverso também funciona - se o prompt da sua função personalizada for demasiado grande, mover cenários passo a passo para etapas do fluxo mantém a função principal curta, visto que as instruções de cada etapa só são carregadas enquanto a conversa estiver nessa etapa.
Custo em créditos por tamanho de contexto
O tamanho de contexto predefinido é de 8.000 tokens. Aumentá-lo multiplica a quantidade de créditos de mensagem consumida por cada resposta:
- 8.000 tokens - 1x créditos de mensagem (predefinição)
- 16.000 tokens - 2x créditos de mensagem por mensagem
- 32.000 tokens - 4x créditos de mensagem por mensagem
O multiplicador acumula-se com o custo em créditos do modelo de IA que selecionar - um contexto maior torna cada resposta desse modelo proporcionalmente mais cara.