Ao treinar o seu chatbot num website, limitar a quantidade de dados analisados àquilo que é mais útil ajuda a reduzir a utilização de carateres, acelera o treino e melhora a qualidade das respostas ao focar-se apenas em conteúdo relevante.
Primeiro, crie um chatbot e leia Adicionar novas fontes de website para conhecer o fluxo completo de análise. Selecione o seu chatbot antes de abrir Training (Treino). Este guia explica como otimizar a análise utilizando as Advanced settings (Definições avançadas) no modal de treino por website (Training > Links > Add New Training: Website).
Porque menos treino pode ser melhor
O ChatLab utiliza a arquitetura RAG (Retrieval-Augmented Generation). Em vez de memorizar todo o conteúdo do website, a IA pesquisa os fragmentos de informação mais relevantes no momento em que cada utilizador faz uma pergunta, utilizando-os para gerar uma resposta.
O problema do excesso de dados
Mais dados nem sempre significam melhores respostas. Adicionar conteúdo irrelevante ou redundante pode prejudicar o processo de pesquisa:
- O RAG classifica blocos de conteúdo com base na sua relevância para a pergunta do utilizador. Se o seu site contiver muitas páginas com texto repetitivo, vago ou genérico (menus, rodapés, comunicados de imprensa, páginas de etiquetas de blogue), isso reduzirá a qualidade dos resultados da pesquisa.
- Quando o chatbot recolhe múltiplos blocos de baixo valor que partilham palavras-chave mas não têm contexto útil, pode gerar respostas imprecisas, demasiado gerais ou fora do tema.
- Por exemplo: se o seu rodapé incluir hiperligações como "Início", "Contacto", "Privacidade", "Perguntas frequentes" em todas as páginas, o bot poderá responder com um parágrafo genérico do rodapé em vez de fornecer um número de telefone ou e-mail útil quando um utilizador perguntar "Como posso contactar-vos?".
Sinal elevado, pouco ruído = melhores respostas
Ao analisar apenas conteúdo útil, ajuda a IA a recolher um contexto claro, específico e de alta qualidade para cada pergunta. Foque-se em:
- Descrições de produtos
- Páginas de FAQ
- Artigos de suporte
- Documentos de políticas
- Principais páginas de destino
Gere uma loja online? A maior poupança consiste em manter os produtos fora da análise do site. Quando os produtos são integrados através da AI Search ou da pesquisa da loja em tempo real, exclua as páginas de produtos e categorias com os filtros de URL abaixo e analise apenas as páginas informativas. Os produtos na AI Search não consomem carateres de treino. Consulte E-commerce plans and limits (Planos e limites de e-commerce).
Utilizar o Sitemap em Vez da Verificação Completa do Website
Recomendado: Utilize a opção de sitemap sempre que possível.
A verificação completa do website segue todas as ligações visíveis na página, incluindo hiperligações de rodapés, menus e barras laterais, o que leva frequentemente à verificação de conteúdo repetitivo ou sem valor. Estas secções estão tipicamente presentes em todas as páginas e raramente incluem informação exclusiva útil para as respostas do chat.
Um sitemap (frequentemente em https://yourdomain.com/sitemap.xml) fornece ao crawler uma lista de URLs candidatos. Verifique o que este inclui: pode ainda conter páginas irrelevantes. Utilize filtros de URL para excluir essas páginas e a filtragem de conteúdo (Content Filtering) para remover cabeçalhos, rodapés ou menus repetidos de cada página.
Visão geral das definições avançadas
Para aceder às definições avançadas, clique em Add New Training: Website (Adicionar novo treino: website) no separador Training e, em seguida, expanda a secção Advanced settings (Definições avançadas). As definições estão organizadas em quatro categorias:
- URL Filtering (Filtragem de URLs) - Controlar que URLs incluir ou excluir
- Query Parameters (Parâmetros de consulta) - Gerir parâmetros de URL
- Content Filtering (Filtragem de conteúdo) - Filtrar elementos específicos da página
- Scraping Behavior (Comportamento de extração) - Configurar como o conteúdo é extraído
URL Filtering
Incluir apenas URLs específicos
Campo: Advanced Settings > URL Filtering > Include only URLs that contain
Adicione palavras-chave separadas por ponto e vírgula para incluir apenas URLs específicos na análise.
Exemplo: para incluir páginas cujo URL contenha /en ou /help:
/en;/help
Estes padrões são alternativas e não uma interseção: não significam apenas páginas de ajuda em inglês. Se todas as suas páginas de ajuda em inglês partilharem /en/help/, utilize essa substring única. Verifique a estrutura real dos URLs antes de escolher um padrão.
Excluir URLs irrelevantes
Campo: Advanced Settings > URL Filtering > Exclude URLs that contain
Adicione palavras-chave separadas por ponto e vírgula para ignorar secções como blogues, imagens ou notícias.
Exemplo:
/news;/pictures;/press
Isto evita a análise de secções com muito conteúdo mas irrelevantes para o chatbot, como notícias ou galerias de imagens.
Query Parameters
Ignorar todos os parâmetros de consulta
Campo: Advanced Settings > Query Parameters > Ignore all query parameters
Ative esta caixa de seleção para tratar URLs com diferentes parâmetros de consulta como a mesma página. Isto pode evitar conteúdo duplicado, mas também pode agrupar produtos ou artigos distintos se o parâmetro de consulta identificar o conteúdo. Mantenha parâmetros significativos, como o ID de um produto.
Ignorar parâmetros de consulta específicos
Campo: Advanced Settings > Query Parameters > Ignore specific query parameters
Adicione nomes de parâmetros separados por ponto e vírgula para ignorar parâmetros específicos de rastreio ou filtragem.
Exemplo:
ref;source;campaign;utm_source
Isto trata page.html?ref=email e page.html?ref=social como o mesmo URL.
Content Filtering (Filtragem de Conteúdo)
Incluir Elementos Específicos
Campo: Advanced Settings > Content Filtering > Include element IDs (Incluir IDs de elementos)
Adicione identificadores de elementos separados por ponto e vírgula para analisar apenas partes específicas da página. Utilize #id para IDs de elementos, .classname para classes e parênteses retos para atributos: [data-id="82874db"] corresponde a elementos com esse valor exato de atributo, [data-content] corresponde a qualquer elemento que contenha esse atributo.
Exemplo:
#main-content;.article-body;[data-section="product"]
Isto analisa apenas a área de conteúdo principal, corpos de artigos e secções de produtos, ignorando tudo o resto.
Seguir Apenas Ligações nos Elementos Incluídos
Campo: Advanced Settings > Content Filtering > Follow only links in included elements (Seguir apenas ligações nos elementos incluídos)
Esta opção surge quando especifica Include element IDs. Quando ativada, o crawler apenas seguirá as ligações encontradas dentro dos elementos incluídos. Isto é útil se pretender limitar o rastreio a secções específicas do website, como áreas de conteúdo de artigos, ignorando menus de navegação em cabeçalhos ou rodapés.
Predefinição: Desativado (todas as ligações na página são seguidas)
Excluir Elementos da Página
Campo: Advanced Settings > Content Filtering > Exclude element IDs (Excluir IDs de elementos)
Evite a análise de cabeçalhos, rodapés e outros elementos de layout. Aplica-se a mesma sintaxe de seletores: header e footer sem prefixo, #id, .classname, ou um atributo entre parênteses retos como [data-id="82874db"] ou [data-nosnippet]. Os seletores de atributos são convenientes quando o elemento a remover não possui um ID ou classe estável, mas inclui um atributo data-* que pode copiar das ferramentas de programador do navegador.
Exemplo:
header;footer;#navigation;.sidebar;[data-nosnippet]
Isto remove blocos HTML repetidos em todas as páginas e que geralmente não contêm informação útil para o seu chatbot.
Seguir Ligações em Elementos Excluídos
Campo: Advanced Settings > Content Filtering > Follow links in excluded elements (Seguir ligações em elementos excluídos)
Esta opção surge quando especifica Exclude element IDs. Quando ativada, o crawler continuará a seguir as ligações encontradas dentro de elementos excluídos (como menus de navegação em cabeçalhos), mesmo que o conteúdo em si seja excluído do treino.
Predefinição: Desativado (as ligações em elementos excluídos não são seguidas)
Caso de utilização: Ative esta opção quando quiser excluir o conteúdo de cabeçalhos/rodapés do treino, mas continuar a precisar que o crawler descubra páginas através das ligações de navegação nessas áreas. Isto oferece o melhor dos dois mundos: dados de treino limpos, sem poluição de menus, continuando a rastrear todo o seu site.
Importante: Se utilizar a análise completa do website e excluir elementos como o cabeçalho sem ativar a opção "Follow links in excluded elements", o analisador poderá não detetar ligações mais profundas (os menus encontram-se frequentemente dentro dos cabeçalhos). Neste caso, ative a opção ou utilize um sitemap, que representa o método mais seguro e eficiente.
Scraping Behavior
Extrair documentos
Campo: Advanced Settings > Scraping Behavior > Scrape documents
Quando ativado, o sistema extrai e processa o conteúdo de documentos encontrados no website. Atualmente suporta ficheiros PDF.
Excluir hiperligações de imagens
Campo: Advanced Settings > Scraping Behavior > Exclude image links
Ative esta opção para excluir todas as hiperligações de imagens do conjunto de dados de treino. Os URLs de imagens podem consumir carateres, mesmo que o ficheiro de imagem em si não seja treinado como texto. A sua remoção também pode retirar referências de imagem úteis para os Offer Cards (Cartões de oferta).
Compare a pré-visualização guardada para verificar quanto economiza e se as referências de imagem necessárias continuam presentes.
Extrair conteúdos ocultos
Campo: Advanced Settings > Scraping Behavior > Scrape hidden contents
Quando ativado (predefinição), o sistema extrai conteúdo de elementos HTML ocultos (elementos marcados como ocultos por estilos inline suportados, atributos HTML ou classes comuns de ocultação).
Predefinição: Ativado
Quando desativar: desative esta opção para ignorar conteúdo oculto e ignorar elementos reconhecidos como ocultos por estas regras. Isto é útil quando os websites contêm conteúdo oculto como:
- Secções recolhidas de acordeão
- Conteúdo exclusivo para dispositivos móveis ou computadores
- Campos de formulário ocultos
- Texto de estrutura repetido que é ocultado pela página
Desativar esta opção pode reduzir o texto irrelevante, mas também pode remover respostas úteis em acordeões ou detalhes de produtos. Inspecione a fonte extraída em vez de assumir que todos os elementos ocultos são indesejados.
Intervalo entre páginas
Campo: Advanced Settings > Scraping Behavior > Delay between pages
Adicione um intervalo (em segundos) entre a análise de cada página para evitar sobrecarregar o seu servidor. Útil para websites com limites de taxa de pedidos (rate limiting).
Simular visita a partir de um país específico
Campo: Advanced Settings > Scraping Behavior > Country code
Se o seu site apresentar conteúdos diferentes consoante a localização do visitante, introduza um código de país de 2 letras (por exemplo, US, PL, DE) para simular a análise a partir dessa localização.
Configuração recomendada para a maioria dos websites
Utilize estas definições como ponto de partida e confirme o conteúdo extraído antes de as aplicar a todo o website:
- Utilize o sitemap quando disponível para um controlo preciso dos URLs
- Exclude element IDs:
header;footer;#navigation;.sidebar - Ative "Exclude image links" para remover URLs de imagens do treino
- Desative "Scrape hidden contents" se o seu site tiver muitos elementos ocultos
- Considere "Follow links in excluded elements" se utilizar a análise completa com cabeçalhos excluídos
Não existe uma percentagem fixa de poupança. Teste primeiro as definições numa página representativa e compare o conteúdo extraído, a contagem de carateres e as respostas do chatbot. Não utilize um seletor a menos que corresponda à estrutura do seu website.
Resumo: boas práticas
- Utilize o sitemap em vez da análise completa para um controlo rigoroso
- Inclua URLs para visar apenas conteúdo valioso
- Exclua URLs para ignorar páginas irrelevantes ou pesadas
- Ignore parâmetros de consulta para evitar conteúdo duplicado
- Exclua IDs de elementos para remover partes repetidas da página, como cabeçalhos e rodapés
- Controle o seguimento de hiperligações com "Follow only links in included elements" ou "Follow links in excluded elements" para um controlo detalhado do rastreio
- Exclua hiperligações de imagens para reduzir significativamente a contagem de carateres
- Desative a extração de conteúdos ocultos se o seu site contiver elementos ocultos desnecessários
- Concentre-se em conteúdo útil para o seu bot (FAQs, páginas de produtos, artigos de suporte)
Concluir a análise e verificar
Comece por Single address (Endereço único) para testar os filtros numa página representativa. Clique em Start scanning the website (Iniciar análise do website), aguarde pela indicação Training completed (Treino concluído) e utilize View (Ver) para verificar se os factos e hiperligações necessários se mantêm. O tempo de processamento depende da página; análises maiores podem demorar mais tempo e continuar em segundo plano. Em seguida, utilize os filtros validados para a análise mais alargada do website ou do sitemap e teste perguntas representativas em Overview (Visão geral). Se uma análise completa não encontrar algumas páginas, verifique as opções de seguimento de hiperligações ou utilize um sitemap.