Al entrenar a tu chatbot en un sitio web, limitar la cantidad de datos escaneados a lo que resulta más útil ayuda a reducir el consumo de caracteres, acelera el entrenamiento y mejora la calidad de las respuestas al centrarse únicamente en el contenido relevante.
Primero crea un chatbot y lee Cómo añadir nuevas fuentes de sitios web para conocer el flujo completo de escaneo. Selecciona tu chatbot antes de abrir Training (Entrenamiento). Esta guía explica cómo optimizar tu escaneo utilizando los Advanced settings (Ajustes avanzados) en la ventana modal de entrenamiento de sitios web (Training > Links > Add New Training: Website).
Por qué menos entrenamiento puede ser mejor
ChatLab utiliza la arquitectura RAG (Retrieval-Augmented Generation). En lugar de memorizar todo el contenido del sitio web, la IA busca la información más relevante en el momento de cada pregunta del usuario y la usa para generar una respuesta.
El problema con el exceso de datos
Más datos no siempre significa mejores respuestas. Añadir contenido irrelevante o redundante puede entorpecer el proceso de búsqueda:
- RAG puntúa fragmentos de contenido según su relevancia para la pregunta del usuario. Si tu sitio web contiene muchas páginas con texto repetitivo, vago o genérico (menús, pies de página, comunicados de prensa, páginas de etiquetas de blog), se diluye la calidad de los resultados de búsqueda.
- Cuando el chatbot recupera varios fragmentos de poco valor que comparten palabras clave pero carecen de contexto útil, puede generar respuestas inexactas, demasiado generales o fuera de tema.
- Por ejemplo: si tu pie de página contiene enlaces como "Inicio", "Contacto", "Privacidad", "Preguntas frecuentes" en cada página, el bot podría responder con un párrafo genérico del pie de página en lugar de un número de teléfono o correo útil cuando un usuario pregunte "¿Cómo puedo ponerme en contacto con vosotros?".
Mucha señal, poco ruido = mejores respuestas
Al escanear únicamente contenido útil, ayudas a la IA a obtener un contexto claro, específico y de alta calidad para cada pregunta. Céntrate en:
- Descripciones de productos
- Páginas de preguntas frecuentes (FAQ)
- Artículos de soporte
- Documentos de políticas
- Páginas de destino principales
¿Gestionas una tienda online? El mayor ahorro consiste en no incluir los productos en el escaneo. Cuando los productos provienen de AI Search o de la búsqueda en vivo de la tienda, excluye las páginas de productos y categorías con los filtros de URL que aparecen a continuación y escanea únicamente páginas informativas. Los productos en AI Search no consumen caracteres de entrenamiento. Consulta Planes y límites de E-commerce.
Usa el sitemap en lugar del escaneo completo del sitio web
Recomendado: usa la opción de sitemap siempre que sea posible.
El escaneo completo del sitio web sigue todos los enlaces visibles de la página, incluidos los enlaces de pies de página, menús y barras laterales, lo que a menudo lleva a escanear contenido repetitivo o sin valor. Estas secciones suelen estar presentes en cada página y rara vez incluyen información única que sea útil para las respuestas del chat.
Un sitemap (a menudo en https://yourdomain.com/sitemap.xml) le da al rastreador una lista de URL candidatas. Comprueba qué incluye: aún puede contener páginas irrelevantes. Usa filtros de URL para excluir esas páginas y el filtrado de contenido (Content Filtering) para eliminar encabezados, pies de página o menús repetidos de cada página.
Resumen de los ajustes avanzados
Para acceder a los ajustes avanzados, haz clic en Add New Training: Website (Añadir nuevo entrenamiento: Sitio web) en la pestaña Training, y luego despliega la sección Advanced settings (Ajustes avanzados). Los ajustes están organizados en cuatro categorías:
- URL Filtering (Filtrado de URL): controla qué URLs incluir o excluir
- Query Parameters (Parámetros de consulta): gestiona los parámetros de la URL
- Content Filtering (Filtrado de contenido): filtra elementos específicos de la página
- Scraping Behavior (Comportamiento de extracción): configura cómo se extrae el contenido
URL Filtering
Incluir solo URLs específicas
Campo: Advanced Settings > URL Filtering > Include only URLs that contain (Incluir solo URLs que contengan)
Añade palabras clave separadas por punto y coma para incluir solo URLs específicas en el escaneo.
Ejemplo: para incluir páginas cuya URL contenga /en o /help:
/en;/help
Estos patrones son alternativas, no una intersección: no significan únicamente páginas de ayuda en inglés. Si todas tus páginas de ayuda en inglés comparten /en/help/, utiliza esa única subcadena en su lugar. Comprueba la estructura real de las URLs antes de elegir un patrón.
Excluir URLs irrelevantes
Campo: Advanced Settings > URL Filtering > Exclude URLs that contain (Excluir URLs que contengan)
Añade palabras clave separadas por punto y coma para omitir secciones como blogs, imágenes o noticias.
Ejemplo:
/news;/pictures;/press
Esto evita escanear secciones con mucho contenido pero irrelevantes para el chatbot, como noticias o galerías de imágenes.
Query Parameters
Ignorar todos los parámetros de consulta
Campo: Advanced Settings > Query Parameters > Ignore all query parameters (Ignorar todos los parámetros de consulta)
Marca esta casilla para tratar las URLs con diferentes parámetros de consulta como la misma página. Esto puede evitar el contenido duplicado, pero también puede unificar productos o artículos distintos si el parámetro de consulta identifica el contenido. Conserva los parámetros significativos, como el ID de un producto.
Ignorar parámetros de consulta específicos
Campo: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignorar parámetros de consulta específicos)
Añade nombres de parámetros separados por punto y coma para ignorar parámetros concretos de seguimiento o filtrado.
Ejemplo:
ref;source;campaign;utm_source
Esto trata page.html?ref=email y page.html?ref=social como la misma URL.
Content Filtering
Incluir elementos específicos
Campo: Advanced Settings > Content Filtering > Include element IDs (Incluir IDs de elementos)
Añade identificadores de elementos separados por punto y coma para escanear únicamente partes específicas de la página. Utiliza #id para IDs de elementos, .classname para clases y corchetes para atributos: [data-id="82874db"] coincide con elementos que tienen ese valor de atributo exacto, [data-content] coincide con cualquier elemento que posea el atributo.
Ejemplo:
#main-content;.article-body;[data-section="product"]
Esto escanea únicamente el área de contenido principal, los cuerpos de artículos y las secciones de producto, ignorando todo lo demás.
Seguir solo enlaces en elementos incluidos
Campo: Advanced Settings > Content Filtering > Follow only links in included elements (Seguir solo enlaces en elementos incluidos)
Esta opción aparece cuando especificas Include element IDs. Al activarla, el rastreador solo seguirá los enlaces que se encuentren dentro de los elementos incluidos. Esto es útil cuando deseas limitar el rastreo a secciones específicas del sitio web, como las áreas de contenido de artículos, ignorando los menús de navegación en encabezados o pies de página.
Por defecto: Desactivado (se siguen todos los enlaces de la página)
Excluir elementos de la página
Campo: Advanced Settings > Content Filtering > Exclude element IDs (Excluir IDs de elementos)
Evita el escaneo de encabezados, pies de página y otros elementos de diseño. Se aplica la misma sintaxis de selectores: header y footer sin prefijo, #id, .classname, o un atributo entre corchetes como [data-id="82874db"] o [data-nosnippet]. Los selectores de atributos resultan muy prácticos cuando el elemento que deseas descartar no tiene un id o clase estables pero sí incluye un atributo data-* que puedes copiar desde las herramientas para desarrolladores del navegador.
Ejemplo:
header;footer;#navigation;.sidebar;[data-nosnippet]
Esto elimina bloques HTML que se repiten en cada página y que, por lo general, no contienen información útil para tu chatbot.
Seguir enlaces en elementos excluidos
Campo: Advanced Settings > Content Filtering > Follow links in excluded elements (Seguir enlaces en elementos excluidos)
Esta opción aparece cuando especificas Exclude element IDs. Al activarla, el rastreador seguirá los enlaces que se encuentren dentro de los elementos excluidos (como los menús de navegación en los encabezados) a pesar de que el contenido en sí quede excluido del entrenamiento.
Por defecto: Desactivado (no se siguen los enlaces en elementos excluidos)
Caso de uso: Activa esto cuando quieras excluir el contenido del encabezado o pie de página del entrenamiento pero sigas necesitando que el rastreador descubra páginas a través de los enlaces de navegación de esas zonas. Así obtienes lo mejor de ambos mundos: datos de entrenamiento limpios sin la sobrecarga de los menús, rastreando al mismo tiempo todo tu sitio web.
Importante: si usas el escaneo completo del sitio web y excluyes elementos como header sin activar "Follow links in excluded elements", es posible que el escáner no descubra enlaces más profundos (los menús a menudo están dentro de los encabezados). En este caso, activa la opción o utiliza un sitemap, que es el método más seguro y eficiente.
Comportamiento de extracción (Scraping Behavior)
Extraer documentos
Campo: Advanced Settings > Scraping Behavior > Scrape documents (Extraer documentos)
Al activarlo, el sistema extrae y procesa el contenido de los documentos que encuentra en el sitio web. Actualmente es compatible con archivos PDF.
Excluir enlaces de imágenes
Campo: Advanced Settings > Scraping Behavior > Exclude image links (Excluir enlaces de imágenes)
Activa esta opción para excluir todos los enlaces de imágenes del conjunto de datos de entrenamiento. Las URL de imágenes pueden sumar caracteres aunque el archivo de imagen en sí no se entrene como texto. Eliminarlas también puede suprimir referencias de imágenes útiles para Offer Cards.
Compara la vista previa guardada para ver cuánto ahorras y comprobar si se mantienen las referencias de imagen necesarias.
Extraer contenidos ocultos
Campo: Advanced Settings > Scraping Behavior > Scrape hidden contents (Extraer contenidos ocultos)
Cuando está activado (opción predeterminada), el sistema extrae contenido de elementos HTML ocultos (elementos marcados como ocultos mediante estilos en línea compatibles, atributos HTML o clases de ocultación habituales).
Predeterminado: Activado
Cuándo desactivarlo: Desactiva esta opción para omitir el contenido oculto y saltar los elementos reconocidos como ocultos según estas reglas. Resulta útil si los sitios web contienen contenido oculto como:
- Secciones de acordeón desplegables
- Contenido exclusivo para móviles o para ordenadores
- Campos de formulario ocultos
- Texto de diseño repetido y oculto en la página
Desactivar esto puede reducir el texto irrelevante, pero también podría eliminar respuestas útiles en acordeones o detalles de productos. Revisa el contenido extraído en lugar de asumir que todos los elementos ocultos son innecesarios.
Pausa entre páginas
Campo: Advanced Settings > Scraping Behavior > Delay between pages (Pausa entre páginas)
Añade una pausa (en segundos) entre el escaneo de cada página para evitar sobrecargar tu servidor. Resulta útil en sitios web con límites de peticiones (rate limiting).
Simular visita desde un país específico
Campo: Advanced Settings > Scraping Behavior > Country code (Código de país)
Si tu sitio muestra contenido diferente según la ubicación del visitante, introduce un código de país de 2 letras (por ejemplo, US, PL, DE) para simular el escaneo desde esa ubicación.
Configuración recomendada para la mayoría de sitios web
Utiliza estos ajustes como punto de partida y verifica el contenido extraído antes de aplicarlos en todo tu sitio web:
- Usa el sitemap siempre que esté disponible para un control preciso de las URLs
- Exclude element IDs:
header;footer;#navigation;.sidebar - Activa "Exclude image links" para eliminar las URLs de imágenes del entrenamiento
- Desactiva "Scrape hidden contents" si tu sitio tiene muchos elementos ocultos
- Considera "Follow links in excluded elements" si utilizas el escaneo completo con encabezados excluidos
No existe un porcentaje fijo de ahorro. Prueba primero los ajustes en una página representativa y compara el contenido extraído, el recuento de caracteres y las respuestas del chatbot. No utilices ningún selector a menos que coincida con tu sitio web.
Resumen: mejores prácticas
- Usa el sitemap en lugar del escaneo completo para un control preciso
- Incluye URLs para apuntar únicamente a contenido de valor
- Excluye URLs para omitir páginas irrelevantes o pesadas
- Ignora parámetros de consulta para evitar contenido duplicado
- Excluye IDs de elementos para eliminar partes repetidas de la página como encabezados y pies de página
- Controla el seguimiento de enlaces con "Follow only links in included elements" o "Follow links in excluded elements" para un rastreo minucioso
- Excluye enlaces de imágenes para reducir notablemente el recuento de caracteres
- Desactiva la extracción de contenidos ocultos si tu sitio tiene elementos ocultos innecesarios
- Céntrate en el contenido útil para tu bot (FAQs, páginas de producto, artículos de soporte)
Finaliza el escaneo y verifica
Empieza con Single address (Dirección única) para probar los filtros en una página representativa. Haz clic en Start scanning the website (Comenzar a escanear el sitio web), espera a que aparezca Training completed (Entrenamiento completado) y utiliza View (Ver) para comprobar que los datos y enlaces necesarios permanezcan. El tiempo de procesamiento depende de la página; los escaneos más grandes pueden tardar más y continuar en segundo plano. A continuación, utiliza los filtros verificados para el escaneo general de tu sitio web o sitemap, y prueba preguntas representativas en Overview (Información general). Si un rastreo completo pasa por alto algunas páginas, revisa las opciones de seguimiento de enlaces o utiliza un sitemap.