Lorsque vous entraînez votre chatbot sur un site web, limiter les données explorées au contenu le plus utile permet de réduire l'utilisation de caractères, d'accélérer l'entraînement et d'améliorer la qualité des réponses en vous concentrant uniquement sur les informations pertinentes.
Commencez par créer un chatbot et consultez Ajouter de nouvelles sources de site web pour découvrir l'ensemble du processus d'exploration. Sélectionnez votre chatbot avant d'ouvrir l'onglet Training (Entraînement). Ce guide explique comment optimiser votre exploration à l'aide des paramètres avancés (Advanced settings) dans la fenêtre d'entraînement de site web (Training > Links > Add New Training: Website).
Pourquoi un entraînement plus restreint peut être préférable
ChatLab utilise l'architecture RAG (Retrieval-Augmented Generation). Au lieu de mémoriser l'intégralité du contenu de votre site web, l'IA recherche les informations les plus pertinentes au moment où l'utilisateur pose sa question et s'en sert pour générer une réponse.
Le problème d'un volume excessif de données
Plus de données ne signifie pas toujours de meilleures réponses. Ajouter du contenu non pertinent ou redondant peut perturber le processus de recherche :
- Le système RAG évalue la pertinence de chaque segment de contenu par rapport à la question de l'utilisateur. Si votre site contient de nombreuses pages comportant du texte répétitif, vague ou générique (menus, pieds de page, communiqués de presse, pages d'étiquettes de blog), la qualité globale des résultats de recherche s'en trouve diluée.
- Lorsque le chatbot extrait plusieurs segments à faible valeur ajoutée qui partagent des mots-clés sans apporter de contexte utile, il risque de produire des réponses inexactes, trop générales ou hors sujet.
- Par exemple : si votre pied de page répète sur chaque page des liens comme « Accueil », « Contact », « Confidentialité » ou « FAQ », le bot risque de répondre avec un paragraphe générique tiré du pied de page au lieu de fournir un numéro de téléphone ou une adresse e-mail utile lorsqu'un utilisateur demande « Comment puis-je vous contacter ? »
Signal fort, bruit faible = de meilleures réponses
En analysant uniquement le contenu utile, vous aidez l'IA à extraire un contexte clair, précis et de haute qualité pour chaque question. Privilégiez :
- Les descriptions de produits
- Les pages de FAQ
- Les articles d'assistance
- Les documents relatifs à vos politiques
- Vos pages de destination clés
Vous gérez une boutique en ligne ? La plus grande économie consiste à exclure vos produits de l'analyse du site. Lorsque les produits proviennent d'AI Search ou de la recherche en direct de votre boutique, excluez les pages de produits et de catégories à l'aide des filtres d'URL ci-dessous et n'analysez que les pages informatives. Les produits dans AI Search ne consomment pas de caractères d'entraînement. Consultez E-commerce plans and limits.
Utiliser un sitemap plutôt qu'un scan complet du site
Recommandé : utilisez l'option sitemap dès que possible.
Le scan complet du site suit tous les liens visibles sur la page, y compris ceux des pieds de page, des menus et des barres latérales, ce qui conduit souvent à analyser du contenu répétitif ou sans valeur. Ces sections sont généralement présentes sur chaque page et contiennent rarement des informations uniques utiles pour les réponses du chat.
Un sitemap (souvent situé à l'adresse https://yourdomain.com/sitemap.xml) fournit au crawler une liste d'URL candidates. Vérifiez ce qu'il contient : il peut quand même lister des pages non pertinentes. Utilisez des filtres d'URL pour exclure ces pages et le filtrage de contenu (Content Filtering) pour supprimer les en-têtes, pieds de page ou menus répétés de chaque page.
Vue d'ensemble des paramètres avancés
Pour accéder aux paramètres avancés, cliquez sur Add New Training: Website (Ajouter un nouvel entraînement : Site web) dans l'onglet Training (Entraînement), puis développez la section Advanced settings (Paramètres avancés). Les paramètres sont répartis en quatre catégories :
- URL Filtering (Filtrage des URL) - Contrôler les URL à inclure ou à exclure
- Query Parameters (Paramètres de requête) - Gérer les paramètres d'URL
- Content Filtering (Filtrage du contenu) - Filtrer des éléments de page spécifiques
- Scraping Behavior (Comportement d'extraction) - Configurer le mode d'extraction du contenu
Filtrage des URL
Inclure uniquement des URL spécifiques
Champ : Paramètres avancés (Advanced Settings) > Filtrage des URL (URL Filtering) > Inclure uniquement les URL contenant (Include only URLs that contain)
Ajoutez des mots-clés séparés par des points-virgules pour inclure uniquement des URL spécifiques dans l'analyse.
Exemple : Pour inclure les pages dont l'URL contient soit /en, soit /help :
/en;/help
Ces motifs sont des alternatives et non une intersection : ils ne signifient pas uniquement les pages d'aide en anglais. Si vos pages d'aide en anglais partagent toutes /en/help/, utilisez plutôt cette sous-chaîne unique. Vérifiez la structure réelle de vos URL avant de choisir un motif.
Exclure les URL non pertinentes
Champ : Paramètres avancés (Advanced Settings) > Filtrage des URL (URL Filtering) > Exclure les URL contenant (Exclude URLs that contain)
Ajoutez des mots-clés séparés par des points-virgules pour ignorer des sections telles que les blogs, les images ou les actualités.
Exemple :
/news;/pictures;/press
Cela évite d'analyser des sections riches en contenu mais sans intérêt pour le chatbot, comme les actualités ou les galeries d'images.
Paramètres d'URL (Query Parameters)
Ignorer tous les paramètres d'URL (Ignore All Query Parameters)
Champ : Advanced Settings > Query Parameters > Ignore all query parameters (Paramètres avancés > Paramètres d'URL > Ignorer tous les paramètres d'URL)
Cochez cette case pour traiter les URL avec des paramètres de requête différents comme une seule et même page. Cela permet d'éviter le contenu dupliqué, mais peut aussi fusionner des produits ou des articles distincts si le paramètre d'URL identifie le contenu. Conservez les paramètres importants tels qu'un identifiant de produit.
Ignorer des paramètres d'URL spécifiques (Ignore Specific Query Parameters)
Champ : Advanced Settings > Query Parameters > Ignore specific query parameters (Paramètres avancés > Paramètres d'URL > Ignorer des paramètres d'URL spécifiques)
Ajoutez des noms de paramètres séparés par des points-virgules pour ignorer des paramètres spécifiques de suivi ou de filtrage.
Exemple :
ref;source;campaign;utm_source
Cela permet de traiter page.html?ref=email et page.html?ref=social comme une seule et même URL.
Filtrage du contenu (Content Filtering)
Inclure des éléments spécifiques
Champ : Advanced Settings > Content Filtering > Include element IDs (Inclure les identifiants d'éléments)
Ajoutez des identifiants d'éléments séparés par des points-virgules pour n'analyser que certaines parties de la page. Utilisez #id pour les identifiants d'éléments, .classname pour les classes, et des crochets pour les attributs : [data-id="82874db"] cible les éléments ayant exactement cette valeur d'attribut, [data-content] cible chaque élément possédant cet attribut.
Exemple :
#main-content;.article-body;[data-section="product"]
Cela n'analyse que la zone de contenu principale, le corps des articles et les sections de produits, en ignorant tout le reste.
Suivre uniquement les liens dans les éléments inclus
Champ : Advanced Settings > Content Filtering > Follow only links in included elements (Suivre uniquement les liens dans les éléments inclus)
Cette option s'affiche lorsque vous renseignez Include element IDs. Lorsqu'elle est activée, le crawler ne suit que les liens situés à l'intérieur des éléments inclus. Cela s'avère utile pour limiter l'exploration à des sections spécifiques du site web, comme les zones de contenu d'articles, tout en ignorant les menus de navigation dans les en-têtes ou les pieds de page.
Par défaut : Désactivé (tous les liens de la page sont suivis)
Exclure des éléments de page
Champ : Advanced Settings > Content Filtering > Exclude element IDs (Exclure les identifiants d'éléments)
Empêchez l'analyse des en-têtes, des pieds de page et d'autres éléments de mise en page. La même syntaxe de sélecteur s'applique : header et footer sans préfixe, #id, .classname, ou un attribut entre crochets tel que [data-id="82874db"] ou [data-nosnippet]. Les sélecteurs d'attributs sont pratiques lorsque l'élément à retirer ne dispose pas d'identifiant ou de classe stable mais possède un attribut data-* que vous pouvez copier depuis les outils de développement du navigateur.
Exemple :
header;footer;#navigation;.sidebar;[data-nosnippet]
Cela supprime les blocs HTML répétés sur chaque page et ne contenant généralement aucun contenu utile pour votre chatbot.
Suivre les liens dans les éléments exclus
Champ : Advanced Settings > Content Filtering > Follow links in excluded elements (Suivre les liens dans les éléments exclus)
Cette option s'affiche lorsque vous renseignez Exclude element IDs. Lorsqu'elle est activée, le crawler continue de suivre les liens situés à l'intérieur des éléments exclus (comme les menus de navigation dans les en-têtes), même si le contenu lui-même est exclu de l'entraînement.
Par défaut : Désactivé (les liens situés dans les éléments exclus ne sont pas suivis)
Cas d'usage : Activez cette option lorsque vous souhaitez exclure le contenu des en-têtes/pieds de page de l'entraînement tout en permettant au crawler de découvrir des pages via les liens de navigation de ces zones. Vous profitez ainsi du meilleur des deux approches : des données d'entraînement propres sans l'encombrement des menus, tout en explorant l'intégralité de votre site.
Important : Si vous utilisez l'analyse complète du site web et excluez des éléments comme header sans activer « Follow links in excluded elements », l'analyseur risque de ne pas découvrir les liens plus profonds (les menus se trouvant souvent dans les en-têtes). Dans ce cas, activez cette option ou utilisez un sitemap pour une méthode plus sûre et plus efficace.
Comportement d'extraction (Scraping Behavior)
Extraire les documents (Scrape Documents)
Champ : Paramètres avancés (Advanced Settings) > Comportement d'extraction (Scraping Behavior) > Extraire les documents (Scrape documents)
Lorsqu'elle est activée, cette option permet au système d'extraire et de traiter le contenu des documents trouvés sur le site web. Prend actuellement en charge les fichiers PDF.
Exclure les liens d'images (Exclude Image Links)
Champ : Paramètres avancés (Advanced Settings) > Comportement d'extraction (Scraping Behavior) > Exclure les liens d'images (Exclude image links)
Activez ce bouton pour exclure tous les liens d'images du jeu de données d'entraînement. Les URL d'images peuvent consommer des caractères même si le fichier image lui-même n'est pas entraîné sous forme de texte. Les supprimer peut également retirer des références d'images utiles pour les Offer Cards.
Comparez l'aperçu enregistré pour voir combien de caractères cela économise et si les références d'images nécessaires restent présentes.
Extraire les contenus masqués (Scrape Hidden Contents)
Champ : Paramètres avancés (Advanced Settings) > Comportement d'extraction (Scraping Behavior) > Extraire les contenus masqués (Scrape hidden contents)
Lorsqu'elle est activée (par défaut), le système extrait le contenu des éléments HTML masqués (éléments marqués comme masqués par des styles en ligne pris en charge, des attributs HTML ou des classes de masquage courantes).
Par défaut : Activé
Quand la désactiver : Désactivez cette option pour ignorer le contenu masqué et ignorer les éléments reconnus comme masqués selon ces règles. Cela est utile lorsque les sites web contiennent du contenu masqué tel que :
- Des sections d'accordéon réduites
- Du contenu réservé aux mobiles ou aux ordinateurs de bureau
- Des champs de formulaire masqués
- Du texte de mise en page répété et masqué par la page
Désactiver cette option peut réduire le texte non pertinent, mais peut aussi supprimer des réponses d'accordéon utiles ou des détails sur les produits. Inspectez la source extraite plutôt que de supposer que chaque élément masqué est indésirable.
Délai entre les pages (Delay Between Pages)
Champ : Paramètres avancés (Advanced Settings) > Comportement d'extraction (Scraping Behavior) > Délai entre les pages (Delay between pages)
Ajoutez un délai (en secondes) entre l'analyse de chaque page pour éviter de surcharger votre serveur. Utile pour les sites web appliquant une limitation de débit.
Simuler une visite depuis un pays spécifique (Simulate Visit From Specific Country)
Champ : Paramètres avancés (Advanced Settings) > Comportement d'extraction (Scraping Behavior) > Code pays (Country code)
Si votre site affiche un contenu différent selon la localisation du visiteur, saisissez un code pays à 2 lettres (par ex., US, PL, DE) pour simuler l'analyse depuis cet emplacement.
Configuration recommandée pour la plupart des sites web
Utilisez ces paramètres comme point de départ et vérifiez le contenu extrait avant de les appliquer à l'ensemble de votre site web :
- Utiliser un sitemap (Use sitemap) lorsqu'il est disponible pour un contrôle précis des URL
- Exclure les identifiants d'éléments (Exclude element IDs) :
header;footer;#navigation;.sidebar - Activer « Exclure les liens d'images » (Exclude image links) pour retirer les URL d'images de l'entraînement
- Désactiver « Extraire le contenu masqué » (Scrape hidden contents) si votre site contient de nombreux éléments masqués
- Envisager « Suivre les liens dans les éléments exclus » (Follow links in excluded elements) si vous utilisez une analyse complète avec des en-têtes exclus
Il n'existe pas de pourcentage d'économie fixe. Testez d'abord les paramètres sur une page représentative et comparez le contenu extrait, le nombre de caractères et les réponses du chatbot. N'utilisez pas de sélecteur s'il ne correspond pas à votre site web.
Résumé : Bonnes pratiques
- Utiliser un sitemap plutôt qu'une analyse complète pour un contrôle précis
- Inclure des URL pour cibler uniquement le contenu à valeur ajoutée
- Exclure des URL pour ignorer les pages non pertinentes ou trop lourdes
- Ignorer les paramètres de requête pour éviter le contenu en double
- Exclure les identifiants d'éléments pour retirer les parties répétitives comme les en-têtes et les pieds de page
- Contrôler le suivi des liens avec « Follow only links in included elements » ou « Follow links in excluded elements » pour un guidage fin du crawler
- Exclure les liens d'images pour réduire significativement le nombre de caractères
- Désactiver l'extraction des contenus masqués si votre site comporte des éléments masqués superflus
- Se concentrer sur le contenu utile pour votre bot (FAQ, pages produits, articles d'aide)
Terminer l'exploration et vérifier
Commencez par Single address (Adresse unique) pour tester les filtres sur une page représentative. Cliquez sur Start scanning the website (Lancer l'exploration du site web), attendez l'état Training completed (Entraînement terminé), puis utilisez View (Afficher) pour vérifier que les informations et les liens nécessaires sont bien conservés. La durée de traitement dépend de la page ; les explorations plus volumineuses peuvent prendre plus de temps et se poursuivre en arrière-plan. Appliquez ensuite les filtres vérifiés pour explorer l'ensemble de votre site web ou votre sitemap, puis testez des questions représentatives dans Overview (Aperçu). Si une exploration complète oublie certaines pages, vérifiez les options de suivi des liens ou utilisez un sitemap.