Quando alleni il tuo chatbot su un sito web, limitare la quantità di dati scansionati a ciò che è più utile aiuta a ridurre l'uso di caratteri, velocizza l'addestramento e migliora la qualità delle risposte concentrandosi solo sui contenuti pertinenti.
Per prima cosa crea un chatbot e leggi Aggiungere nuove fonti da siti web per il flusso completo di scansione. Seleziona il tuo chatbot prima di aprire Training (Addestramento). Questa guida spiega come ottimizzare la scansione utilizzando le Advanced settings (Impostazioni avanzate) nella finestra modale di addestramento da sito web (Training > Links > Add New Training: Website).
Perché meno addestramento può essere la scelta migliore
ChatLab usa l'architettura RAG (Retrieval-Augmented Generation). Invece di memorizzare tutti i contenuti del sito web, l'IA cerca le informazioni più rilevanti al momento di ogni domanda dell'utente e le usa per generare una risposta.
Il problema dell'eccesso di dati
Più dati non significano sempre risposte migliori. L'aggiunta di contenuti irrilevanti o ridondanti può compromettere il processo di recupero:
- Il sistema RAG assegna un punteggio di pertinenza ai singoli frammenti di testo rispetto alla domanda dell'utente. Se il tuo sito include molte pagine con testi ripetitivi, vaghi o generici (menu, footer, comunicati stampa, pagine di tag del blog), questi diluiscono la qualità dei risultati di ricerca.
- Quando il chatbot recupera più frammenti di scarso valore che condividono parole chiave ma sono privi di un contesto utile, può generare risposte imprecise, troppo generiche o fuori tema.
- Ad esempio: se il tuo footer contiene link come "Home", "Contatti", "Privacy", "FAQ" su ogni pagina, il bot potrebbe rispondere con un paragrafo generico del footer invece di fornire un numero di telefono o un indirizzo e-mail utile quando un utente chiede "Come posso contattarvi?"
Segnale alto, poco rumore = risposte migliori
Analizzando solo i contenuti utili, aiuti l'IA a recuperare un contesto chiaro, specifico e di alta qualità per ogni domanda. Concentrati su:
- Descrizioni dei prodotti
- Pagine FAQ
- Articoli di supporto
- Documenti informativi e informative legali
- Landing page principali
Gestisci un negozio online? Il risparmio maggiore si ottiene escludendo i prodotti dalla scansione. Quando i prodotti provengono da AI Search o dalla ricerca in tempo reale dello store, escludi le pagine di prodotto e di categoria usando i filtri URL qui sotto ed effettua la scansione solo delle pagine informative. I prodotti in AI Search non consumano caratteri di addestramento. Consulta Piani e limiti E-commerce.
Usa la sitemap invece della scansione completa del sito web
Consigliato: usa l'opzione sitemap ogni volta che è possibile.
La scansione completa del sito segue tutti i link visibili sulla pagina, compresi quelli di piè di pagina, menu e barre laterali, portando spesso alla scansione di contenuti ripetitivi o privi di valore. Queste sezioni sono in genere presenti su ogni pagina e raramente contengono informazioni uniche utili per le risposte della chat.
Una sitemap (spesso all'indirizzo https://yourdomain.com/sitemap.xml) fornisce al crawler un elenco di URL candidati. Verifica cosa include: potrebbe comunque elencare pagine non pertinenti. Usa i filtri URL per escludere tali pagine e il Content Filtering per rimuovere intestazioni, piè di pagina o menu ripetuti da ciascuna pagina.
Panoramica delle impostazioni avanzate
Per accedere alle impostazioni avanzate, fai clic su Add New Training: Website (Aggiungi nuovo addestramento: Sito web) nella scheda Training, quindi espandi la sezione Advanced settings (Impostazioni avanzate). Le impostazioni sono organizzate in quattro categorie:
- URL Filtering (Filtraggio URL) - Controlla quali URL includere o escludere
- Query Parameters (Parametri di query) - Gestisci i parametri URL
- Content Filtering (Filtraggio dei contenuti) - Filtra elementi specifici della pagina
- Scraping Behavior (Comportamento di scraping) - Configura la modalità di estrazione dei contenuti
Filtro degli URL
Includi solo URL specifici
Campo: Advanced Settings > URL Filtering > Include only URLs that contain (Includi solo gli URL che contengono)
Aggiungi parole chiave separate da punti e virgola per includere nella scansione solo URL specifici.
Esempio: Per includere le pagine il cui URL contiene /en oppure /help:
/en;/help
Questi pattern sono alternativi, non un'intersezione: non significano solo le pagine di aiuto in inglese. Se tutte le tue pagine di aiuto in inglese condividono /en/help/, usa invece questa singola sottostringa. Verifica l'effettiva struttura degli URL prima di scegliere un pattern.
Escludi gli URL irrilevanti
Campo: Advanced Settings > URL Filtering > Exclude URLs that contain (Escludi gli URL che contengono)
Aggiungi parole chiave separate da punti e virgola per saltare sezioni come blog, immagini o notizie.
Esempio:
/news;/pictures;/press
In questo modo eviti di scansionare sezioni ricche di contenuti ma irrilevanti per il chatbot, come notizie o gallerie di immagini.
Query Parameters
Ignora tutti i parametri di query
Campo: Advanced Settings > Query Parameters > Ignore all query parameters (Ignora tutti i parametri di query)
Attiva questa casella di controllo per considerare gli URL con parametri di query diversi come la stessa pagina. Ciò può prevenire i contenuti duplicati, ma può anche accorpare prodotti o articoli distinti se il parametro di query serve a identificare il contenuto. Mantieni i parametri significativi, come l'ID di un prodotto.
Ignora parametri di query specifici
Campo: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignora parametri di query specifici)
Aggiungi i nomi dei parametri separati da punto e virgola per ignorare parametri specifici di tracciamento o filtro.
Esempio:
ref;source;campaign;utm_source
Questo tratterà page.html?ref=email e page.html?ref=social come lo stesso URL.
Content Filtering
Includi elementi specifici
Campo: Advanced Settings > Content Filtering > Include element IDs (Includi ID elementi)
Aggiungi identificatori di elementi separati da punto e virgola per scansionare solo parti specifiche della pagina. Usa #id per gli ID degli elementi, .classname per le classi e parentesi quadre per gli attributi: [data-id="82874db"] seleziona gli elementi con quel valore esatto dell'attributo, [data-content] seleziona qualsiasi elemento che contenga quell'attributo.
Esempio:
#main-content;.article-body;[data-section="product"]
Questo scansionerà solo l'area dei contenuti principali, i corpi degli articoli e le sezioni dei prodotti, ignorando tutto il resto.
Segui solo i link negli elementi inclusi
Campo: Advanced Settings > Content Filtering > Follow only links in included elements (Segui solo i link negli elementi inclusi)
Questo selettore appare quando specifichi Include element IDs. Se attivato, il crawler seguirà solo i link trovati all'interno degli elementi inclusi. È utile quando vuoi limitare la scansione a sezioni specifiche del sito web, come le aree di contenuto degli articoli, ignorando i menu di navigazione nelle intestazioni o nei piè di pagina.
Predefinito: Disattivato (vengono seguiti tutti i link della pagina)
Escludi elementi della pagina
Campo: Advanced Settings > Content Filtering > Exclude element IDs (Escludi ID elementi)
Impedisci la scansione di intestazioni, piè di pagina e altri elementi di layout. Si applica la stessa sintassi dei selettori: header e footer senza prefisso, #id, .classname, o un attributo tra parentesi quadre come [data-id="82874db"] o [data-nosnippet]. I selettori di attributo sono utili quando l'elemento da escludere non ha un id o una classe stabili, ma presenta un attributo data-* che puoi copiare dagli strumenti per sviluppatori del browser.
Esempio:
header;footer;#navigation;.sidebar;[data-nosnippet]
Questo rimuove i blocchi HTML che si ripetono su ogni pagina e che generalmente non contengono informazioni utili per il tuo chatbot.
Segui i link negli elementi esclusi
Campo: Advanced Settings > Content Filtering > Follow links in excluded elements (Segui i link negli elementi esclusi)
Questo selettore appare quando specifichi Exclude element IDs. Se attivato, il crawler seguirà comunque i link trovati all'interno degli elementi esclusi (come i menu di navigazione nelle intestazioni), anche se il contenuto stesso viene escluso dall'addestramento.
Predefinito: Disattivato (i link negli elementi esclusi non vengono seguiti)
Caso d'uso: Attiva questa opzione quando vuoi escludere il contenuto di intestazioni o piè di pagina dall'addestramento, ma hai comunque bisogno che il crawler scopra nuove pagine attraverso i link di navigazione presenti in quelle aree. In questo modo ottieni il meglio da entrambe le opzioni: dati di addestramento puliti senza l'ingombro dei menu, continuando a scansionare l'intero sito.
Importante: Se usi la scansione completa del sito web ed escludi elementi come l'intestazione senza attivare "Follow links in excluded elements", lo scanner potrebbe non trovare i link più profondi (i menu si trovano spesso all'interno delle intestazioni). In questo caso, attiva il selettore oppure usa una sitemap per il metodo più sicuro ed efficiente.
Comportamento di scraping (Scraping Behavior)
Estrai documenti (Scrape Documents)
Campo: Impostazioni avanzate (Advanced Settings) > Comportamento di scraping (Scraping Behavior) > Scrape documents
Quando è abilitata, il sistema estrae ed elabora i contenuti dei documenti trovati sul sito web. Al momento supporta i file PDF.
Escludi link delle immagini (Exclude Image Links)
Campo: Impostazioni avanzate (Advanced Settings) > Comportamento di scraping (Scraping Behavior) > Exclude image links
Attiva questo selettore per escludere tutti i link alle immagini dal dataset di addestramento. Gli URL delle immagini possono consumare caratteri anche se il file immagine in sé non viene addestrato come testo. Rimuoverli può però eliminare anche riferimenti utili alle immagini per le Offer Cards.
Confronta l'anteprima salvata per verificare quanti caratteri risparmi e se i riferimenti alle immagini necessari rimangono disponibili.
Estrai contenuti nascosti (Scrape Hidden Contents)
Campo: Impostazioni avanzate (Advanced Settings) > Comportamento di scraping (Scraping Behavior) > Scrape hidden contents
Quando è abilitata (impostazione predefinita), il sistema estrae i contenuti dagli elementi HTML nascosti (elementi contrassegnati come nascosti da stili inline supportati, attributi HTML o classi comuni per elementi nascosti).
Predefinito: Abilitato
Quando disabilitare: Disabilita questa opzione per ignorare i contenuti nascosti e saltare gli elementi riconosciuti come nascosti in base a queste regole. È utile quando i siti web contengono contenuti nascosti come:
- Sezioni a fisarmonica (accordion) chiuse
- Contenuti visibili solo su dispositivi mobili o solo su desktop
- Campi nascosti dei moduli
- Testo di layout ripetuto e nascosto dalla pagina
Disabilitare questa opzione può ridurre il testo irrilevante, ma potrebbe anche rimuovere risposte utili presenti nelle sezioni a fisarmonica o dettagli di prodotto. Ispeziona la sorgente estratta invece di dare per scontato che ogni elemento nascosto sia superfluo.
Ritardo tra le pagine (Delay Between Pages)
Campo: Impostazioni avanzate (Advanced Settings) > Comportamento di scraping (Scraping Behavior) > Delay between pages
Inserisci un ritardo (in secondi) tra la scansione di una pagina e l'altra per evitare di sovraccaricare il tuo server. Utile per i siti web che applicano limiti di frequenza delle richieste (rate limiting).
Simula visita da un paese specifico (Simulate Visit From Specific Country)
Campo: Impostazioni avanzate (Advanced Settings) > Comportamento di scraping (Scraping Behavior) > Country code
Se il tuo sito mostra contenuti diversi a seconda della posizione geografica del visitatore, inserisci un codice paese di 2 lettere (ad es. US, PL, DE) per simulare la scansione da quella località.
Configurazione consigliata per la maggior parte dei siti web
Usa queste impostazioni come punto di partenza e verifica i contenuti estratti prima di applicarle a tutto il sito web:
- Usa la sitemap quando disponibile per un controllo preciso degli URL
- Escludi ID elementi:
header;footer;#navigation;.sidebar - Attiva "Exclude image links" per rimuovere gli URL delle immagini dall'addestramento
- Disattiva "Scrape hidden contents" se il tuo sito ha molti elementi nascosti
- Valuta "Follow links in excluded elements" se usi la scansione completa con le intestazioni escluse
Non esiste una percentuale di risparmio fissa. Testa prima le impostazioni su una pagina rappresentativa e confronta il contenuto estratto, il conteggio dei caratteri e le risposte del chatbot. Non usare un selettore a meno che non corrisponda effettivamente al tuo sito web.
Riepilogo: Best practice
- Usa la sitemap invece della scansione completa per un controllo preciso
- Includi URL per mirare solo ai contenuti di valore
- Escludi URL per saltare pagine pesanti o non pertinenti
- Ignora i parametri di query per evitare contenuti duplicati
- Escludi gli ID degli elementi per rimuovere parti ripetute della pagina come intestazioni e piè di pagina
- Controlla l'esplorazione dei link con "Follow only links in included elements" o "Follow links in excluded elements" per una gestione accurata della scansione
- Escludi i link alle immagini per ridurre sensibilmente il numero di caratteri
- Disattiva lo scraping dei contenuti nascosti se il tuo sito include elementi nascosti non necessari
- Concentrati sui contenuti utili per il tuo bot (FAQ, pagine prodotto, articoli di supporto)
Concludi la scansione e verifica
Inizia con Single address (Indirizzo singolo) per testare i filtri su una pagina rappresentativa. Fai clic su Start scanning the website (Avvia la scansione del sito web), attendi il messaggio Training completed (Addestramento completato) e usa View (Visualizza) per verificare che i dati e i link necessari siano presenti. Il tempo di elaborazione dipende dalla pagina; le scansioni più estese possono richiedere più tempo e continuare in background. Applica quindi i filtri verificati alla scansione del sito completo o della sitemap e prova alcune domande tipiche in Overview (Panoramica). Se una scansione completa salta delle pagine, verifica le opzioni di tracciamento dei link o usa una sitemap.