Atunci când vă antrenați chatbotul pe baza unui site web, limitarea volumului de date scanate la ceea ce este cu adevărat util ajută la reducerea consumului de caractere, accelerează antrenarea și îmbunătățește calitatea răspunsurilor prin concentrarea exclusivă pe conținutul relevant.
Mai întâi creați un chatbot și citiți Adăugarea de noi surse de tip site web pentru fluxul complet de scanare. Selectați chatbotul dumneavoastră înainte de a deschide Training (Antrenare). Acest ghid explică modul în care vă puteți optimiza scanarea folosind secțiunea Advanced settings (Setări avansate) din fereastra modală de antrenare pe baza unui site web (Training > Links > Add New Training: Website).
De ce mai puține date de antrenare pot fi mai eficiente
ChatLab folosește arhitectura RAG (Retrieval-Augmented Generation). În loc să memoreze tot conținutul site-ului web, AI-ul caută cele mai relevante fragmente de informație în momentul fiecărei întrebări a utilizatorului și le folosește pentru a genera un răspuns.
Problema cu prea multe date
Mai multe date nu înseamnă întotdeauna răspunsuri mai bune. Adăugarea de conținut irelevant sau redundant poate perturba procesul de căutare a informațiilor:
- RAG evaluează fragmentele de conținut în funcție de relevanța pentru întrebarea utilizatorului. Dacă site-ul dumneavoastră conține multe pagini cu text repetitiv, vag sau generic (meniuri, subsoluri de pagină, comunicate de presă, pagini de etichete de blog), acestea diluează calitatea rezultatelor căutării.
- Când chatbotul preia mai multe fragmente de mică valoare care au cuvinte-cheie comune, dar nu au un context util, poate genera răspunsuri inexacte, prea generale sau pe lângă subiect.
- De exemplu: dacă subsolul dumneavoastră conține linkuri precum „Acasă”, „Contact”, „Confidențialitate”, „FAQ” pe fiecare pagină, botul ar putea răspunde cu un paragraf generic din subsol în loc să ofere un număr de telefon util sau o adresă de e-mail atunci când un utilizator întreabă „Cum vă pot contacta?”
Semnal puternic, zgomot redus = răspunsuri mai bune
Scanând doar conținutul util, ajutați AI-ul să preia un context clar, specific și de înaltă calitate pentru fiecare întrebare. Concentrați-vă pe:
- Descrieri de produse
- Pagini FAQ
- Articole de asistență
- Documente de politici
- Pagini de destinație cheie
Administrați un magazin online? Cea mai mare economie este să excludeți produsele din scanare. Când produsele provin din AI Search sau din căutarea live a magazinului, excludeți paginile de produse și categorii folosind filtrele URL de mai jos și scanați doar paginile informative. Produsele din AI Search nu consumă caractere de antrenare. Consultați Planuri și limite E-commerce.
Utilizați sitemap în locul scanării complete a site-ului
Recomandat: utilizați opțiunea sitemap ori de câte ori este posibil.
Scanarea completă a site-ului urmărește toate linkurile vizibile de pe pagină, inclusiv linkurile din subsoluri, meniuri și bare laterale, ceea ce duce adesea la scanarea de conținut repetitiv sau fără valoare. Aceste secțiuni sunt de obicei prezente pe fiecare pagină și rareori includ informații unice utile pentru răspunsurile din chat.
Un sitemap (adesea disponibil la https://yourdomain.com/sitemap.xml) oferă crawlerului o listă de adrese URL candidate. Verificați ce include acesta: poate conține în continuare pagini irelevante. Utilizați filtre URL pentru a exclude acele pagini și Content Filtering (Filtrare conținut) pentru a elimina anteturile, subsolurile sau meniurile repetitive de pe fiecare pagină.
Prezentare generală a setărilor avansate
Pentru a accesa setările avansate, faceți clic pe Add New Training: Website (Adaugă antrenare nouă: Site web) în fila Training, apoi extindeți secțiunea Advanced settings. Setările sunt organizate în patru categorii:
- URL Filtering (Filtrare URL) - Controlați ce adrese URL includeți sau excludeți
- Query Parameters (Parametri URL) - Gestionați parametrii URL
- Content Filtering (Filtrare conținut) - Filtrați anumite elemente din pagină
- Scraping Behavior (Comportament de colectare) - Configurați modul în care este extras conținutul
URL Filtering
Include Only Specific URLs
Câmp: Advanced Settings > URL Filtering > Include only URLs that contain (Include doar adresele URL care conțin)
Adăugați cuvinte-cheie separate prin punct și virgulă pentru a include în scanare doar anumite adrese URL.
Exemplu: pentru a include paginile al căror URL conține fie /en, fie /help:
/en;/help
Aceste modele funcționează ca alternative, nu ca o intersecție: nu înseamnă doar pagini de ajutor în limba engleză. Dacă toate paginile dumneavoastră de ajutor în engleză conțin /en/help/, utilizați acel subșir unic. Verificați structura reală a adreselor URL înainte de a alege un model.
Exclude Irrelevant URLs
Câmp: Advanced Settings > URL Filtering > Exclude URLs that contain (Exclude adresele URL care conțin)
Adăugați cuvinte-cheie separate prin punct și virgulă pentru a omite secțiuni precum bloguri, imagini sau știri.
Exemplu:
/news;/pictures;/press
Astfel evitați scanarea unor secțiuni cu mult conținut, dar irelevante pentru chatbot, cum ar fi știrile sau galeriile foto.
Query Parameters
Ignore All Query Parameters
Câmp: Advanced Settings > Query Parameters > Ignore all query parameters (Ignoră toți parametrii URL)
Bifați această casetă pentru a trata adresele URL cu parametri diferiți ca fiind aceeași pagină. Acest lucru poate preveni conținutul duplicat, dar poate de asemenea să comaseze produse sau articole distincte dacă parametrul identifică conținutul respectiv. Păstrați parametrii semnificativi, cum ar fi un ID de produs.
Ignore Specific Query Parameters
Câmp: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignoră anumiți parametri URL)
Adăugați nume de parametri separate prin punct și virgulă pentru a ignora anumiți parametri de urmărire sau filtrare.
Exemplu:
ref;source;campaign;utm_source
Astfel, page.html?ref=email și page.html?ref=social vor fi tratate ca aceeași adresă URL.
Content Filtering
Include Specific Elements
Câmp: Advanced Settings > Content Filtering > Include element IDs (Include ID-urile elementelor)
Adăugați identificatori de elemente separați prin punct și virgulă pentru a scana doar anumite părți ale paginii. Utilizați #id pentru ID-urile de elemente, .classname pentru clase și paranteze drepte pentru atribute: [data-id="82874db"] identifică elementele cu acea valoare exactă a atributului, iar [data-content] identifică orice element care conține acel atribut.
Exemplu:
#main-content;.article-body;[data-section="product"]
Astfel se vor scana doar zona principală de conținut, corpul articolelor și secțiunile de produse, ignorând restul elementelor.
Follow Only Links in Included Elements
Câmp: Advanced Settings > Content Filtering > Follow only links in included elements (Urmărește doar linkurile din elementele incluse)
Acest comutator apare atunci când specificați Include element IDs. Când este activat, crawlerul va urmări doar linkurile găsite în interiorul elementelor incluse. Este util atunci când doriți să limitați explorarea la secțiuni specifice ale site-ului, cum ar fi zonele de conținut ale articolelor, ignorând meniurile de navigare din antet sau subsol.
Valoare implicită: Dezactivat (sunt urmărite toate linkurile de pe pagină)
Exclude Page Elements
Câmp: Advanced Settings > Content Filtering > Exclude element IDs (Exclude ID-urile elementelor)
Preveniți scanarea anteturilor, subsolurilor și a altor elemente de aspect. Se aplică aceeași sintaxă de selectori: header și footer fără prefix, #id, .classname sau un atribut în paranteze drepte precum [data-id="82874db"] sau [data-nosnippet]. Selectorii de atribute sunt foarte utili atunci când elementul pe care doriți să îl excludeți nu are un id sau o clasă stabilă, dar conține un atribut data-* pe care îl puteți copia din instrumentele pentru dezvoltatori ale browserului.
Exemplu:
header;footer;#navigation;.sidebar;[data-nosnippet]
Astfel eliminați blocurile HTML care se repetă pe fiecare pagină și care, în general, nu conțin informații utile pentru chatbotul dumneavoastră.
Follow Links in Excluded Elements
Câmp: Advanced Settings > Content Filtering > Follow links in excluded elements (Urmărește linkurile din elementele excluse)
Acest comutator apare atunci când specificați Exclude element IDs. Când este activat, crawlerul va urmări în continuare linkurile găsite în elementele excluse (cum ar fi meniurile de navigare din antet), chiar dacă acel conținut este exclus din antrenare.
Valoare implicită: Dezactivat (linkurile din elementele excluse nu sunt urmărite)
Caz de utilizare: activați această opțiune dacă doriți să excludeți conținutul din antet/subsol din antrenare, dar aveți nevoie ca crawlerul să descopere pagini prin linkurile de navigare din acele zone. Obțineți astfel cele mai bune rezultate: date de antrenare curate, fără încărcarea meniurilor, explorând în același timp întregul site.
Important: dacă utilizați scanarea completă a site-ului și excludeți elemente precum antetul fără a activa opțiunea „Follow links in excluded elements”, scanerul ar putea să nu descopere linkurile mai profunde (meniurile sunt adesea plasate în interiorul anteturilor). În acest caz, fie activați comutatorul, fie utilizați un sitemap pentru o metodă sigură și eficientă.
Comportament de scanare (Scraping Behavior)
Scanare documente (Scrape Documents)
Câmp: Advanced Settings > Scraping Behavior > Scrape documents
Când este activat, sistemul extrage și procesează conținutul documentelor găsite pe site. În prezent acceptă fișiere PDF.
Excludere linkuri de imagini (Exclude Image Links)
Câmp: Advanced Settings > Scraping Behavior > Exclude image links
Activați acest comutator pentru a exclude toate linkurile de imagini din setul de date de antrenare. URL-urile imaginilor pot adăuga caractere, chiar dacă fișierul de imagine în sine nu este antrenat ca text. Eliminarea lor poate șterge, de asemenea, referințe utile la imagini pentru Offer Cards.
Comparați previzualizarea salvată pentru a vedea cât economisiți și dacă referințele necesare la imagini rămân disponibile.
Scanare conținut ascuns (Scrape Hidden Contents)
Câmp: Advanced Settings > Scraping Behavior > Scrape hidden contents
Când este activat (implicit), sistemul extrage conținut din elementele HTML ascunse (elemente marcate ca ascunse prin stiluri inline compatibile, atribute HTML sau clase comune de ascundere).
Implicit: Activat
Când se dezactivează: Dezactivați această opțiune pentru a omite conținutul ascuns și elementele identificate ca fiind ascunse pe baza acestor reguli. Acest lucru este util atunci când site-urile includ conținut ascuns precum:
- Secțiuni de tip acordeon restrânse
- Conținut dedicat exclusiv pentru mobil sau desktop
- Câmpuri de formular ascunse
- Text repetat de structură ascuns de pagină
Dezactivarea acestei opțiuni poate reduce textul irelevant, însă poate elimina și răspunsuri utile din secțiunile acordeon sau detalii despre produse. Verificați sursa extrasă în loc să presupuneți că fiecare element ascuns este nedorit.
Întârziere între pagini (Delay Between Pages)
Câmp: Advanced Settings > Scraping Behavior > Delay between pages
Adăugați o întârziere (în secunde) între scanarea fiecărei pagini pentru a preveni supraîncărcarea serverului dumneavoastră. Este util pentru site-urile care au limitare de rată (rate limiting).
Simulare vizită dintr-o anumită țară (Simulate Visit From Specific Country)
Câmp: Advanced Settings > Scraping Behavior > Country code
Dacă site-ul dumneavoastră afișează conținut diferit în funcție de locația vizitatorului, introduceți un cod de țară din 2 litere (de exemplu, US, PL, DE) pentru a simula scanarea din acea locație.
Configurație recomandată pentru majoritatea site-urilor web
Utilizați aceste setări ca punct de pornire și verificați conținutul extras înainte de a le aplica pe întregul site:
- Utilizați sitemap atunci când este disponibil pentru un control precis al adreselor URL
- Exclude element IDs:
header;footer;#navigation;.sidebar - Activați „Exclude image links” pentru a elimina adresele URL ale imaginilor din antrenare
- Dezactivați „Scrape hidden contents” dacă site-ul conține multe elemente ascunse
- Luați în considerare „Follow links in excluded elements” dacă utilizați o scanare completă cu anteturi excluse
Nu există un procent fix de economisire. Testați mai întâi setările pe o pagină reprezentativă și comparați conținutul extras, numărul de caractere și răspunsurile chatbotului. Nu folosiți un selector decât dacă acesta corespunde structurii site-ului dumneavoastră.
Rezumat: bune practici
- Utilizați sitemap în locul scanării complete pentru un control precis
- Includeți adrese URL pentru a viza doar conținutul valoros
- Excludeți adrese URL pentru a omite paginile irelevante sau încărcate
- Ignorați parametrii URL pentru a evita conținutul duplicat
- Excludeți ID-urile elementelor pentru a elimina părțile repetitive ale paginii, cum ar fi anteturile și subsolurile
- Controlați urmărirea linkurilor prin „Follow only links in included elements” sau „Follow links in excluded elements” pentru un control detaliat asupra scanării
- Excludeți linkurile imaginilor pentru a reduce semnificativ numărul de caractere
- Dezactivați colectarea conținutului ascuns dacă site-ul conține elemente ascunse inutile
- Concentrați-vă pe conținutul util pentru bot (întrebări frecvente, pagini de produse, articole de asistență)
Finalizarea scanării și verificare
Începeți cu Single address (Adresă unică) pentru a testa filtrele pe o pagină reprezentativă. Faceți clic pe Start scanning the website (Începe scanarea site-ului), așteptați mesajul Training completed (Antrenare finalizată) și utilizați View (Vizualizare) pentru a verifica dacă informațiile și linkurile necesare au fost păstrate. Timpul de procesare depinde de pagină; scanările mai ample pot dura mai mult și vor continua în fundal. Aplicați apoi filtrele verificate pentru scanarea mai amplă a site-ului sau a sitemap-ului și testați întrebări reprezentative în Overview (Prezentare generală). Dacă o scanare completă omite pagini, verificați opțiunile de urmărire a linkurilor sau utilizați un sitemap.