Wanneer je jouw chatbot traint op een website, helpt het beperken van de gescande gegevens tot wat het meest nuttig is om het tekenverbruik te verlagen, de training te versnellen en de antwoordkwaliteit te verbeteren door alleen op relevante inhoud te focussen.
Maak eerst een chatbot aan en lees Nieuwe websitebronnen toevoegen voor het volledige scanproces. Selecteer jouw chatbot voordat je Training opent. Deze handleiding legt uit hoe je jouw scan optimaliseert met behulp van de Advanced settings (Geavanceerde instellingen) in het trainingsvenster voor websites (Training > Links > Add New Training: Website).
Waarom minder trainen beter kan zijn
ChatLab maakt gebruik van de RAG-architectuur (Retrieval-Augmented Generation). In plaats van alle websitecontent uit het hoofd te leren, zoekt de AI bij elke gebruikersvraag naar de meest relevante stukjes informatie en gebruikt deze om een antwoord te genereren.
Het probleem van te veel data
Meer data leidt niet automatisch tot betere antwoorden. Het toevoegen van irrelevante of overbodige content kan het ophaalproces verstoren:
- RAG kent scores toe aan tekstfragmenten op basis van relevantie voor de vraag van de gebruiker. Als je site veel pagina's bevat met herhalende, vage of algemene tekst (menu's, footers, persberichten, pagina's met blogtags), verlaagt dat de kwaliteit van de zoekresultaten.
- Wanneer de chatbot meerdere fragmenten van lage kwaliteit ophaalt die dezelfde trefwoorden bevatten maar nuttige context missen, kan hij onnauwkeurige, te algemene of irrelevante antwoorden genereren.
- Bijvoorbeeld: als je footer op elke pagina links bevat zoals "Home", "Contact", "Privacy", "FAQ", antwoordt de bot mogelijk met een algemene alinea uit de footer in plaats van een handig telefoonnummer of e-mailadres wanneer een gebruiker vraagt: "Hoe kan ik contact opnemen?"
Veel signaal, weinig ruis = betere antwoorden
Door alleen nuttige content te scannen, help je de AI om duidelijke, specifieke en hoogwaardige context op te halen voor elke vraag. Richt je op:
- Productbeschrijvingen
- FAQ-pagina's
- Helpcentrum-artikelen
- Beleidsdocumenten
- Belangrijke landingspagina's
Run je een webshop? De grootste besparing behaal je door producten buiten de scan te houden. Wanneer producten afkomstig zijn uit AI Search of live zoeken in de winkel, sluit je product- en categoriepagina's uit met de onderstaande URL-filters en scan je alleen informatieve pagina's. Producten in AI Search verbruiken geen trainingskarakters. Zie E-commerce-abonnementen en limieten.
Gebruik een sitemap in plaats van een volledige websitescan
Aanbevolen: gebruik waar mogelijk de optie sitemap.
Een volledige websitescan volgt alle zichtbare links op de pagina, inclusief links uit footers, menu's en zijbalken, wat er vaak toe leidt dat er herhalende of irrelevante inhoud wordt gescand. Deze onderdelen staan meestal op elke pagina en bevatten zelden unieke informatie die nuttig is voor antwoorden in de chat.
Een sitemap (vaak op https://yourdomain.com/sitemap.xml) geeft de crawler een lijst met kandidaat-URL's. Controleer wat deze bevat: er kunnen nog steeds irrelevante pagina's tussen staan. Gebruik URL-filters om die pagina's uit te sluiten en Content Filtering (inhoudsfiltering) om herhaalde headers, footers of menu's van elke pagina te verwijderen.
Overzicht van geavanceerde instellingen
Om de geavanceerde instellingen te openen, klik je op Add New Training: Website (Nieuwe training toevoegen: Website) in het tabblad Training en klap je vervolgens het gedeelte Advanced settings uit. De instellingen zijn onderverdeeld in vier categorieën:
- URL Filtering (URL-filtering) - Bepaal welke URL's moeten worden opgenomen of uitgesloten
- Query Parameters (Queryparameters) - Beheer URL-parameters
- Content Filtering (Inhoudsfiltering) - Filter specifieke pagina-elementen
- Scraping Behavior (Scrapegedrag) - Configureer hoe inhoud wordt geëxtraheerd
URL Filtering
Alleen specifieke URL's opnemen
Veld: Advanced Settings > URL Filtering > Include only URLs that contain (Alleen URL's opnemen die het volgende bevatten)
Voeg door puntkomma's gescheiden trefwoorden toe om alleen specifieke URL's in de scan op te nemen.
Voorbeeld: om pagina's op te nemen waarvan de URL /en of /help bevat:
/en;/help
Deze patronen zijn alternatieven van elkaar, geen doorsnede: ze betekenen niet dat alleen Engelse help-pagina's worden meegenomen. Als jouw Engelse help-pagina's allemaal /en/help/ delen, gebruik dan alleen die substring. Controleer de werkelijke URL-structuur voordat je een patroon kiest.
Irrelevante URL's uitsluiten
Veld: Advanced Settings > URL Filtering > Exclude URLs that contain (URL's uitsluiten die het volgende bevatten)
Voeg door puntkomma's gescheiden trefwoorden toe om onderdelen zoals blogs, afbeeldingen of nieuws over te slaan.
Voorbeeld:
/news;/pictures;/press
Dit voorkomt het scannen van pagina's met veel inhoud die niet relevant zijn voor de chatbot, zoals nieuws of fotogalerijen.
Query Parameters
Alle queryparameters negeren
Veld: Advanced Settings > Query Parameters > Ignore all query parameters (Alle queryparameters negeren)
Schakel dit selectievakje in om URL's met verschillende queryparameters als dezelfde pagina te behandelen. Dit kan dubbele inhoud voorkomen, maar kan ook afzonderlijke producten of artikelen samenvoegen als de queryparameter de inhoud bepaalt. Behoud betekenisvolle parameters, zoals een product-ID.
Specifieke queryparameters negeren
Veld: Advanced Settings > Query Parameters > Ignore specific query parameters (Specifieke queryparameters negeren)
Voeg door puntkomma's gescheiden parameternamen toe om specifieke tracking- of filterparameters te negeren.
Voorbeeld:
ref;source;campaign;utm_source
Hierdoor worden page.html?ref=email en page.html?ref=social als dezelfde URL behandeld.
Content Filtering
Specifieke elementen opnemen
Veld: Advanced Settings > Content Filtering > Include element IDs (Element-ID's opnemen)
Voeg door puntkomma's gescheiden element-identifiers toe om alleen specifieke delen van de pagina te scannen. Gebruik #id voor element-ID's, .classname voor classes en rechte haken voor attributen: [data-id="82874db"] matcht elementen met exact die attribuutwaarde, [data-content] matcht elk element dat het attribuut überhaupt heeft.
Voorbeeld:
#main-content;.article-body;[data-section="product"]
Dit scant alleen het hoofdgedeelte van de inhoud, artikelteksten en productsecties, en negeert al het andere.
Alleen links in opgenomen elementen volgen
Veld: Advanced Settings > Content Filtering > Follow only links in included elements (Alleen links in opgenomen elementen volgen)
Deze schakelaar verschijnt wanneer je Include element IDs opgeeft. Wanneer ingeschakeld, volgt de crawler alleen links die binnen de opgenomen elementen worden gevonden. Dit is handig wanneer je het crawlen wilt beperken tot specifieke delen van de website, zoals artikelteksten, terwijl je navigatiemenu's in headers of footers negeert.
Standaard: Uitgeschakeld (alle links op de pagina worden gevolgd)
Pagina-elementen uitsluiten
Veld: Advanced Settings > Content Filtering > Exclude element IDs (Element-ID's uitsluiten)
Voorkom het scannen van headers, footers en andere lay-outelementen. Dezelfde selectorsyntaxis is van toepassing: header en footer zonder voorvoegsel, #id, .classname, of een attribuut tussen rechte haken zoals [data-id="82874db"] of [data-nosnippet]. Attribuutselectors zijn handig wanneer het element dat je wilt weglaten geen vaste ID of class heeft, maar wel een data-*-attribuut bevat dat je kunt kopiëren uit de developer tools van de browser.
Voorbeeld:
header;footer;#navigation;.sidebar;[data-nosnippet]
Dit verwijdert HTML-blokken die op elke pagina worden herhaald en over het algemeen geen nuttige inhoud voor jouw chatbot bevatten.
Links in uitgesloten elementen volgen
Veld: Advanced Settings > Content Filtering > Follow links in excluded elements (Links in uitgesloten elementen volgen)
Deze schakelaar verschijnt wanneer je Exclude element IDs opgeeft. Wanneer ingeschakeld, volgt de crawler nog steeds links die binnen uitgesloten elementen worden gevonden (zoals navigatiemenu's in headers), ook al wordt de inhoud zelf uitgesloten van de training.
Standaard: Uitgeschakeld (links in uitgesloten elementen worden niet gevolgd)
Toepassing: Schakel dit in wanneer je header- of footer-inhoud wilt uitsluiten van de training, maar de crawler toch pagina's moet laten ontdekken via navigatielinks in die gebieden. Dit biedt het beste van twee werelden: schone trainingsgegevens zonder overbodige menu-inhoud, terwijl jouw hele site toch wordt gecrawld.
Belangrijk: Als je een volledige websitescan gebruikt en elementen zoals de header uitsluit zonder "Follow links in excluded elements" in te schakelen, ontdekt de scanner dieper liggende links mogelijk niet (menu's bevinden zich vaak in headers). Schakel in dat geval de optie in of gebruik een sitemap voor de veiligste en meest efficiënte methode.
Scraping Behavior (Scrapegedrag)
Scrape Documents
Veld: Geavanceerde instellingen (Advanced Settings) > Scraping Behavior > Scrape documents
Als dit is ingeschakeld, extraheert en verwerkt het systeem documentinhoud die op de website wordt gevonden. Ondersteunt momenteel PDF-bestanden.
Exclude Image Links
Veld: Geavanceerde instellingen (Advanced Settings) > Scraping Behavior > Exclude image links
Schakel deze schakelaar in om alle afbeeldingslinks uit de trainingsdataset uit te sluiten. Afbeeldings-URL's kunnen tekens toevoegen, ook al wordt het afbeeldingsbestand zelf niet als tekst getraind. Het verwijderen ervan kan ook nuttige afbeeldingsverwijzingen voor Offer Cards verwijderen.
Vergelijk het opgeslagen voorbeeld om te zien hoeveel het bespaart en of benodigde afbeeldingsverwijzingen behouden blijven.
Scrape Hidden Contents
Veld: Geavanceerde instellingen (Advanced Settings) > Scraping Behavior > Scrape hidden contents
Als dit is ingeschakeld (standaard), extraheert het systeem inhoud uit verborgen HTML-elementen (elementen die als verborgen zijn gemarkeerd door ondersteunde inline stijlen, HTML-attributen of algemene verborgen klassen).
Standaard: Ingeschakeld
Wanneer uitschakelen: Schakel deze optie uit om verborgen inhoud over te slaan en elementen over te slaan die volgens deze regels als verborgen worden herkend. Dit is handig wanneer websites verborgen inhoud bevatten zoals:
- Ingeklapte accordeonsecties
- Inhoud alleen voor mobiel of alleen voor desktop
- Verborgen formuliervelden
- Herhaalde lay-outtekst die door de pagina verborgen is
Het uitschakelen hiervan kan irrelevante tekst verminderen, maar kan ook nuttige accordeonantwoorden of productdetails verwijderen. Controleer de geëxtraheerde bron in plaats van aan te nemen dat elk verborgen element ongewenst is.
Delay Between Pages
Veld: Geavanceerde instellingen (Advanced Settings) > Scraping Behavior > Delay between pages
Voeg een vertraging toe (in seconden) tussen het scannen van elke pagina om overbelasting van je server te voorkomen. Handig voor websites met snelheidsbeperkingen (rate limiting).
Simulate Visit From Specific Country
Veld: Geavanceerde instellingen (Advanced Settings) > Scraping Behavior > Country code
Als je site verschillende inhoud toont afhankelijk van de locatie van de bezoeker, voer dan een 2-letterige landcode in (bijv. US, PL, DE) om het scannen vanaf die locatie te simuleren.
Aanbevolen configuratie voor de meeste websites
Gebruik deze instellingen als uitgangspunt en controleer de geëxtraheerde inhoud voordat je ze op jouw hele website toepast:
- Gebruik een sitemap indien beschikbaar voor nauwkeurige controle over URL's
- Element-ID's uitsluiten:
header;footer;#navigation;.sidebar - Schakel "Exclude image links" in om afbeeldings-URL's uit de training te verwijderen
- Schakel "Scrape hidden contents" uit als jouw site veel verborgen elementen heeft
- Overweeg "Follow links in excluded elements" als je een volledige scan gebruikt met uitgesloten headers
Er is geen vast besparingspercentage. Test de instellingen eerst op één representatieve pagina en vergelijk de geëxtraheerde inhoud, het aantal tekens en de antwoorden van de chatbot. Gebruik een selector alleen als deze overeenkomt met jouw website.
Samenvatting: best practices
- Gebruik een sitemap in plaats van een volledige scan voor nauwkeurige controle
- Neem URL's op om alleen op waardevolle inhoud te richten
- Sluit URL's uit om irrelevante of zware pagina's over te slaan
- Negeer queryparameters om dubbele inhoud te voorkomen
- Sluit element-ID's uit om herhaalde pagina-onderdelen zoals headers en footers te verwijderen
- Beheer het volgen van links met "Follow only links in included elements" of "Follow links in excluded elements" voor fijnmazige controle over de crawl
- Sluit afbeeldingslinks uit om het aantal tekens aanzienlijk te verlagen
- Schakel het scrapen van verborgen inhoud uit als jouw site onnodige verborgen elementen bevat
- Focus op nuttige inhoud voor jouw bot (FAQ's, productpagina's, ondersteuningsartikelen)
Rond de scan af en controleer
Begin met Single address (Eén adres) om de filters op een representatieve pagina te testen. Klik op Start scanning the website (Website scannen starten), wacht op Training completed (Training voltooid) en gebruik View (Weergeven) om te controleren of de vereiste feiten en links behouden zijn gebleven. De verwerkingstijd hangt af van de pagina; grotere scans kunnen langer duren en gaan op de achtergrond door. Gebruik de geverifieerde filters vervolgens voor jouw bredere scan van de website of sitemap, en test representatieve vragen in Overview (Overzicht). Als een volledige crawl pagina's mist, controleer dan de opties voor het volgen van links of gebruik een sitemap.