Når du trener chatboten din på et nettsted, vil det å begrense mengden skannede data til det som er mest nyttig bidra til å redusere tegnforbruket, øke treningshastigheten og forbedre svarkvaliteten ved å fokusere utelukkende på relevant innhold.
Først må du opprette en chatbot og lese Legge til nye nettstedskilder for hele skanneprosessen. Velg chatboten din før du åpner Training (Trening). Denne veiledningen forklarer hvordan du optimaliserer skanningen ved hjelp av Advanced settings (Avanserte innstillinger) i modalvinduet for nettstedstrening (Training > Links > Add New Training: Website).
Hvorfor mindre trening kan være bedre
ChatLab bruker RAG (Retrieval-Augmented Generation)-arkitektur. I stedet for å memorere alt innhold på nettstedet, søker AI-en etter de mest relevante delene med informasjon når brukeren stiller et spørsmål, og bruker dem til å generere et svar.
Problemet med for mye data
Mer data betyr ikke alltid bedre svar. Å legge til irrelevant eller overflødig innhold kan forstyrre gjenfinningsprosessen:
- RAG rangerer innholdsbiter etter relevans for brukerens spørsmål. Hvis nettstedet ditt inneholder mange sider med repeterende, vag eller generell tekst (menyer, bunntekster, pressemeldinger, taggsider i bloggen), svekker de kvaliteten på søkeresultatene.
- Når chatboten henter flere biter med lav verdi som deler nøkkelord, men mangler nyttig kontekst, kan den generere unøyaktige, for generelle eller irrelevante svar.
- For eksempel: Hvis bunnteksten din inneholder lenker som "Hjem", "Kontakt", "Personvern", "FAQ" på hver side, kan boten svare med et generelt avsnitt fra bunnteksten i stedet for et nyttig telefonnummer eller en e-postadresse når en bruker spør "Hvordan kan jeg kontakte dere?"
Høyt signal, lite støy = bedre svar
Ved å skanne bare nyttig innhold hjelper du AI-en med å hente tydelig, spesifikk og høykvalitets kontekst for hvert spørsmål. Fokuser på:
- Produktbeskrivelser
- FAQ-sider
- Hjelpeartikler
- Retningslinjer og vilkårsdokumenter
- Sentrale landingssider
Driver du en nettbutikk? Den største besparelsen er å holde produkter utenfor skanningen. Når produkter kommer fra AI Search eller live søk i butikken, ekskluderer du produkt- og kategorisider med URL-filtrene nedenfor og skanner bare informasjonssider. Produkter i AI Search bruker ikke treningstegn. Se E-commerce plans and limits (E-commerce-abonnementer og grenser).
Bruk sitemap i stedet for fullstendig nettstedskanning
Anbefalt: Bruk alternativet sitemap når det er mulig.
En fullstendig nettstedskanning følger alle synlige lenker på siden, inkludert lenker fra bunntekster, menyer og sidefelt, noe som ofte fører til skanning av repeterende eller lite verdifullt innhold. Disse delene finnes vanligvis på hver eneste side og inneholder sjelden unik informasjon som er nyttig for chatsvar.
Et sitemap (ofte på https://yourdomain.com/sitemap.xml) gir crawleren en liste over kandidat-URL-er. Sjekk hva det inneholder: det kan likevel inneholde irrelevante sider. Bruk URL-filtre for å ekskludere disse sidene og Content Filtering (innholdsfiltrering) for å fjerne gjentatte topptekster, bunntekster eller menyer fra hver side.
Oversikt over avanserte innstillinger
For å få tilgang til avanserte innstillinger klikker du på Add New Training: Website (Legg til ny trening: Nettsted) i Training-fanen, og utvider deretter delen Advanced settings (Avanserte innstillinger). Innstillingene er delt inn i fire kategorier:
- URL Filtering (URL-filtrering) - Styr hvilke URL-er som skal inkluderes eller ekskluderes
- Query Parameters (URL-parametre) - Håndter parametre i nettadressen
- Content Filtering (Innholdsfiltrering) - Filtrer spesifikke sideelementer
- Scraping Behavior (Skrapeadferd) - Konfigurer hvordan innhold trekkes ut
URL Filtering
Inkluder kun spesifikke URL-er
Felt: Advanced Settings > URL Filtering > Include only URLs that contain
Legg til nøkkelord atskilt med semikolon for kun å inkludere spesifikke URL-er i skanningen.
Eksempel: For å inkludere sider der URL-en inneholder enten /en eller /help:
/en;/help
Disse mønstrene fungerer som alternativer, ikke som et snitt: de betyr ikke bare engelske hjelpesider. Hvis alle de engelske hjelpesidene dine deler /en/help/, bruker du i stedet denne enkle delstrengen. Undersøk den faktiske URL-strukturen før du velger et mønster.
Ekskluder irrelevante URL-er
Felt: Advanced Settings > URL Filtering > Exclude URLs that contain
Legg til nøkkelord atskilt med semikolon for å hoppe over seksjoner som blogger, bilder eller nyheter.
Eksempel:
/news;/pictures;/press
Dette forhindrer skanning av innholdstunge, men chatbot-irrelevante seksjoner som nyheter eller bildegallerier.
Query Parameters
Ignorer alle URL-parametre
Felt: Advanced Settings > Query Parameters > Ignore all query parameters
Merk av i denne boksen for å behandle URL-er med ulike parametre som samme side. Dette kan forhindre duplisert innhold, men kan også slå sammen distinkte produkter eller artikler hvis parameteren identifiserer innholdet. Behold meningsfulle parametre som en produkt-ID.
Ignorer spesifikke URL-parametre
Felt: Advanced Settings > Query Parameters > Ignore specific query parameters
Legg til parameternavn atskilt med semikolon for å ignorere spesifikke sporings- eller filtreringsparametre.
Eksempel:
ref;source;campaign;utm_source
Dette gjør at page.html?ref=email og page.html?ref=social behandles som samme URL.
Innholdsfiltrering (Content Filtering)
Inkluder bestemte elementer
Felt: Avanserte innstillinger (Advanced Settings) > Innholdsfiltrering (Content Filtering) > Inkluder element-ID-er (Include element IDs)
Legg til elementidentifikatorer separert med semikolon for å bare skanne bestemte deler av siden. Bruk #id for element-ID-er, .classname for klasser og hakeparenteser for attributter: [data-id="82874db"] matcher elementer med nøyaktig den attributtverdien, mens [data-content] matcher alle elementer som har attributtet.
Eksempel:
#main-content;.article-body;[data-section="product"]
Dette skanner bare hovedinnholdsområdet, artikkeltekster og produktseksjoner, og ignorerer alt annet.
Følg bare lenker i inkluderte elementer
Felt: Avanserte innstillinger (Advanced Settings) > Innholdsfiltrering (Content Filtering) > Følg bare lenker i inkluderte elementer (Follow only links in included elements)
Denne bryteren vises når du angir element-ID-er som skal inkluderes (Include element IDs). Når den er aktivert, følger crawleren bare lenker som finnes i de inkluderte elementene. Dette er nyttig når du vil begrense gjennomsøkingen til bestemte deler av nettstedet, for eksempel artikkelområder, samtidig som du ignorerer navigasjonsmenyer i topp- eller bunntekst.
Standard: Deaktivert (alle lenker på siden følges)
Ekskluder sideelementer
Felt: Avanserte innstillinger (Advanced Settings) > Innholdsfiltrering (Content Filtering) > Ekskluder element-ID-er (Exclude element IDs)
Unngå skanning av topptekster, bunntekster og andre layoutelementer. Samme selektorsyntaks gjelder: header og footer uten prefiks, #id, .classname eller et attributt i hakeparenteser som [data-id="82874db"] eller [data-nosnippet]. Attributtselektorer er praktiske når elementet du vil utelate mangler en stabil id eller klasse, men har et data-*-attributt du kan kopiere fra nettleserens utviklerverktøy.
Eksempel:
header;footer;#navigation;.sidebar;[data-nosnippet]
Dette fjerner HTML-blokker som gjentas på hver side og som vanligvis ikke inneholder nyttig innhold for chatboten din.
Følg lenker i ekskluderte elementer
Felt: Avanserte innstillinger (Advanced Settings) > Innholdsfiltrering (Content Filtering) > Følg lenker i ekskluderte elementer (Follow links in excluded elements)
Denne bryteren vises når du angir element-ID-er som skal ekskluderes (Exclude element IDs). Når den er aktivert, vil crawleren fortsatt følge lenker som finnes i ekskluderte elementer (som navigasjonsmenyer i topptekster), selv om selve innholdet ekskluderes fra treningen.
Standard: Deaktivert (lenker i ekskluderte elementer følges ikke)
Brukstilfelle: Aktiver dette når du vil ekskludere innhold i topp- eller bunntekst fra treningen, men likevel trenger at crawleren oppdager sider via navigasjonslenkene i disse områdene. Dette gir deg det beste fra to verdener: rene treningsdata uten menystøy, samtidig som hele nettstedet ditt gjennomsøkes.
Viktig: Hvis du bruker full nettstedsskanning og ekskluderer elementer som topptekst uten å aktivere "Følg lenker i ekskluderte elementer" (Follow links in excluded elements), kan det hende at skanneren ikke oppdager dypere lenker (menyer ligger ofte i topptekster). I slike tilfeller bør du enten aktivere bryteren eller bruke et nettstedskart (sitemap) for den tryggeste og mest effektive metoden.
Scraping Behavior
Skrap dokumenter
Felt: Advanced Settings > Scraping Behavior > Scrape documents
Når dette er aktivert, henter og behandler systemet dokumentinnhold som finnes på nettstedet. Støtter for øyeblikket PDF-filer.
Ekskluder bildelenker
Felt: Advanced Settings > Scraping Behavior > Exclude image links
Aktiver denne bryteren for å ekskludere alle bildelenker fra treningsdatasettet. Bilde-URL-er kan telle mot tegnforbruket selv om selve bildefilen ikke trenes som tekst. Fjerning av disse kan også fjerne nyttige bildereferanser for Offer Cards (tilbudskort).
Sammenlign den lagrede forhåndsvisningen for å se hvor mye du sparer, og om nødvendige bildereferanser fremdeles er der.
Skrap skjult innhold
Felt: Advanced Settings > Scraping Behavior > Scrape hidden contents
Når dette er aktivert (standard), henter systemet ut innhold fra skjulte HTML-elementer (elementer som er markert som skjult med støttede innebygde stiler, HTML-attributter eller vanlige skjulte klasser).
Standard: Aktivert
Når du bør deaktivere: Deaktiver dette alternativet for å hoppe over skjult innhold og elementer som gjenkjennes som skjult av disse reglene. Dette er nyttig når nettsteder inneholder skjult innhold som:
- Lukkede trekkspillseksjoner (akkordeoner)
- Innhold kun ment for mobil eller kun for datamaskin
- Skjulte skjemafelt
- Gjentakende layouttekst som er skjult av siden
Deaktivering kan redusere mengden irrelevant tekst, men kan også fjerne nyttige svar fra trekkspillmenyer eller produktdetaljer. Undersøk den uttrekte kilden i stedet for å anta at alle skjulte elementer er uønsket.
Forsinkelse mellom sider
Felt: Advanced Settings > Scraping Behavior > Delay between pages
Legg til en forsinkelse (i sekunder) mellom skanningen av hver side for å forhindre overbelastning av serveren din. Nyttig for nettsteder med hastighetsbegrensninger (rate limiting).
Simuler besøk fra et bestemt land
Felt: Advanced Settings > Scraping Behavior > Country code
Hvis nettstedet ditt viser ulikt innhold avhengig av hvor den besøkende befinner seg, skriver du inn en landskode på 2 bokstaver (f.eks. US, PL, DE) for å simulere skanning fra den plasseringen.
Anbefalt konfigurasjon for de fleste nettsteder
Bruk disse innstillingene som et utgangspunkt og verifiser det uttrekte innholdet før du bruker dem på hele nettstedet:
- Bruk nettstedskart når det er tilgjengelig, for nøyaktig kontroll over URL-er
- Exclude element IDs:
header;footer;#navigation;.sidebar - Aktiver "Exclude image links" for å fjerne bilde-URL-er fra treningen
- Deaktiver "Scrape hidden contents" hvis nettstedet ditt har mange skjulte elementer
- Vurder "Follow links in excluded elements" hvis du bruker full skanning med ekskluderte topptekster
Det finnes ingen fast besparelsesprosent. Test innstillingene på én representativ side først og sammenlign det uttrekte innholdet, antall tegn og chatbotsvarene. Ikke bruk en selektor med mindre den passer til nettstedet ditt.
Sammendrag: Beste praksis
- Bruk nettstedskart i stedet for full skanning for nøyaktig kontroll
- Inkluder URL-er for å målrette kun mot verdifullt innhold
- Ekskluder URL-er for å hoppe over irrelevante eller tunge sider
- Ignorer URL-parametre for å unngå duplisert innhold
- Ekskluder element-ID-er for å fjerne gjentakende sidedeler som topp- og bunntekster
- Styr lenkefølging med "Follow only links in included elements" eller "Follow links in excluded elements" for detaljert kontroll over gjennomsøkingen
- Ekskluder bildelenker for å redusere tegnantallet betraktelig
- Deaktiver skraping av skjult innhold hvis nettstedet ditt har unødvendige skjulte elementer
- Fokuser på nyttig innhold for boten din (FAQ-er, produktsider, brukerstøtteartikler)
Fullfør skanningen og kontroller
Start med Single address (Enkeltadresse) for å teste filtrene på en representativ side. Klikk på Start scanning the website (Start skanning av nettstedet), vent på Training completed (Trening fullført), og bruk View (Vis) for å sjekke at nødvendige fakta og lenker fortsatt er til stede. Behandlingstiden avhenger av siden; større skanninger kan ta lengre tid og fortsetter i bakgrunnen. Deretter bruker du de verifiserte filtrene for en mer omfattende skanning av nettstedet eller nettstedskartet, og tester representative spørsmål i Overview (Oversikt). Hvis en fullstendig gjennomsøking går glipp av sider, sjekker du alternativene for lenkefølging eller bruker et nettstedskart.