Når du træner din chatbot på en hjemmeside, hjælper det med at reducere tegnforbruget, gøre træningen hurtigere og forbedre svarkvaliteten ved udelukkende at fokusere på relevant indhold, hvis du begrænser mængden af scannede data til det mest nyttige.
Opret først en chatbot (create a chatbot) og læs Tilføjelse af nye hjemmesidekilder for at se hele scanningsforløbet. Vælg din chatbot, før du åbner Training (Træning). Denne vejledning forklarer, hvordan du optimerer din scanning ved hjælp af Advanced settings (Avancerede indstillinger) i modallinjen for hjemmesidetræning (Training > Links > Add New Training: Website).
Hvorfor mindre træning kan være bedre
ChatLab bruger RAG (Retrieval-Augmented Generation)-arkitektur. I stedet for at lære alt indhold på websitet udenad søger AI'en efter de mest relevante oplysninger, hver gang en bruger stiller et spørgsmål, og bruger dem til at generere et svar.
Problemet med for meget data
Mere data betyder ikke altid bedre svar. Hvis du tilføjer irrelevant eller overflødigt indhold, kan det forvirre søgeprocessen:
- RAG vurderer tekststykker ud fra deres relevans for brugerens spørgsmål. Hvis dit website indeholder mange sider med gentagende, vag eller generisk tekst (menuer, sidefødder, pressemeddelelser, tagsider på blogs), udvander de kvaliteten af søgeresultaterne.
- Når chatbotten henter flere stykker indhold af lav værdi, som deler nøgleord, men mangler brugbar kontekst, kan den generere unøjagtige, alt for generelle eller irrelevante svar.
- For eksempel: Hvis din sidefod indeholder links som "Hjem", "Kontakt", "Privatlivspolitik", "FAQ" på hver eneste side, svarer botten måske med et generisk afsnit fra sidefoden i stedet for et brugbart telefonnummer eller en e-mail, når en bruger spørger: "Hvordan kan jeg kontakte jer?"
Højt signal, lav støj = bedre svar
Ved kun at scanne nyttigt indhold hjælper du AI'en med at finde klar, specifik kontekst af høj kvalitet til hvert spørgsmål. Fokuser på:
- Produktbeskrivelser
- FAQ-sider
- Supportartikler
- Retningslinjer og politikker
- Vigtige landingssider
Driver du en webshop? Den største besparelse opnår du ved at udelade produkter fra scanningen. Når produkter hentes via AI Search eller live søgning i butikken, kan du udelukke produkt- og kategorisider med URL-filtrene nedenfor og kun scanne informationssider. Produkter i AI Search bruger ikke træningstegn. Se E-commerce plans and limits (E-commerce-abonnementer og grænser).
Brug sitemap i stedet for scanning af hele websitet
Anbefalet: Brug muligheden sitemap (webstedsindeks), når det er muligt.
En fuld scanning af websitet følger alle synlige links på siden, herunder links fra sidefødder, menuer og sidepaneler, hvilket ofte fører til scanning af gentaget eller irrelevant indhold. Disse sektioner findes typisk på hver eneste side og indeholder sjældent unikke oplysninger, der er nyttige til chatsvar.
Et sitemap (ofte på https://yourdomain.com/sitemap.xml) giver crawleren en liste over kandidat-URL'er. Tjek hvad det indeholder: det kan stadig indeholde irrelevante sider. Brug URL-filtre til at udelukke disse sider og Content Filtering (indholdsfiltrering) til at fjerne gentagne sidehoveder, sidefødder eller menuer fra hver side.
Oversigt over avancerede indstillinger
For at få adgang til avancerede indstillinger skal du klikke på Add New Training: Website (Tilføj ny træning: Hjemmeside) under fanen Training og derefter udvide sektionen Advanced settings (Avancerede indstillinger). Indstillingerne er opdelt i fire kategorier:
- URL Filtering - Styr, hvilke URL'er der skal inkluderes eller udelukkes
- Query Parameters - Håndtér URL-parametre
- Content Filtering - Filtrér specifikke sideelementer fra
- Scraping Behavior - Konfigurér, hvordan indhold udtrækkes
URL-filtrering
Medtag kun specifikke URL'er
Felt: Advanced Settings (Avancerede indstillinger) > URL Filtering (URL-filtrering) > Include only URLs that contain (Medtag kun URL'er, der indeholder)
Tilføj søgeord adskilt af semikolon for kun at medtage specifikke URL'er i scanningen.
Eksempel: For at medtage sider, hvor URL'en indeholder enten /en eller /help:
/en;/help
Disse mønstre er alternativer, ikke et overlap: de betyder ikke kun engelske hjælpesider. Hvis alle dine engelske hjælpesider deler /en/help/, skal du bruge denne enkelte delstreng i stedet. Tjek den faktiske URL-struktur, før du vælger et mønster.
Udeluk irrelevante URL'er
Felt: Advanced Settings (Avancerede indstillinger) > URL Filtering (URL-filtrering) > Exclude URLs that contain (Udeluk URL'er, der indeholder)
Tilføj søgeord adskilt af semikolon for at springe sektioner over som blogs, billeder eller nyheder.
Eksempel:
/news;/pictures;/press
Dette forhindrer scanning af indholdstunge sektioner, der er irrelevante for din chatbot, f.eks. nyheder eller billedgallerier.
Query Parameters
Ignorér alle forespørgselsparametre
Felt: Advanced Settings > Query Parameters > Ignore all query parameters
Markér dette afkrydsningsfelt for at behandle URL'er med forskellige URL-parametre som den samme side. Dette kan forhindre duplikeret indhold, men kan også slå særskilte produkter eller artikler sammen, hvis URL-parameteren identificerer selve indholdet. Bevar betydningsbærende parametre såsom et produkt-ID.
Ignorér specifikke forespørgselsparametre
Felt: Advanced Settings > Query Parameters > Ignore specific query parameters
Tilføj parameternavne adskilt af semikolon for at ignorere specifikke sporings- eller filtreringsparametre.
Eksempel:
ref;source;campaign;utm_source
Dette behandler page.html?ref=email og page.html?ref=social som den samme URL.
Indholdsfiltrering (Content Filtering)
Inkluder specifikke elementer
Felt: Advanced Settings > Content Filtering > Include element IDs (Inkluder element-id'er)
Tilføj semikolonseparerede elementidentifikatorer for kun at scanne specifikke dele af siden. Brug #id til element-id'er, .classname til klasser og kantede parenteser til attributter: [data-id="82874db"] matcher elementer med præcis den attributværdi, [data-content] matcher alle elementer, der overhovedet har attributten.
Eksempel:
#main-content;.article-body;[data-section="product"]
Dette scanner kun hovedindholdsområdet, artiklers brødtekst og produktsektioner, og ignorerer alt andet.
Følg kun links i inkluderede elementer
Felt: Advanced Settings > Content Filtering > Follow only links in included elements (Følg kun links i inkluderede elementer)
Denne indstilling vises, når du angiver Include element IDs. Når den er aktiveret, følger crawleren kun links, der findes inden for de inkluderede elementer. Dette er nyttigt, når du vil begrænse crawling til specifikke sektioner af hjemmesiden, såsom artikelindholdsområder, mens navigationsmenuer i sidehoveder eller sidefødder ignoreres.
Standard: Deaktiveret (alle links på siden følges)
Ekskluder sideelementer
Felt: Advanced Settings > Content Filtering > Exclude element IDs (Ekskluder element-id'er)
Undgå scanning af sidehoveder, sidefødder og andre layoutelementer. Den samme selectorsyntaks gælder: header og footer uden præfiks, #id, .classname eller en attribut i kantede parenteser såsom [data-id="82874db"] eller [data-nosnippet]. Attributselectorer er praktiske, når elementet, du vil fjerne, ikke har et stabilt id eller klasse, men har en data-*-attribut, du kan kopiere fra browserens udviklerværktøjer.
Eksempel:
header;footer;#navigation;.sidebar;[data-nosnippet]
Dette fjerner HTML-blokke, der gentages på hver side og generelt ikke indeholder noget nyttigt indhold til din chatbot.
Følg links i ekskluderede elementer
Felt: Advanced Settings > Content Filtering > Follow links in excluded elements (Følg links i ekskluderede elementer)
Denne indstilling vises, når du angiver Exclude element IDs. Når den er aktiveret, vil crawleren stadig følge links, der findes inden for ekskluderede elementer (som navigationsmenuer i sidehoveder), selvom selve indholdet er ekskluderet fra træningen.
Standard: Deaktiveret (links i ekskluderede elementer følges ikke)
Brugsscenarie: Aktivér dette, når du vil ekskludere indhold fra sidehoved/sidefod fra træningen, men stadig har brug for, at crawleren finder sider via navigationslinks i disse områder. Dette giver dig det bedste fra begge verdener: rene træningsdata uden menurod, mens hele dit websted stadig crawles.
Vigtigt: Hvis du bruger fuld scanning af webstedet og ekskluderer elementer som header uden at aktivere "Follow links in excluded elements", finder scanneren muligvis ikke dybere links (menuer er ofte placeret i sidehoveder). I dette tilfælde skal du enten aktivere indstillingen eller bruge et sitemap som den sikreste og mest effektive metode.
Scraping Behavior
Scrape Documents
Felt: Advanced Settings > Scraping Behavior > Scrape documents
Når funktionen er slået til, udtrækker og behandler systemet dokumentindhold, der findes på hjemmesiden. Understøtter i øjeblikket PDF-filer.
Exclude Image Links
Felt: Advanced Settings > Scraping Behavior > Exclude image links
Slå denne indstilling til for at udelukke alle billedlinks fra træningsdatasættet. Billed-URL'er kan tælle med i tegnantallet, selvom selve billedfilen ikke trænes som tekst. Hvis du fjerner dem, kan det dog også fjerne nyttige billedreferencer til Offer Cards.
Sammenlign den gemte forhåndsvisning for at se, hvor meget du sparer, og om de nødvendige billedreferencer stadig er der.
Scrape Hidden Contents
Felt: Advanced Settings > Scraping Behavior > Scrape hidden contents
Når funktionen er slået til (standard), udtrækker systemet indhold fra skjulte HTML-elementer (elementer, der er markeret som skjulte via understøttede inline-styles, HTML-attributter eller almindelige skjulte klasser).
Standard: Slået til
Hvornår den bør slås fra: Slå denne funktion fra for at springe skjult indhold over og udelukke elementer, der genkendes som skjulte ud fra disse regler. Dette er nyttigt, når hjemmesider indeholder skjult indhold som:
- Sammenklappede accordion-sektioner
- Indhold kun til mobil eller kun til desktop
- Skjulte formularfelter
- Gentaget layouttekst, der er skjult af siden
Hvis du slår dette fra, kan du reducere irrelevant tekst, men det kan også fjerne nyttige svar i foldemenuer eller produktdetaljer. Undersøg den udtrukne kilde frem for at antage, at alle skjulte elementer er uønskede.
Delay Between Pages
Felt: Advanced Settings > Scraping Behavior > Delay between pages
Tilføj en forsinkelse (i sekunder) mellem scanningen af hver side for at undgå at overbelaste din server. Nyttigt til hjemmesider med hastighedsbegrænsning (rate limiting).
Simulate Visit From Specific Country
Felt: Advanced Settings > Scraping Behavior > Country code
Hvis din hjemmeside viser forskelligt indhold afhængigt af den besøgendes placering, kan du indtaste en landekode på 2 bogstaver (f.eks. US, PL, DE) for at simulere scanning fra den pågældende placering.
Anbefalet konfiguration for de fleste hjemmesider
Brug disse indstillinger som udgangspunkt, og kontrollér det udtrukne indhold, før du anvender dem på hele din hjemmeside:
- Brug sitemap, når det er tilgængeligt, for præcis styring af URL'er
- Udeluk element-ID'er:
header;footer;#navigation;.sidebar - Aktivér "Exclude image links" for at fjerne billed-URL'er fra træningen
- Deaktivér "Scrape hidden contents", hvis dit websted har mange skjulte elementer
- Overvej "Follow links in excluded elements", hvis du bruger fuld scanning med udelukkede sidehoveder
Der findes ingen fast besparelsesprocent. Test først indstillingerne på en enkelt repræsentativ side, og sammenlign det udtrukne indhold, tegnantallet og chatbot-svarene. Brug ikke en selektor, medmindre den matcher dit websted.
Oversigt: Bedste praksis
- Brug sitemap i stedet for fuld scanning for at få præcis kontrol
- Inkludér URL'er for udelukkende at målrette mod værdifuldt indhold
- Udeluk URL'er for at springe irrelevante eller tunge sider over
- Ignorér forespørgselsparametre for at undgå duplikeret indhold
- Udeluk element-ID'er for at fjerne gentagne sidedele såsom sidehoveder og sidefødder
- Styr linkfølgning med "Follow only links in included elements" eller "Follow links in excluded elements" for finkornet kontrol over crawling
- Udeluk billedlinks for at reducere tegnantallet markant
- Deaktivér udtræk af skjult indhold, hvis dit websted har unødvendige skjulte elementer
- Fokusér på nyttigt indhold til din bot (FAQ'er, produktsider, supportartikler)
Afslut scanningen og kontrollér resultatet
Begynd med Single address (Enkeltadresse) for at afprøve filtrene på en repræsentativ side. Klik på Start scanning the website (Start scanning af hjemmesiden), vent på Training completed (Træning fuldført), og brug View (Vis) for at kontrollere, at de påkrævede fakta og links er bevaret. Behandlingstiden afhænger af siden; større scanninger kan tage længere tid og fortsætter i baggrunden. Brug derefter de kontrollerede filtre til din bredere scanning af hjemmesiden eller dit sitemap, og test repræsentative spørgsmål i Overview (Oversigt). Hvis en fuld crawling overser sider, skal du kontrollere indstillingerne for linkfølgning eller bruge et sitemap.