När du tränar din chattbot på en webbplats hjälper en begränsning av den skannade datamängden till det mest användbara till att minska teckenanvändningen, snabba upp träningen och förbättra svarskvaliteten genom att bara fokusera på relevant innehåll.
Börja med att skapa en chattbot och läs Lägga till nya webbplatskällor för hela skanningsflödet. Välj din chattbot innan du öppnar Training (Träning). Den här guiden förklarar hur du optimerar skanningen med hjälp av Advanced settings (Avancerade inställningar) i modalfönstret för webbplatsträning (Training > Links > Add New Training: Website).
Varför mindre träningsdata kan vara bättre
ChatLab använder RAG-arkitektur (Retrieval-Augmented Generation). I stället för att memorera allt innehåll på webbplatsen söker AI:n fram de mest relevanta delarna av informationen när användaren ställer en fråga, och använder dem för att skapa ett svar.
Problemet med för mycket data
Mer data innebär inte alltid bättre svar. Att lägga till irrelevant eller överflödigt innehåll kan förvirra sökprocessen:
- RAG poängsätter textblock efter hur relevanta de är för användarens fråga. Om din webbplats innehåller många sidor med upprepande, vag eller generell text (menyer, sidfötter, pressmeddelanden, taggsidor på bloggen) försämrar det sökresultatens kvalitet.
- När chattbotten hämtar flera textblock av lågt värde som delar nyckelord men saknar användbar kontext, kan den generera felaktiga, alltför generella eller irrelevanta svar.
- Ett exempel: Om din sidfot innehåller länkar som "Hem", "Kontakt", "Integritetspolicy", "FAQ" på varje sida kan botten svara med ett generellt stycke från sidfoten i stället för ett hjälpsamt telefonnummer eller en e-postadress när en användare frågar "Hur kan jag kontakta er?"
Hög signal, lågt brus = bättre svar
Genom att bara skanna användbart innehåll hjälper du AI:n att hitta tydlig, specifik och högkvalitativ kontext för varje fråga. Fokusera på:
- Produktbeskrivningar
- FAQ-sidor
- Supportartiklar
- Policydokument
- Viktiga landningssidor
Driver du en webbutik? Den största besparingen gör du genom att hålla produkter utanför genomsökningen. När produkter hämtas via AI Search eller butikens live-sökning kan du utesluta produkt- och kategorisidor med URL-filtren nedan och bara skanna informationssidor. Produkter i AI Search förbrukar inga träningstecken. Se E-commerce-planer och gränser.
Använd webbplatskarta istället för fullständig webbplatsskanning
Rekommenderas: Använd alternativet webbplatskarta (sitemap) så ofta som möjligt.
En fullständig webbplatsskanning följer alla synliga länkar på sidan, inklusive länkar i sidfötter, menyer och sidofält, vilket ofta leder till att repetitivt eller irrelevant innehåll skannas. Dessa sektioner finns vanligtvis på varje sida och innehåller sällan unik information som är användbar för chattsvar.
En webbplatskarta (ofta på https://yourdomain.com/sitemap.xml) ger webbroboten en lista över potentiella URL:er. Kontrollera vad den innehåller: den kan fortfarande lista irrelevanta sidor. Använd URL-filter för att exkludera dessa sidor och innehållsfiltrering (Content Filtering) för att ta bort upprepade sidhuvuden, sidfötter eller menyer från varje sida.
Översikt över avancerade inställningar
För att komma åt avancerade inställningar klickar du på Add New Training: Website (Lägg till ny träning: Webbplats) under fliken Training och expanderar sedan sektionen Advanced settings. Inställningarna är organiserade i fyra kategorier:
- URL Filtering (URL-filtrering) - Styr vilka URL:er som ska inkluderas eller exkluderas
- Query Parameters (Frågeparametrar) - Hantera URL-parametrar
- Content Filtering (Innehållsfiltrering) - Filtrera specifika sidelement
- Scraping Behavior (Skrapningsbeteende) - Konfigurera hur innehåll extraheras
URL-filtrering
Inkludera endast specifika URL:er
Fält: Advanced Settings > URL Filtering > Include only URLs that contain (Inkludera endast URL:er som innehåller)
Lägg till semikolonavgränsade nyckelord för att endast inkludera specifika URL:er i skanningen.
Exempel: För att inkludera sidor vars URL innehåller antingen /en eller /help:
/en;/help
Dessa mönster är alternativ, inte ett snitt: de betyder inte enbart engelska hjälpsidor. Om alla dina engelska hjälpsidor delar /en/help/, använd den enskilda delsträngen i stället. Kontrollera den faktiska URL-strukturen innan du väljer ett mönster.
Exkludera irrelevanta URL:er
Fält: Advanced Settings > URL Filtering > Exclude URLs that contain (Exkludera URL:er som innehåller)
Lägg till semikolonavgränsade nyckelord för att hoppa över sektioner som bloggar, bilder eller nyheter.
Exempel:
/news;/pictures;/press
Detta förhindrar skanning av innehållstunga men för chattbotten irrelevanta sektioner som nyheter eller bildgallerier.
Frågeparametrar
Ignorera alla frågeparametrar
Fält: Advanced Settings > Query Parameters > Ignore all query parameters (Ignorera alla frågeparametrar)
Markera den här kryssrutan för att behandla URL:er med olika frågeparametrar som samma sida. Detta kan förhindra duplicerat innehåll, men kan också slå ihop distinkta produkter eller artiklar om frågeparametern identifierar innehållet. Behåll betydelsefulla parametrar som exempelvis ett produkt-ID.
Ignorera specifika frågeparametrar
Fält: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignorera specifika frågeparametrar)
Lägg till semikolonavgränsade parameternamn för att ignorera specifika spårnings- eller filtreringsparametrar.
Exempel:
ref;source;campaign;utm_source
Detta behandlar page.html?ref=email och page.html?ref=social som samma URL.
Innehållsfiltrering
Inkludera specifika element
Fält: Advanced Settings > Content Filtering > Include element IDs (Inkludera element-ID:n)
Lägg till semikolonavgränsade elementidentifierare för att endast skanna specifika delar av sidan. Använd #id för element-ID:n, .classname för klasser och hakparenteser för attribut: [data-id="82874db"] matchar element med exakt det attributvärdet, [data-content] matchar alla element som har attributet över huvud taget.
Exempel:
#main-content;.article-body;[data-section="product"]
Detta skannar endast huvudinnehållsområdet, artikeltexter och produktsektioner, och ignorerar allt annat.
Följ endast länkar i inkluderade element
Fält: Advanced Settings > Content Filtering > Follow only links in included elements (Följ endast länkar i inkluderade element)
Detta reglage visas när du anger Include element IDs. När det är aktiverat följer sökspindeln endast länkar som hittas inom de inkluderade elementen. Detta är användbart när du vill begränsa genomsökningen till specifika delar av webbplatsen, som artikelinnehåll, och samtidigt ignorera navigeringsmenyer i sidhuvuden eller sidfötter.
Standard: Inaktiverad (alla länkar på sidan följs)
Exkludera sidelement
Fält: Advanced Settings > Content Filtering > Exclude element IDs (Exkludera element-ID:n)
Förhindra skanning av sidhuvuden, sidfötter och andra layout-element. Samma väljarsyntax gäller: header och footer utan prefix, #id, .classname, eller ett attribut inom hakparenteser såsom [data-id="82874db"] eller [data-nosnippet]. Attributväljare är praktiska när elementet du vill ta bort saknar ett stabilt id eller en klass, men har ett data-*-attribut som du kan kopiera från webbläsarens utvecklarverktyg.
Exempel:
header;footer;#navigation;.sidebar;[data-nosnippet]
Detta tar bort HTML-block som upprepas på varje sida och i allmänhet inte innehåller något användbart innehåll för din chattbot.
Följ länkar i exkluderade element
Fält: Advanced Settings > Content Filtering > Follow links in excluded elements (Följ länkar i exkluderade element)
Detta reglage visas när du anger Exclude element IDs. När det är aktiverat följer sökspindeln fortfarande länkar som hittas inom exkluderade element (som navigeringsmenyer i sidhuvuden), även om själva innehållet exkluderas från träningen.
Standard: Inaktiverad (länkar i exkluderade element följs inte)
Användningsområde: Aktivera detta när du vill exkludera innehåll i sidhuvud/sidfot från träningen men ändå behöver sökspindeln för att hitta sidor via navigeringslänkar i dessa områden. Detta ger dig det bästa av två världar: ren träningsdata utan menystörningar, samtidigt som hela din webbplats genomsöks.
Viktigt: Om du använder fullständig webbplatsskanning och exkluderar element som sidhuvud utan att aktivera "Follow links in excluded elements", kan det hända att skannern inte hittar djupare länkar (menyer ligger ofta i sidhuvuden). I så fall bör du antingen aktivera reglaget eller använda en webbplatskarta, vilket är den säkraste och mest effektiva metoden.
Skrapningsbeteende (Scraping Behavior)
Skrapa dokument (Scrape Documents)
Fält: Avancerade inställningar (Advanced Settings) > Skrapningsbeteende (Scraping Behavior) > Scrape documents
När detta är aktiverat extraherar och bearbetar systemet dokumentinnehåll som hittas på webbplatsen. För närvarande stöds PDF-filer.
Exkludera bildlänkar (Exclude Image Links)
Fält: Avancerade inställningar (Advanced Settings) > Skrapningsbeteende (Scraping Behavior) > Exclude image links
Aktivera det här reglaget för att exkludera alla bildlänkar från träningsdatauppsättningen. Bildadresser kan bidra till antalet tecken även om själva bildfilen inte tränas som text. Att ta bort dem kan även ta bort användbara bildreferenser för Offer Cards.
Jämför den sparade förhandsgranskningen för att se hur mycket det sparar och om nödvändiga bildreferenser finns kvar.
Skrapa dolt innehåll (Scrape Hidden Contents)
Fält: Avancerade inställningar (Advanced Settings) > Skrapningsbeteende (Scraping Behavior) > Scrape hidden contents
När detta är aktiverat (standard) extraherar systemet innehåll från dolda HTML-element (element som markerats som dolda via infogade formatmallar, HTML-attribut eller vanliga dolda klasser som stöds).
Standard: Aktiverat
När det ska inaktiveras: Inaktivera det här alternativet för att hoppa över dolt innehåll och element som identifieras som dolda enligt dessa regler. Detta är användbart när webbplatser innehåller dolt innehåll såsom:
- Dolda dragspelssektioner (accordions)
- Innehåll som endast visas för mobil eller dator
- Dolda formulärfält
- Upprepad layouttext som döljs av sidan
Att inaktivera detta kan minska irrelevant text, men kan också ta bort användbara dragspelssvar eller produktuppgifter. Kontrollera den extraherade källan i stället för att anta att alla dolda element är oönskade.
Fördröjning mellan sidor (Delay Between Pages)
Fält: Avancerade inställningar (Advanced Settings) > Skrapningsbeteende (Scraping Behavior) > Delay between pages
Lägg till en fördröjning (i sekunder) mellan skanningen av varje sida för att undvika överbelastning av servern. Användbart för webbplatser med hastighetsbegränsning (rate limiting).
Simulera besök från specifikt land (Simulate Visit From Specific Country)
Fält: Avancerade inställningar (Advanced Settings) > Skrapningsbeteende (Scraping Behavior) > Country code
Om din webbplats visar olika innehåll beroende på besökarens plats anger du en landskod på 2 bokstäver (t.ex. US, PL, DE) för att simulera en skanning från den platsen.
Rekommenderad konfiguration för de flesta webbplatser
Använd dessa inställningar som en utgångspunkt och verifiera det extraherade innehållet innan du tillämpar dem på hela din webbplats:
- Använd sitemap när det finns tillgängligt för exakt URL-kontroll
- Exkludera element-ID:n:
header;footer;#navigation;.sidebar - Aktivera "Exclude image links" för att ta bort bild-URL:er från träningen
- Inaktivera "Scrape hidden contents" om din webbplats har många dolda element
- Överväg "Follow links in excluded elements" om du använder fullständig skanning med exkluderade sidhuvuden
Det finns ingen fast besparingsprocent. Testa inställningarna på en representativ sida först och jämför det extraherade innehållet, teckenantalet och chattbottens svar. Använd inte en väljare om den inte matchar din webbplats.
Sammanfattning: Bästa praxis
- Använd webbplatskarta i stället för fullständig skanning för exakt kontroll
- Inkludera URL:er för att rikta in dig på enbart värdefullt innehåll
- Exkludera URL:er för att hoppa över irrelevanta eller tunga sidor
- Ignorera frågeparametrar för att undvika duplicerat innehåll
- Exkludera element-ID:n för att ta bort upprepade sidkomponenter som sidhuvuden och sidfötter
- Styr länkföljning med "Follow only links in included elements" eller "Follow links in excluded elements" för detaljerad kontroll över genomsökningen
- Exkludera bildlänkar för att minska teckenantalet avsevärt
- Inaktivera skrapning av dolt innehåll om din webbplats har onödiga dolda element
- Fokusera på användbart innehåll för din bot (FAQ-sidor, produktsidor, supportartiklar)
Slutför skanningen och verifiera
Börja med Single address (Enskild adress) för att testa filtren på en representativ sida. Klicka på Start scanning the website (Starta genomsökning av webbplatsen), vänta på Training completed (Träning slutförd) och använd View (Visa) för att kontrollera att nödvändiga fakta och länkar finns kvar. Bearbetningstiden beror på sidan; större skanningar kan ta längre tid och fortsätter i bakgrunden. Använd sedan de verifierade filtren för en mer omfattande webbplats- eller webbplatskarteskanning, och testa representativa frågor i Overview (Översikt). Om en fullständig genomsökning missar sidor, kontrollera alternativen för länkföljning eller använd en webbplatskarta.