Kun koulutat chatbotiasi verkkosivuston avulla, skannattavan tiedon määrän rajaaminen kaikkein hyödyllisimpään sisältöön auttaa vähentämään merkkien kulutusta, nopeuttaa koulutusta ja parantaa vastausten laatua keskittymällä vain olennaiseen sisältöön.
Luo ensin chatbot artikkelin Miten luot ensimmäisen ChatLab-chatbotisi ohjeiden mukaan ja lue opas Uusien verkkosivustolähteiden lisääminen, jotta tunnet koko skannausprosessin. Valitse chatbotisi ennen Training (Koulutus) -osion avaamista. Tässä oppaassa kerrotaan, miten voit optimoida skannauksen käyttämällä Advanced settings (Lisäasetukset) -osiota verkkosivuston koulutusikkunassa (Training > Links > Add New Training: Website).
Miksi vähempi koulutusmateriaali voi olla parempi
ChatLab käyttää RAG-arkkitehtuuria (Retrieval-Augmented Generation). Sen sijaan, että tekoäly opettelisi ulkoa koko verkkosivuston sisällön, se etsii olennaisimmat tiedot aina käyttäjän kysymyksen yhteydessä ja muodostaa vastauksen niiden pohjalta.
Liiallisen datan haasteet
Enemmän dataa ei automaattisesti tarkoita parempia vastauksia. Epäolennaisen tai päällekkäisen sisällön lisääminen voi sekoittaa hakuvaiheen:
- RAG pisteyttää sisältöpalat sen mukaan, kuinka olennaisia ne ovat käyttäjän kysymykseen nähden. Jos sivustollasi on paljon toistuvaa, epämääräistä tai yleisluontoista tekstiä sisältäviä sivuja (valikot, alatunnisteet, lehdistötiedotteet, blogin tagisivut), ne heikentävät hakutulosten laatua.
- Kun chatbot noutaa useita vähäarvoisia tekstipaloja, jotka jakavat samoja avainsanoja mutta eivät tarjoa hyödyllistä kontekstia, se saattaa tuottaa epätarkkoja, liian yleisiä tai aiheen ohi meneviä vastauksia.
- Esimerkki: Jos alatunnisteessasi on jokaisella sivulla linkit "Etusivu", "Ota yhteyttä", "Tietosuoja", "UKK", botti saattaa vastata alatunnisteesta poimitulla yleisellä kappaleella hyödyllisen puhelinnumeron tai sähköpostiosoitteen sijaan, kun käyttäjä kysyy: "Miten voin ottaa teihin yhteyttä?"
Enemmän olennaista, vähemmän hälyä = paremmat vastaukset
Kun skannaat vain hyödyllisen sisällön, autat tekoälyä löytämään selkeän, tarkan ja laadukkaan kontekstin jokaiseen kysymykseen. Keskity näihin:
- Tuotekuvaukset
- UKK-sivut
- Tukiohjeet
- Käyttöehdot ja tietosuojaselosteet
- Tärkeimmät laskeutumissivut
Pyöritätkö verkkokauppaa? Suurin säästö syntyy jättämällä tuotteet pois skannauksesta. Kun tuotteet haetaan AI Search -toiminnolla tai kaupan suoralla haulla, rajaa tuote- ja kategoriasivut pois alla olevilla URL-suodattimilla ja skannaa ainoastaan tietosisältöä tarjoavat sivut. Tuotteet AI Search -haussa eivät kuluta koulutusmerkkejä. Katso Verkkokauppasuunnitelmat ja -rajat.
Käytä sivukarttaa koko verkkosivuston skannauksen sijaan
Suositus: Käytä sitemap (sivukartta) -vaihtoehtoa aina kun mahdollista.
Koko verkkosivuston skannaus seuraa kaikkia sivulla näkyviä linkkejä, mukaan lukien alatunnisteiden, valikoiden ja sivupalkkien linkkejä, mikä johtaa usein toistuvan tai arvottoman sisällön skannaamiseen. Nämä osiot ovat yleensä läsnä jokaisella sivulla, eivätkä ne juuri koskaan sisällä sellaista ainutlaatuista tietoa, josta olisi hyötyä chat-vastauksissa.
Sivukartta (usein osoitteessa https://yourdomain.com/sitemap.xml) antaa verkkoryömijälle listan käsiteltävistä URL-osoitteista. Tarkista, mitä se sisältää: se saattaa silti listata epäolennaisia sivuja. Käytä URL-suodattimia kyseisten sivujen poissulkemiseen ja Content Filtering (Sisällön suodatus) -toimintoa poistaaksesi toistuvat ylätunnisteet, alatunnisteet tai valikot jokaiselta sivulta.
Lisäasetusten yleiskatsaus
Pääset lisäasetuksiin napsauttamalla Add New Training: Website (Lisää uusi koulutus: Verkkosivusto) Training-välilehdellä ja avaamalla sen jälkeen Advanced settings (Lisäasetukset) -osion. Asetukset on jaettu neljään kategoriaan:
- URL Filtering (URL-suodatus) - Määritä mukaan otettavat tai poissuljettavat URL-osoitteet
- Query Parameters (Kyselyparametrit) - Käsittele URL-osoitteiden parametreja
- Content Filtering (Sisällön suodatus) - Suodata tiettyjä sivun elementtejä
- Scraping Behavior (Sisällönkeruun toiminta) - Määritä, miten sisältö erotetaan sivuilta
URL-suodatus
Ota mukaan vain tietyt URL-osoitteet
Kenttä: Advanced Settings > URL Filtering > Include only URLs that contain (Sisällytä vain URL-osoitteet, jotka sisältävät)
Lisää puolipisteellä erotettuja avainsanoja sisällyttääksesi skannaukseen vain tietyt URL-osoitteet.
Esimerkki: Jos haluat mukaan sivut, joiden URL-osoite sisältää joko /en tai /help:
/en;/help
Nämä ehdot ovat vaihtoehtoja, eivät leikkauksia: ne eivät tarkoita vain englanninkielisiä ohjesivuja. Jos kaikki englanninkieliset ohjesivusi jakavat polun /en/help/, käytä mieluummin vain tätä yhtä merkkijonoa. Tarkista todellinen URL-rakenne ennen ehdon valitsemista.
Sulje pois epäolennaiset URL-osoitteet
Kenttä: Advanced Settings > URL Filtering > Exclude URLs that contain (Sulje pois URL-osoitteet, jotka sisältävät)
Lisää puolipisteellä erotettuja avainsanoja ohittaaksesi osioita, kuten blogit, kuvat tai uutiset.
Esimerkki:
/news;/pictures;/press
Tämä estää skannaamasta paljon sisältöä sisältäviä, mutta chatbotin kannalta epäolennaisia osioita, kuten uutisia tai kuvagallerioita.
Kyselyparametrit
Ohita kaikki kyselyparametrit
Kenttä: Advanced Settings > Query Parameters > Ignore all query parameters (Ohita kaikki kyselyparametrit)
Valitse tämä valintaruutu, jotta eri kyselyparametreja sisältäviä URL-osoitteita käsitellään samana sivuna. Tämä voi estää sisällön kahdentumisen, mutta saattaa myös yhdistää toisistaan poikkeavia tuotteita tai artikkeleita, jos kyselyparametri yksilöi sisällön. Säilytä merkitykselliset parametrit, kuten tuotetunnus (product ID).
Ohita tietyt kyselyparametrit
Kenttä: Advanced Settings > Query Parameters > Ignore specific query parameters (Ohita tietyt kyselyparametrit)
Lisää puolipisteellä erotettuja parametrien nimiä ohittaaksesi tietyt seuranta- tai suodatusparametrit.
Esimerkki:
ref;source;campaign;utm_source
Tämä käsittelee osoitteita page.html?ref=email ja page.html?ref=social samana URL-osoitteena.
Sisällön suodatus
Ota mukaan tietyt elementit
Kenttä: Advanced Settings > Content Filtering > Include element IDs (Sisällytä elementtitunnisteet)
Lisää puolipisteellä erotettuja elementtien valitsimia skannataksesi vain tietyt sivun osat. Käytä #id-muotoa elementtitunnisteille, .classname-muotoa luokille ja hakasulkeita attribuuteille: [data-id="82874db"] vastaa elementtejä, joilla on juuri kyseinen attribuutin arvo, ja [data-content] vastaa jokaista elementtiä, jolla attribuutti ylipäätään on.
Esimerkki:
#main-content;.article-body;[data-section="product"]
Tämä skannaa vain pääsisältöalueen, artikkelien tekstiosat ja tuoteosiot jättäen kaiken muun huomiotta.
Seuraa linkkejä vain mukaan otetuissa elementeissä
Kenttä: Advanced Settings > Content Filtering > Follow only links in included elements (Seuraa linkkejä vain mukaan otetuissa elementeissä)
Tämä kytkin tulee näkyviin, kun määrität mukaan otettavat elementtitunnisteet. Kun se on käytössä, ryömijä seuraa vain linkkejä, jotka löytyvät mukaan otettujen elementtien sisältä. Tämä on hyödyllistä silloin, kun haluat rajata sivuston läpikäynnin tiettyihin osioihin, kuten artikkelien sisältöalueisiin, ja jättää ylä- tai alatunnisteiden navigaatiovalikot huomiotta.
Oletus: Pois käytöstä (kaikkia sivun linkkejä seurataan)
Sulje pois sivun elementtejä
Kenttä: Advanced Settings > Content Filtering > Exclude element IDs (Sulje pois elementtitunnisteet)
Estä ylätunnisteiden, alatunnisteiden ja muiden sivupohjan elementtien skannaus. Sama valitsinsyntaksi pätee: header ja footer ilman etuliitettä, #id, .classname tai attribuutti hakasulkeissa, kuten [data-id="82874db"] tai [data-nosnippet]. Attribuuttivalitsimet ovat käteviä silloin, kun poistettavalla elementillä ei ole pysyvää id- tai class-määritettä, mutta siinä on data-*-attribuutti, jonka voit kopioida selaimen kehittäjätyökaluista.
Esimerkki:
header;footer;#navigation;.sidebar;[data-nosnippet]
Tämä poistaa HTML-lohkot, jotka toistuvat jokaisella sivulla ja jotka eivät yleensä sisällä hyödyllistä tietoa chatbotillesi.
Seuraa linkkejä poissuljetuissa elementeissä
Kenttä: Advanced Settings > Content Filtering > Follow links in excluded elements (Seuraa linkkejä poissuljetuissa elementeissä)
Tämä kytkin tulee näkyviin, kun määrität poissuljettavat elementtitunnisteet. Kun se on käytössä, ryömijä seuraa edelleen poissuljettujen elementtien (kuten ylätunnisteen valikoiden) sisältä löytyviä linkkejä, vaikka itse sisältö rajataan pois koulutuksesta.
Oletus: Pois käytöstä (poissuljettujen elementtien linkkejä ei seurata)
Käyttötapaus: Ota tämä käyttöön, kun haluat jättää ylä- ja alatunnisteen sisällön pois koulutuksesta, mutta tarvitset ryömijää löytämään sivut kyseisten osioiden navigaatiolinkkien kautta. Näin saat molempien ratkaisujen parhaat puolet: siistiä koulutusdataa ilman valikkosisältöä ja samalla koko sivustosi kattavan ryömintätuloksen.
Tärkeää: Jos käytät koko verkkosivuston skannausta ja suljet pois elementtejä kuten ylätunnisteen ottamatta käyttöön asetusta "Follow links in excluded elements", skanneri ei välttämättä löydä syvemmällä olevia linkkejä (valikot sijaitsevat usein ylätunnisteissa). Ota tällöin kytkin käyttöön tai käytä sivukarttaa, joka on turvallisin ja tehokkain tapa.
Scraping Behavior (Tiedonkeruun toiminta)
Scrape Documents
Kenttä: Advanced Settings > Scraping Behavior > Scrape documents
Kun tämä on käytössä, järjestelmä poimii ja käsittelee verkkosivustolta löytyvien asiakirjojen sisällön. Tukee tällä hetkellä PDF-tiedostoja.
Exclude Image Links
Kenttä: Advanced Settings > Scraping Behavior > Exclude image links
Ota tämä valinta käyttöön jättääksesi kaikki kuvalinkit pois koulutusaineistosta. Kuvien URL-osoitteet kuluttavat merkkejä, vaikka itse kuvatiedostoa ei kouluteta tekstinä. Niiden poistaminen voi myös poistaa hyödyllisiä kuvalinkkejä ominaisuudesta Offer Cards.
Vertaa tallennettua esikatselua nähdäksesi, kuinka paljon se säästää merkkejä ja säilyvätkö tarvittavat kuvalinkit.
Scrape Hidden Contents
Kenttä: Advanced Settings > Scraping Behavior > Scrape hidden contents
Kun tämä on käytössä (oletus), järjestelmä poimii sisällön piilotetuista HTML-elementeistä (elementit, jotka on merkitty piilotetuiksi tuetuilla inline-tyyleillä, HTML-attribuuteilla tai yleisillä piilotusluokilla).
Oletus: Käytössä
Milloin poistaa käytöstä: Poista tämä valinta käytöstä ohittaaksesi piilotetun sisällön ja näiden sääntöjen mukaan piilotetuiksi tunnistetut elementit. Tämä on hyödyllistä, kun verkkosivustot sisältävät piilotettua sisältöä, kuten:
- Kokoon taitetut haitarivalikot (haitariosiot)
- Vain mobiililaitteille tai vain tietokoneille tarkoitettu sisältö
- Piilotetut lomakekentät
- Sivuston piilottama toistuva asetteluteksti
Tämän poistaminen käytöstä voi vähentää epäolennaista tekstiä, mutta se voi poistaa myös hyödyllisiä haitarivalikoiden vastauksia tai tuotetietoja. Tarkista poimittu lähdemateriaali sen sijaan, että olettaisit jokaisen piilotetun elementin olevan tarpeeton.
Delay Between Pages
Kenttä: Advanced Settings > Scraping Behavior > Delay between pages
Lisää viive (sekunneissa) kunkin sivun skannauksen väliin välttääksesi palvelimesi ylikuormittumisen. Hyödyllinen verkkosivustoille, joilla on pyyntörajoituksia (rate limiting).
Simulate Visit From Specific Country
Kenttä: Advanced Settings > Scraping Behavior > Country code
Jos sivustosi näyttää erilaista sisältöä vierailijan sijainnin mukaan, anna 2-kirjaiminen maakoodi (esim. US, PL, DE) simuloidaksesi skannausta kyseisestä sijainnista.
Suositeltu määritys useimmille verkkosivustoille
Käytä näitä asetuksia lähtökohtana ja tarkista poimittu sisältö ennen niiden käyttämistä koko sivustollasi:
- Käytä sivukarttaa (sitemap), kun sellainen on saatavilla, jotta voit hallita URL-osoitteita tarkasti
- Exclude element IDs:
header;footer;#navigation;.sidebar - Ota käyttöön "Exclude image links" poistaaksesi kuvien URL-osoitteet koulutusdatasta
- Ota "Scrape hidden contents" pois käytöstä, jos sivustollasi on paljon tarpeettomia piilotettuja elementtejä
- Harkitse asetusta "Follow links in excluded elements", jos käytät täyttä skannausta ja olet sulkenut ylätunnisteet pois
Kiinteää säästöprosenttia ei ole. Testaa asetuksia ensin yhdellä edustavalla sivulla ja vertaa poimittua sisältöä, merkkimäärää sekä chatbotin vastauksia. Älä käytä valitsinta, ellei se vastaa sivustosi rakennetta.
Yhteenveto: parhaat käytännöt
- Käytä sivukarttaa koko sivuston skannauksen sijaan tarkkaa hallintaa varten
- Sisällytä URL-osoitteita kohdentaaksesi skannauksen vain arvokkaaseen sisältöön
- Sulje pois URL-osoitteita ohittaaksesi epäolennaiset tai raskaat sivut
- Ohita kyselyparametrit välttääksesi sisällön kahdentumisen
- Sulje pois elementtitunnisteita poistaaksesi toistuvia sivun osia, kuten ylä- ja alatunnisteita
- Hallitse linkkien seuraamista asetuksilla "Follow only links in included elements" tai "Follow links in excluded elements" saadaksesi tarkan ryömintähallinnan
- Sulje pois kuvalinkit vähentääksesi merkkimäärää merkittävästi
- Poista piilotetun sisällön keruu käytöstä, jos sivustollasi on tarpeettomia piilotettuja elementtejä
- Keskity bottisi kannalta hyödylliseen sisältöön (UKK-osiot, tuotesivut, tukiartikkelit)
Viimeistele skannaus ja tarkista tulos
Aloita käyttämällä vaihtoehtoa Single address (Yksittäinen osoite) testataksesi suodattimia edustavalla sivulla. Napsauta Start scanning the website (Aloita verkkosivuston skannaus), odota tilaa Training completed (Koulutus valmis) ja tarkista painikkeella View (Näytä), että tarvittavat tiedot ja linkit ovat tallella. Käsittelyaika riippuu sivusta; laajemmat skannaukset voivat kestää kauemmin ja ne jatkuvat taustalla. Käytä sen jälkeen tarkistettuja suodattimia laajempaan verkkosivuston tai sivukartan skannaukseen ja testaa edustavia kysymyksiä osiossa Overview (Yleiskatsaus). Jos täysi ryömintä jättää sivuja välistä, tarkista linkkien seuraamisen asetukset tai käytä sivukarttaa.