Kui treenite oma chatbotit veebisaidi põhjal, aitab skannitavate andmete piiramine kõige kasulikumaga vähendada tähemärkide kasutust, kiirendab treenimist ja parandab vastuste kvaliteeti, keskendudes ainult asjakohasele sisule.
Kõigepealt looge chatbot ja lugege artiklit Uute veebisaidi allikate lisamine, et näha kogu skannimisprotsessi. Valige oma chatbot enne vahekaardi Training (Treenimine) avamist. See juhend selgitab, kuidas optimeerida skannimist veebisaidi treenimise modaalaknas leiduvate täpsemate seadete (Advanced settings) abil (Training > Links > Add New Training: Website).
Miks vähem treenimist võib olla parem
ChatLab kasutab RAG (Retrieval-Augmented Generation) arhitektuuri. Selle asemel et kogu veebisaidi sisu pähe õppida, otsib tehisintellekt iga kasutaja küsimuse esitamise ajal kõige asjakohasemaid infoosi ning kasutab neid vastuse genereerimiseks.
Liiga suure andmemahu probleem
Rohkem andmeid ei tähenda alati paremaid vastuseid. Ebaolulise või liigse sisu lisamine võib otsinguprotsessi segadusse ajada:
- RAG hindab sisutükkide asjakohasust kasutaja küsimuse suhtes. Kui teie sait sisaldab palju lehti korduva, ebamäärase või üldise tekstiga (menüüd, jalused, pressiteated, blogi sildilehed), lahjendavad need otsingutulemuste kvaliteeti.
- Kui chatbot toob välja mitu väheväärtuslikku tükki, mis jagavad samu märksõnu, kuid millel puudub kasulik kontekst, võib see genereerida ebatäpseid, liiga üldiseid või teemaväliseid vastuseid.
- Näiteks: kui teie jalus sisaldab igal lehel linke nagu "Avaleht", "Kontakt", "Privaatsus", "KKK", võib bot vastata jalusest pärit üldise lõiguga, mitte kasuliku telefoninumbri või e-posti aadressiga, kui kasutaja küsib: "Kuidas ma saan teiega ühendust võtta?"
Tugev signaal, vähe müra = paremad vastused
Skannides ainult kasulikku sisu, aitate tehisintellektil leida iga küsimuse jaoks selge, konkreetse ja kvaliteetse konteksti. Keskenduge järgmisele:
- Tootekirjeldused
- KKK-lehed
- Tugiteenuse artiklid
- Tingimuste ja eeskirjade dokumendid
- Peamised maandumislehed
Peate veebipoodi? Suurim kokkuhoid tuleneb sellest, kui jätate tooted skannimisest välja. Kui tooted pärinevad funktsioonist AI Search või poe reaalajas otsingust, välistage toote- ja kategoorialehed allolevate URL-filtrite abil ning skannige ainult infolehti. Tooted funktsioonis AI Search ei kasuta treeningumärke. Vaadake E-commerce plans and limits.
Kasutage saidikaarti kogu veebisaidi skannimise asemel
Soovitatav: kasutage võimaluse korral valikut sitemap (saidikaart).
Kogu veebisaidi skannimine järgib kõiki lehel nähtavaid linke, sealhulgas linke jalustes, menüüdes ja külgribadel, mis viib sageli korduva või väheväärtusliku sisu skannimiseni. Need jaotised asuvad tavaliselt igal lehel ja sisaldavad harva unikaalset teavet, mis oleks kasulik vestluse vastuste jaoks.
Saidikaart (sageli aadressil https://yourdomain.com/sitemap.xml) annab veebirobotile kandidaat-URL-ide nimekirja. Kontrollige, mida see sisaldab: seal võib siiski olla ebaolulisi lehti. Kasutage URL-ide filtreid nende lehtede välistamiseks ja funktsiooni Content Filtering (Sisu filtreerimine), et eemaldada igalt lehelt korduvad päised, jalused või menüüd.
Täpsemate seadete ülevaade
Täpsematele seadetele juurdepääsemiseks klõpsake vahekaardil Training nupul Add New Training: Website (Lisa uus treening: veebisait) ja seejärel avage jaotis Advanced settings (Täpsemad seaded). Seaded on jagatud nelja kategooriasse:
- URL Filtering (URL-ide filtreerimine) - määrake, milliseid URL-e kaasata või välistada
- Query Parameters (Päringuparameetrid) - hallake URL-i parameetreid
- Content Filtering (Sisu filtreerimine) - filtreerige välja konkreetsed lehe elemendid
- Scraping Behavior (Kraapimiskäitumine) - konfigureerige, kuidas sisu eraldatakse
URL Filtering
Kaasa ainult konkreetsed URL-id
Väli: Advanced Settings > URL Filtering > Include only URLs that contain (Kaasa ainult URL-id, mis sisaldavad)
Lisage semikooloniga eraldatud märksõnad, et kaasata skannimisse ainult konkreetsed URL-id.
Näide: lehtede kaasamiseks, mille URL sisaldab kas /en või /help:
/en;/help
Need mustrid on alternatiivid, mitte ühisosa: need ei tähenda ainult ingliskeelseid abilehti. Kui kõik teie ingliskeelsed abilehed jagavad osa /en/help/, kasutage selle asemel seda ühte alamstringi. Enne mustri valimist kontrollige tegelikku URL-i struktuuri.
Välista ebaolulised URL-id
Väli: Advanced Settings > URL Filtering > Exclude URLs that contain (Välista URL-id, mis sisaldavad)
Lisage semikooloniga eraldatud märksõnad, et jätta vahele jaotised nagu blogid, pildid või uudised.
Näide:
/news;/pictures;/press
See väldib mahukate, kuid chatboti jaoks ebaoluliste jaotiste (nagu uudised või pildigaleriid) skannimist.
Query Parameters
Ignoreeri kõiki päringuparameetreid
Väli: Advanced Settings > Query Parameters > Ignore all query parameters (Ignoreeri kõiki päringuparameetreid)
Märkige see ruut, et käsitleda erinevate päringuparameetritega URL-e sama lehena. See võib vältida duplikaatsisu, kuid võib ka koondada ühte eri tooted või artiklid, kui päringuparameeter tuvastab konkreetse sisu. Jätke alles olulised parameetrid, näiteks toote ID.
Ignoreeri konkreetseid päringuparameetreid
Väli: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignoreeri konkreetseid päringuparameetreid)
Lisage semikooloniga eraldatud parameetrinimed, et ignoreerida konkreetseid jälgimis- või filtreerimisparameetreid.
Näide:
ref;source;campaign;utm_source
See käsitleb aadresse page.html?ref=email ja page.html?ref=social sama URL-ina.
Content Filtering
Kaasa konkreetsed elemendid
Väli: Advanced Settings > Content Filtering > Include element IDs (Kaasa elementide ID-d)
Lisage semikooloniga eraldatud elementide identifikaatorid, et skannida ainult lehe konkreetseid osi. Kasutage elementide ID-de jaoks #id, klasside jaoks .classname ja atribuutide jaoks nurksulge: [data-id="82874db"] vastab täpselt selle atribuudiväärtusega elementidele, [data-content] vastab igale elemendile, millel see atribuut üldse olemas on.
Näide:
#main-content;.article-body;[data-section="product"]
See skannib ainult peamist sisuala, artiklite tekste ja tootejaotisi, ignoreerides kõike muud.
Järgi linke ainult kaasatud elementides
Väli: Advanced Settings > Content Filtering > Follow only links in included elements (Järgi linke ainult kaasatud elementides)
See lüliti ilmub siis, kui määrate välja Include element IDs. Kui see on sisse lülitatud, järgib veebirobot ainult kaasatud elementide seest leitud linke. See on kasulik, kui soovite piirata roomamist veebisaidi teatud jaotistega, näiteks artikli sisualadega, ignoreerides samal ajal päistes või jalustes olevaid navigeerimismenüüsid.
Vaikimisi: Keelatud (kõiki lehel olevaid linke järgitakse)
Välista lehe elemendid
Väli: Advanced Settings > Content Filtering > Exclude element IDs (Välista elementide ID-d)
Vältige päiste, jaluste ja muude kujunduselementide skannimist. Kehtib sama selektorite süntaks: eesliiteta header ja footer, #id, .classname või nurksulgudes atribuut, näiteks [data-id="82874db"] või [data-nosnippet]. Atribuudiselektorid on mugavad siis, kui eemaldataval elemendil pole kindlat ID-d ega klassi, kuid sellel on atribuut data-*, mille saate kopeerida brauseri arendajatööriistadest.
Näide:
header;footer;#navigation;.sidebar;[data-nosnippet]
See eemaldab HTML-plokid, mis korduvad igal lehel ja ei sisalda tavaliselt teie chatboti jaoks kasulikku sisu.
Järgi linke välistatud elementides
Väli: Advanced Settings > Content Filtering > Follow links in excluded elements (Järgi linke välistatud elementides)
See lüliti ilmub siis, kui määrate välja Exclude element IDs. Kui see on sisse lülitatud, järgib veebirobot välistatud elementidest (näiteks päise navigeerimismenüüdest) leitud linke ka siis, kui sisu ennast treenimisest välja jäetakse.
Vaikimisi: Keelatud (välistatud elementides olevaid linke ei järgita)
Kasutusjuht: lülitage see sisse, kui soovite päise/jaluse sisu treenimisest välja jätta, kuid soovite siiski, et veebirobot avastaks lehti nendes piirkondades olevate navigeerimislinkide kaudu. See annab mõlemast parima: puhtad treeningandmed ilma menüümürata, samal ajal kui kogu teie sait skannitakse läbi.
Tähtis: kui kasutate kogu veebisaidi skannimist ja välistate sellised elemendid nagu päis ilma lülitit "Follow links in excluded elements" lubamata, ei pruugi skanner sügavamaid linke avastada (menüüd asuvad sageli päiste sees). Sellisel juhul lülitage lüliti sisse või kasutage saidikaarti, mis on kõige turvalisem ja tõhusam meetod.
Scraping Behavior
Kraabi dokumente
Väli: Advanced Settings > Scraping Behavior > Scrape documents (Kraabi dokumente)
Kui see on sisse lülitatud, eraldab ja töötleb süsteem veebisaidilt leitud dokumentide sisu. Praegu toetatakse PDF-faile.
Välista pildilingid
Väli: Advanced Settings > Scraping Behavior > Exclude image links (Välista pildilingid)
Lülitage see sisse, et välistada treeningandmestikust kõik pildilingid. Piltide URL-id võivad võtta tähemärke, kuigi pildifaili ennast tekstina ei treenita. Nende eemaldamine võib aga kaotada ka kasulikud pildiviited funktsiooni Offer Cards (Pakkumiskaardid) jaoks.
Võrrelge salvestatud eelvaadet, et näha, kui palju see ruumi säästab ja kas vajalikud pildiviited jäävad alles.
Kraabi peidetud sisu
Väli: Advanced Settings > Scraping Behavior > Scrape hidden contents (Kraabi peidetud sisu)
Kui see on sisse lülitatud (vaikimisi), eraldab süsteem sisu peidetud HTML-elementidest (elemendid, mis on märgitud peidetuks toetatud reasiseste stiilide, HTML-atribuutide või levinud peidetud klasside abil).
Vaikimisi: Lubatud
Millal välja lülitada: lülitage see valik välja, et jätta vahele peidetud sisu ja elemendid, mida need reeglid peidetuks peavad. See on kasulik, kui veebisaidid sisaldavad peidetud sisu, näiteks:
- Kokkuvolditud akordionjaotised
- Ainult mobiilseadmetele või ainult lauaarvutitele mõeldud sisu
- Peidetud vormiväljad
- Lehe poolt peidetud korduv kujundustekst
Selle keelamine võib vähendada asjakohatut teksti, kuid võib eemaldada ka kasulikke akordionivastuseid või tooteüksikasju. Uurige eraldatud allikat, selle asemel et eeldada, et iga peidetud element on soovimatu.
Viivitus lehtede vahel
Väli: Advanced Settings > Scraping Behavior > Delay between pages (Viivitus lehtede vahel)
Lisage viivitus (sekundites) iga lehe skannimise vahele, et vältida serveri ülekoormamist. Kasulik veebisaitide puhul, millel on päringupiirangud (rate limiting).
Simuleeri külastust konkreetsest riigist
Väli: Advanced Settings > Scraping Behavior > Country code (Riigikood)
Kui teie sait kuvab külastaja asukohast sõltuvalt erinevat sisu, sisestage 2-täheline riigikood (nt US, PL, DE), et simuleerida skannimist sellest asukohast.
Soovitatav konfiguratsioon enamiku veebisaitide jaoks
Kasutage neid seadeid lähtepunktina ja kontrollige eraldatud sisu enne nende rakendamist kogu veebisaidil:
- Kasutage saidikaarti, kui see on saadaval, et URL-e täpselt hallata
- Välistage elementide ID-d:
header;footer;#navigation;.sidebar - Lülitage sisse "Exclude image links", et eemaldada piltide URL-id treenimisest
- Lülitage välja "Scrape hidden contents", kui teie saidil on palju peidetud elemente
- Kaaluge valikut "Follow links in excluded elements", kui kasutate täielikku skannimist koos välistatud päistega
Kindlat säästuprotsenti pole olemas. Testige seadeid esmalt ühel esinduslikul lehel ja võrrelge eraldatud sisu, tähemärkide arvu ning chatboti vastuseid. Ärge kasutage selektorit, kui see ei vasta teie veebisaidile.
Kokkuvõte: parimad tavad
- Kasutage saidikaarti täieliku skannimise asemel, et tagada täpne kontroll
- Kaasake URL-id, et sihtida ainult väärtuslikku sisu
- Välistage URL-id, et jätta vahele ebaolulised või mahukad lehed
- Ignoreerige päringuparameetreid, et vältida duplikaatsisu
- Välistage elementide ID-d, et eemaldada korduvad leheosad, nagu päised ja jalused
- Hallake linkide järgimist seadete "Follow only links in included elements" või "Follow links in excluded elements" abil, et kontrollida roomamist üksikasjalikult
- Välistage pildilingid, et tähemärkide arvu märgatavalt vähendada
- Keelake peidetud sisu kraapimine, kui teie saidil on tarbetuid peidetud elemente
- Keskenduge oma boti jaoks kasulikule sisule (KKK-d, tootelehed, tugiartiklid)
Lõpetage skannimine ja kontrollige tulemust
Alustage valikuga Single address (Üks aadress), et testida filtreid ühel esinduslikul lehel. Klõpsake nupul Start scanning the website (Alusta veebisaidi skannimist), oodake olekut Training completed (Treenimine lõpetatud) ja kasutage nuppu View (Kuva), et veenduda vajalike faktide ja linkide allesjäämises. Töötlemisaeg sõltub lehest; suuremate skannimiste puhul võib kuluda rohkem aega ning need jätkuvad taustal. Seejärel kasutage kontrollitud filtreid oma laiema veebisaidi või saidikaardi skannimiseks ja testige esinduslikke küsimusi vaates Overview (Ülevaade). Kui täielik roomamine jätab lehti vahele, kontrollige linkide järgimise valikuid või kasutage saidikaarti.