Apmokant savo pokalbių robotą svetainės duomenimis, nuskaitomos informacijos ribojimas iki naudingiausios padeda sumažinti simbolių sunaudojimą, pagreitina apmokymą ir pagerina atsakymų kokybę, nes dėmesys sutelkiamas tik į aktualų turinį.
Pirmiausia sukurkite pokalbių robotą ir perskaitykite Naujų svetainės šaltinių pridėjimas, kad susipažintumėte su visu nuskaitymo procesu. Pasirinkite savo pokalbių robotą prieš atidarydami skiltį Training (Apmokymas). Šiame vadove paaiškinama, kaip optimizuoti nuskaitymą naudojant Advanced settings (Išplėstiniai nustatymai) svetainės apmokymo lange (Training > Links > Add New Training: Website).
Kodėl mažiau apmokymo duomenų gali būti geriau
ChatLab naudoja RAG (Retrieval-Augmented Generation) architektūrą. Užuot įsiminęs visą svetainės turinį, dirbtinis intelektas kiekvieno naudotojo klausimo metu ieško aktualiausios informacijos fragmentų ir naudoja juos atsakymui sugeneruoti.
Per didelio duomenų kiekio problema
Daugiau duomenų ne visada reiškia geresnius atsakymus. Pridėjus nereikšmingo ar perteklinio turinio, paieškos procesas gali sutrikti:
- RAG vertina turinio fragmentų aktualumą pagal naudotojo klausimą. Jei jūsų svetainėje yra daug puslapių su pasikartojančiu, nekonkrečiu ar bendro pobūdžio tekstu (meniu, poraštės, pranešimai spaudai, tinklaraščio žymų puslapiai), jie mažina paieškos rezultatų kokybę.
- Kai pokalbių robotas randa kelis mažos vertės fragmentus, turinčius tuos pačius raktinius žodžius, bet neturinčius naudingo konteksto, jis gali pateikti netikslius, pernelyg apibendrintus ar su tema nesusijusius atsakymus.
- Pavyzdžiui: jei kiekvieno puslapio poraštėje yra nuorodos, tokios kaip „Pradžia“, „Kontaktai“, „Privatumas“, „DUK“, naudotojui paklausus „Kaip galiu su jumis susisiekti?“, robotas gali atsakyti bendra pastraipa iš poraštės, užuot pateikęs naudingą telefono numerį ar el. pašto adresą.
Daugiau naudingos informacijos, mažiau triukšmo = geresni atsakymai
Skenuodami tik naudingą turinį, padedate DI rasti aiškų, konkretų ir kokybišką kontekstą kiekvienam klausimui. Sutelkite dėmesį į šiuos puslapius:
- Produktų aprašymai
- DUK puslapiai
- Pagalbos straipsniai
- Taisyklių ir politikos dokumentai
- Pagrindiniai nukreipimo puslapiai
Valdote internetinę parduotuvę? Didžiausias sutaupymas pasiekiamas neįtraukiant produktų į svetainės skenavimą. Kai produktai pateikiami iš AI Search arba tiesioginės parduotuvės paieškos, atmeskite produktų ir kategorijų puslapius naudodami toliau nurodytus URL filtrus ir skenuokite tik informacinius puslapius. Produktai funkcijoje AI Search nenaudoja apmokymo simbolių. Žr. E-komercijos planai ir limitai.
Naudokite Sitemap vietoj viso puslapio nuskaitymo
Rekomenduojama: kai tik įmanoma, naudokite sitemap (svetainės medžio) parinktį.
Visos svetainės nuskaitymas seka visas matomas puslapio nuorodas, įskaitant nuorodas iš poraščių, meniu ir šoninių juostų, todėl dažnai nuskaitomas pasikartojantis ar bevertis turinys. Šios skiltys paprastai yra kiekviename puslapyje ir retai turi unikalios informacijos, naudingos pokalbio atsakymams.
Svetainės medis (dažnai esantis adresu https://yourdomain.com/sitemap.xml) pateikia nuskaitymo robotui galimų URL adresų sąrašą. Patikrinkite, kas į jį įtraukta: jame vis tiek gali būti neaktualių puslapių. Naudokite URL filtrus šiems puslapiams atmesti, o Content Filtering (Turinio filtravimas) - pasikartojančioms antraštėms, poraštėms ar meniu iš kiekvieno puslapio pašalinti.
Išplėstinių nustatymų apžvalga
Norėdami pasiekti išplėstinius nustatymus, skirtuke Training spustelėkite Add New Training: Website (Pridėti naują apmokymą: svetainė), tada išskleiskite skiltį Advanced settings. Nustatymai suskirstyti į keturias kategorijas:
- URL Filtering (URL filtravimas) - valdykite, kuriuos URL įtraukti arba atmesti
- Query Parameters (Užklausos parametrai) - tvarkykite URL parametrus
- Content Filtering (Turinio filtravimas) - filtruokite konkrečius puslapio elementus
- Scraping Behavior (Nuskaitymo elgsena) - sukonfigūruokite, kaip išgaunamas turinys
URL Filtering
Įtraukti tik konkrečius URL
Laukas: Advanced Settings > URL Filtering > Include only URLs that contain (Įtraukti tik URL, kuriuose yra)
Pridėkite kabliataškiais atskirtus raktinius žodžius, kad į nuskaitymą būtų įtraukti tik konkretūs URL.
Pavyzdys: norint įtraukti puslapius, kurių URL yra /en arba /help:
/en;/help
Šie šablonai veikia kaip alternatyvos, o ne sankirta: jie nereiškia, kad bus įtraukti tik angliški pagalbos puslapiai. Jei visi jūsų angliški pagalbos puslapiai turi bendrą dalį /en/help/, vietoj to naudokite šią vieną teksto eilutę. Prieš pasirinkdami šabloną, patikrinkite faktinę URL struktūrą.
Atmesti neaktualius URL
Laukas: Advanced Settings > URL Filtering > Exclude URLs that contain (Atmesti URL, kuriuose yra)
Pridėkite kabliataškiais atskirtus raktinius žodžius, kad praleistumėte tokias skiltis kaip tinklaraščiai, vaizdai ar naujienos.
Pavyzdys:
/news;/pictures;/press
Taip išvengiama daug turinio turinčių, bet pokalbių robotui neaktualių skilčių, pavyzdžiui, naujienų ar vaizdų galerijų, nuskaitymo.
Query Parameters
Ignoruoti visus užklausos parametrus
Laukas: Advanced Settings > Query Parameters > Ignore all query parameters (Ignoruoti visus užklausos parametrus)
Pažymėkite šį žymimąjį langelį, kad URL su skirtingais užklausos parametrais būtų traktuojami kaip tas pats puslapis. Tai gali padėti išvengti pasikartojančio turinio, tačiau taip pat gali apjungti atskirus produktus ar straipsnius, jei užklausos parametras identifikuoja turinį. Išsaugokite reikšmingus parametrus, pavyzdžiui, produkto ID.
Ignoruoti konkrečius užklausos parametrus
Laukas: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignoruoti konkrečius užklausos parametrus)
Pridėkite kabliataškiais atskirtus parametrų pavadinimus, kad ignoruotumėte konkrečius stebėjimo ar filtravimo parametrus.
Pavyzdys:
ref;source;campaign;utm_source
Tokiu atveju page.html?ref=email ir page.html?ref=social bus traktuojami kaip tas pats URL.
Content Filtering
Įtraukti konkrečius elementus
Laukas: Advanced Settings > Content Filtering > Include element IDs (Įtraukti elementų ID)
Pridėkite kabliataškiais atskirtus elementų identifikatorius, kad būtų nuskaitomos tik konkrečios puslapio dalys. Elementų identifikatoriams naudokite #id, klasėms - .classname, o atributams - laužtinius skliaustus: [data-id="82874db"] atitinka elementus su tikslia šio atributo reikšme, [data-content] atitinka bet kurį elementą, apskritai turintį šį atributą.
Pavyzdys:
#main-content;.article-body;[data-section="product"]
Taip bus nuskaitoma tik pagrindinė turinio sritis, straipsnių tekstas ir produktų skiltys, o visa kita bus ignoruojama.
Sekti nuorodas tik įtrauktuose elementuose
Laukas: Advanced Settings > Content Filtering > Follow only links in included elements (Sekti nuorodas tik įtrauktuose elementuose)
Šis perjungiklis atsiranda nurodžius Include element IDs. Kai parinktis įjungta, nuskaitymo robotas seks tik tas nuorodas, kurios rastos įtrauktuose elementuose. Tai naudinga, kai norite apriboti nuskaitymą iki konkrečių svetainės skilčių, pavyzdžiui, straipsnių turinio sričių, ignoruojant navigacijos meniu antraštėse ar poraštėse.
Numatytoji reikšmė: išjungta (sekamos visos puslapio nuorodos)
Atmesti puslapio elementus
Laukas: Advanced Settings > Content Filtering > Exclude element IDs (Atmesti elementų ID)
Neleiskite nuskaityti antraščių, poraščių ir kitų maketo elementų. Taikoma ta pati selektorių sintaksė: header ir footer be prefikso, #id, .classname arba atributas laužtiniuose skliaustuose, pavyzdžiui, [data-id="82874db"] arba [data-nosnippet]. Atributų selektoriai yra patogūs, kai elementas, kurį norite pašalinti, neturi pastovaus ID ar klasės, bet turi data-* atributą, kurį galite nukopijuoti iš naršyklės kūrėjo įrankių.
Pavyzdys:
header;footer;#navigation;.sidebar;[data-nosnippet]
Taip pašalinami HTML blokai, kurie kartojasi kiekviename puslapyje ir paprastai neturi jūsų pokalbių robotui naudingos informacijos.
Sekti nuorodas atmestuose elementuose
Laukas: Advanced Settings > Content Filtering > Follow links in excluded elements (Sekti nuorodas atmestuose elementuose)
Šis perjungiklis atsiranda nurodžius Exclude element IDs. Kai parinktis įjungta, nuskaitymo robotas vis tiek seks nuorodas, rastas atmestuose elementuose (pvz., navigacijos meniu antraštėse), net jei pats turinys yra pašalintas iš apmokymo.
Numatytoji reikšmė: išjungta (nuorodos atmestuose elementuose nesekamos)
Naudojimo atvejis: įjunkite šią parinktį, kai norite pašalinti antraštės ar poraštės turinį iš apmokymo, tačiau vis tiek reikia, kad nuskaitymo robotas aptiktų puslapius per tose srityse esančias navigacijos nuorodas. Tai suteikia dvigubą naudą: švarius apmokymo duomenis be meniu pertekliaus ir kartu visos svetainės nuskaitymą.
Svarbu: jei naudojate visos svetainės nuskaitymą ir atmetate tokius elementus kaip antraštė neįjungę „Follow links in excluded elements“, skaitytuvas gali neaptikti gilesnių nuorodų (meniu dažnai būna antraštėse). Tokiu atveju arba įjunkite šį perjungiklį, arba naudokite svetainės medį (sitemap) kaip saugiausią ir efektyviausią metodą.
Scraping elgsena (Scraping Behavior)
Nuskaityti dokumentus (Scrape Documents)
Laukas: Advanced Settings > Scraping Behavior > Scrape documents
Kai ši parinktis įjungta, sistema ištraukia ir apdoroja svetainėje rastą dokumentų turinį. Šiuo metu palaikomi PDF failai.
Neįtraukti paveikslėlių nuorodų (Exclude Image Links)
Laukas: Advanced Settings > Scraping Behavior > Exclude image links
Įjunkite šį perjungiklį, kad pašalintumėte visas paveikslėlių nuorodas iš apmokymo duomenų rinkinio. Paveikslėlių URL adresai naudoja simbolius, nors pats paveikslėlio failas nėra apmokomas kaip tekstas. Juos pašalinus, taip pat gali dingti naudingos paveikslėlių nuorodos funkcijai Offer Cards.
Palyginkite išsaugotą peržiūrą, kad pamatytumėte, kiek simbolių sutaupoma ir ar išlieka reikalingos paveikslėlių nuorodos.
Nuskaityti paslėptą turinį (Scrape Hidden Contents)
Laukas: Advanced Settings > Scraping Behavior > Scrape hidden contents
Kai ši parinktis įjungta (numatytoji reikšmė), sistema ištraukia turinį iš paslėptų HTML elementų (elementų, kurie pažymėti kaip paslėpti palaikomais integruotaisiais stiliais, HTML atributais ar įprastomis paslėptomis klasėmis).
Numatytoji reikšmė: Įjungta
Kada išjungti: Išjunkite šią parinktį, jei norite praleisti paslėptą turinį ir elementus, pagal šias taisykles atpažintus kaip paslėptus. Tai naudinga, kai svetainėse yra tokio paslėpto turinio kaip:
- Suskleistos akordeono sekcijos
- Tik mobiliesiems arba tik staliniams kompiuteriams skirtas turinys
- Paslėpti formų laukai
- Pasikartojantis puslapio paslėptas maketo tekstas
Šios parinkties išjungimas gali padėti sumažinti nereikalingo teksto kiekį, tačiau taip pat gali pašalinti naudingus akordeono atsakymus ar produktų detales. Patikrinkite ištrauktą šaltinį, užuot manę, kad kiekvienas paslėptas elementas yra nereikalingas.
Pauzė tarp puslapių (Delay Between Pages)
Laukas: Advanced Settings > Scraping Behavior > Delay between pages
Pridėkite delsą (sekundėmis) tarp kiekvieno puslapio nuskaitymo, kad neperkrautumėte savo serverio. Tai naudinga svetainėms, kuriose taikomi užklausų dažnumo apribojimai.
Modeliuoti apsilankymą iš konkrečios šalies (Simulate Visit From Specific Country)
Laukas: Advanced Settings > Scraping Behavior > Country code
Jei Jūsų svetainė rodo skirtingą turinį, priklausomai nuo lankytojo buvimo vietos, įveskite 2 raidžių šalies kodą (pvz., US, PL, DE), kad nuskaitymas būtų atliekamas imituojant apsilankymą iš tos vietovės.
Rekomenduojama konfigūracija daugumai svetainių
Naudokite šiuos nustatymus kaip atspirties tašką ir prieš pritaikydami juos visoje svetainėje patikrinkite išgautą turinį:
- Naudokite sitemap, kai tik įmanoma, kad tiksliai valdytumėte URL
- Exclude element IDs:
header;footer;#navigation;.sidebar - Įjunkite „Exclude image links“, kad pašalintumėte vaizdų URL iš apmokymo
- Išjunkite „Scrape hidden contents“, jei jūsų svetainėje yra daug paslėptų elementų
- Apsvarstykite „Follow links in excluded elements“, jei naudojate visos svetainės nuskaitymą su atmestomis antraštėmis
Fiksuoto sutaupymo procento nėra. Pirmiausia išbandykite nustatymus viename reprezentatyviame puslapyje ir palyginkite išgautą turinį, simbolių skaičių bei pokalbių roboto atsakymus. Nenaudokite selektoriaus, jei jis neatitinka jūsų svetainės struktūros.
Santrauka: geriausia praktika
- Naudokite sitemap vietoj viso nuskaitymo tiksliam valdymui užtikrinti
- Įtraukite URL (Include URLs), kad nusitaikytumėte tik į vertingą turinį
- Atmeskite URL (Exclude URLs), kad praleistumėte neaktualius ar didelės apimties puslapius
- Ignoruokite užklausos parametrus, kad išvengtumėte turinio dubliavimosi
- Atmeskite elementų ID, kad pašalintumėte pasikartojančias puslapio dalis, pvz., antraštes ir poraštes
- Valdykite nuorodų sekimą naudodami „Follow only links in included elements“ arba „Follow links in excluded elements“ detalesniam nuskaitymo valdymui
- Atmeskite vaizdų nuorodas, kad gerokai sumažintumėte simbolių skaičių
- Išjunkite paslėpto turinio nuskaitymą, jei jūsų svetainėje yra nereikalingų paslėptų elementų
- Sutelkti dėmesį į naudingą turinį jūsų robotui (DUK, produktų puslapiai, pagalbos straipsniai)
Užbaikite nuskaitymą ir patikrinkite
Pradėkite nuo Single address (Vienas adresas), kad išbandytumėte filtrus reprezentatyviame puslapyje. Spustelėkite Start scanning the website (Pradėti nuskaityti svetainę), palaukite būsenos Training completed (Apmokymas baigtas) ir naudokite View (Peržiūrėti), kad patikrintumėte, ar išliko reikalingi faktai bei nuorodos. Apdorojimo laikas priklauso nuo puslapio; didesni nuskaitymai gali užtrukti ilgiau ir tęstis fone. Tada naudokite patvirtintus filtrus platesniam svetainės ar sitemap nuskaitymui ir išbandykite reprezentatyvius klausimus skiltyje Overview (Apžvalga). Jei atliekant visą nuskaitymą praleidžiami puslapiai, patikrinkite nuorodų sekimo parinktis arba naudokite sitemap.