Pri trénovaní chatbota na webovej lokalite vám obmedzenie množstva skenovaných údajov iba na to najužitočnejšie pomôže znížiť spotrebu znakov, zrýchliť trénovanie a zlepšiť kvalitu odpovedí vďaka zameraniu sa výhradne na relevantný obsah.
Najprv vytvorte chatbota a prečítajte si článok Pridávanie nových zdrojov z webových stránok, kde nájdete kompletný postup skenovania. Pred otvorením sekcie Training (Trénovanie) vyberte svojho chatbota. Tento návod vysvetľuje, ako optimalizovať skenovanie pomocou možnosti Advanced settings (Pokročilé nastavenia) v okne trénovania webovej lokality (Training > Links > Add New Training: Website - Trénovanie > Odkazy > Pridať nové trénovanie: Webová stránka).
Prečo menej trénovania môže byť lepšie
ChatLab využíva architektúru RAG (Retrieval-Augmented Generation). Namiesto memorovania celého obsahu webu AI pri každej otázke používateľa vyhľadá najrelevantnejšie informácie a použije ich na vygenerovanie odpovede.
Problém s príliš veľkým množstvom údajov
Viac údajov nemusí vždy znamenať lepšie odpovede. Pridanie nerelevantného alebo nadbytočného obsahu môže proces vyhľadávania zmiasť:
- RAG hodnotí jednotlivé fragmenty obsahu podľa relevancie k otázke používateľa. Ak váš web obsahuje veľa stránok s opakujúcim sa, nejasným alebo všeobecným textom (menu, pätičky, tlačové správy, stránky so značkami blogu), znižujú kvalitu výsledkov vyhľadávania.
- Keď chatbot načíta viacero fragmentov s nízkou hodnotou, ktoré síce obsahujú kľúčové slová, ale chýba im užitočný kontext, môže vygenerovať nepresné, príliš všeobecné alebo irelevantné odpovede.
- Príklad: Ak vaša pätička na každej stránke obsahuje odkazy ako "Domov", "Kontakt", "Ochrana osobných údajov", "FAQ", bot môže na otázku "Ako vás môžem kontaktovať?" odpovedať všeobecným odsekom z pätičky namiesto užitočného telefónneho čísla alebo e-mailu.
Silný signál, slabý šum = lepšie odpovede
Skenovaním iba užitočného obsahu pomáhate AI získať jasný, konkrétny a kvalitný kontext pre každú otázku. Zamerajte sa na:
- Popisy produktov
- Stránky s často kladenými otázkami (FAQ)
- Články podpory
- Dokumenty so zásadami a pravidlami
- Kľúčové vstupné stránky (landing pages)
Prevádzkujete internetový obchod? Najväčšiu úsporu dosiahnete vynechaním produktov zo skenovania. Ak produkty pochádzajú z AI Search alebo zo živého vyhľadávania v obchode, vylúčte stránky produktov a kategórií pomocou URL filtrov nižšie a skenujte iba informačné stránky. Produkty v AI Search nespotrebúvajú trénovacie znaky. Pozrite si Plány a limity pre e-commerce.
Namiesto kompletného skenovania webu použite sitemap
Odporúčané: Vždy, keď je to možné, použite možnosť sitemap.
Kompletné skenovanie webu (Full website scan) sleduje všetky viditeľné odkazy na stránke, vrátane odkazov z pätičiek, menu a bočných panelov, čo často vedie k skenovaniu opakujúceho sa alebo bezcenného obsahu. Tieto sekcie sa zvyčajne nachádzajú na každej stránke a len zriedka obsahujú jedinečné informácie užitočné pre odpovede chatu.
Súbor sitemap (často na https://yourdomain.com/sitemap.xml) poskytuje crawleru zoznam kandidátskych adries URL. Skontrolujte, čo obsahuje: stále môže uvádzať nerelevantné stránky. Použite filtre adries URL, aby ste tieto stránky vylúčili, a funkciu Content Filtering (filtrovanie obsahu), aby ste z každej stránky odstránili opakujúce sa hlavičky, pätičky alebo menu.
Prehľad pokročilých nastavení
Ak chcete získať prístup k pokročilým nastaveniam, kliknite na záložke Training (Trénovanie) na možnosť Add New Training: Website (Pridať nové trénovanie: Webová stránka) a potom rozbaľte sekciu Advanced settings (Pokročilé nastavenia). Nastavenia sú usporiadané do štyroch kategórií:
- URL Filtering (Filtrovanie URL) - Určenie, ktoré adresy URL zahrnúť alebo vylúčiť
- Query Parameters (Parametre dopytu) - Správa parametrov URL
- Content Filtering (Filtrovanie obsahu) - Filtrovanie konkrétnych prvkov stránky
- Scraping Behavior (Správanie scrapingu) - Konfigurácia spôsobu extrakcie obsahu
Filtrovanie URL
Zahrnúť iba konkrétne URL
Pole: Pokročilé nastavenia (Advanced Settings) > Filtrovanie URL (URL Filtering) > Zahrnúť iba URL obsahujúce (Include only URLs that contain)
Pridajte kľúčové slová oddelené bodkočiarkou, aby sa do skenovania zahrnuli iba konkrétne URL.
Príklad: Ak chcete zahrnúť stránky, ktorých URL obsahuje buď /en, alebo /help:
/en;/help
Tieto vzory fungujú ako alternatívy, nie ako prienik: neznamenajú iba anglické stránky nápovedy. Ak všetky vaše anglické stránky nápovedy zdieľajú /en/help/, použite radšej tento jeden reťazec. Pred výberom vzoru si skontrolujte skutočnú štruktúru URL.
Vylúčiť nerelevantné URL
Pole: Pokročilé nastavenia (Advanced Settings) > Filtrovanie URL (URL Filtering) > Vylúčiť URL obsahujúce (Exclude URLs that contain)
Pridajte kľúčové slová oddelené bodkočiarkou, aby ste preskočili sekcie ako blogy, obrázky alebo novinky.
Príklad:
/news;/pictures;/press
Týmto zabránite skenovaniu obsahovo rozsiahlych sekcií, ktoré nie sú pre chatbota relevantné, ako sú novinky alebo galérie obrázkov.
Parametre dopytu (Query Parameters)
Ignorovať všetky parametre dopytu (Ignore All Query Parameters)
Pole: Pokročilé nastavenia (Advanced Settings) > Parametre dopytu (Query Parameters) > Ignorovať všetky parametre dopytu (Ignore all query parameters)
Začiarknite toto políčko, ak chcete adresy URL s rôznymi parametrami dopytu považovať za tú istú stránku. Môže to zabrániť duplicitnému obsahu, ale môže to tiež zlúčiť odlišné produkty alebo články, ak parameter dopytu identifikuje samotný obsah. Ponechajte parametre s významom, napríklad ID produktu.
Ignorovať konkrétne parametre dopytu (Ignore Specific Query Parameters)
Pole: Pokročilé nastavenia (Advanced Settings) > Parametre dopytu (Query Parameters) > Ignorovať konkrétne parametre dopytu (Ignore specific query parameters)
Pridajte názvy parametrov oddelené bodkočiarkou, ak chcete ignorovať konkrétne sledovacie alebo filtrovacie parametre.
Príklad:
ref;source;campaign;utm_source
Týmto sa budú page.html?ref=email a page.html?ref=social považovať za rovnakú URL.
Filtrovanie obsahu
Zahrnúť konkrétne prvky
Pole: Advanced Settings > Content Filtering > Include element IDs (Zahrnúť ID prvkov)
Pridajte identifikátory prvkov oddelené bodkočiarkou, aby sa skenovali iba konkrétne časti stránky. Pre identifikátory prvkov použite #id, pre triedy .classname a pre atribúty hranaté zátvorky: [data-id="82874db"] vyhľadá prvky s touto presnou hodnotou atribútu, [data-content] vyhľadá každý prvok, ktorý tento atribút vôbec obsahuje.
Príklad:
#main-content;.article-body;[data-section="product"]
Týmto sa naskenuje iba oblasť hlavného obsahu, telá článkov a produktové sekcie, pričom všetko ostatné sa ignoruje.
Sledovať iba odkazy v zahrnutých prvkoch
Pole: Advanced Settings > Content Filtering > Follow only links in included elements (Sledovať iba odkazy v zahrnutých prvkoch)
Tento prepínač sa zobrazí, keď zadáte hodnoty v poli Include element IDs. Keď je zapnutý, crawler bude sledovať iba odkazy nájdené v zahrnutých prvkoch. To je užitočné, ak chcete prechádzanie obmedziť na konkrétne sekcie webu, napríklad na oblasti s obsahom článkov, a zároveň ignorovať navigačné menu v hlavičkách alebo pätičkách.
Predvolené nastavenie: Vypnuté (sledujú sa všetky odkazy na stránke)
Vylúčiť prvky stránky
Pole: Advanced Settings > Content Filtering > Exclude element IDs (Vylúčiť ID prvkov)
Zabráňte skenovaniu hlavičiek, pätičiek a ďalších prvkov rozloženia stránky. Platí rovnaká syntax selektorov: header a footer bez prefixu, #id, .classname alebo atribút v hranatých zátvorkách ako [data-id="82874db"] či [data-nosnippet]. Selektory atribútov sú praktické vtedy, keď prvok, ktorý chcete odstrániť, nemá stabilné id ani triedu, ale nesie atribút data-*, ktorý môžete skopírovať z vývojárskych nástrojov prehliadača.
Príklad:
header;footer;#navigation;.sidebar;[data-nosnippet]
Týmto odstránite bloky HTML, ktoré sa opakujú na každej stránke a spravidla neobsahujú žiadny užitočný obsah pre vášho chatbota.
Sledovať odkazy vo vylúčených prvkoch
Pole: Advanced Settings > Content Filtering > Follow links in excluded elements (Sledovať odkazy vo vylúčených prvkoch)
Tento prepínač sa zobrazí, keď zadáte hodnoty v poli Exclude element IDs. Keď je zapnutý, crawler bude stále sledovať odkazy nachádzajúce sa vo vylúčených prvkoch (ako sú navigačné menu v hlavičkách), hoci samotný obsah je z trénovania vylúčený.
Predvolené nastavenie: Vypnuté (odkazy vo vylúčených prvkoch sa nesledujú)
Prípad použitia: Zapnite túto možnosť, ak chcete z trénovania vylúčiť obsah hlavičky/pätičky, ale stále potrebujete, aby crawler objavoval stránky prostredníctvom navigačných odkazov v týchto oblastiach. Získate tak to najlepšie z oboch svetov: čisté trénovacie údaje bez zbytočností z menu a zároveň prechádzanie celého webu.
Dôležité: Ak použijete úplné skenovanie webu a vylúčite prvky ako hlavička bez zapnutia možnosti "Follow links in excluded elements", skener nemusí objaviť hlbšie odkazy (menu sa často nachádzajú vo vnútri hlavičiek). V takom prípade buď zapnite tento prepínač, alebo použite sitemap ako najbezpečnejšiu a najefektívnejšiu metódu.
Správanie pri scrapovaní (Scraping Behavior)
Extrahovať dokumenty (Scrape Documents)
Pole: Pokročilé nastavenia (Advanced Settings) > Správanie pri scrapovaní (Scraping Behavior) > Extrahovať dokumenty (Scrape documents)
Keď je táto možnosť povolená, systém extrahuje a spracováva obsah dokumentov nájdených na webovej lokalite. Aktuálne podporuje súbory PDF.
Vylúčiť odkazy na obrázky (Exclude Image Links)
Pole: Pokročilé nastavenia (Advanced Settings) > Správanie pri scrapovaní (Scraping Behavior) > Vylúčiť odkazy na obrázky (Exclude image links)
Aktivovaním tohto prepínača vylúčite všetky odkazy na obrázky z trénovacieho datasetu. Adresy URL obrázkov môžu navýšiť počet znakov, hoci samotný súbor obrázka sa netrénuje ako text. Ich odstránenie však môže odstrániť aj užitočné referencie na obrázky pre Offer Cards.
Porovnajte uložený náhľad, aby ste zistili, koľko znakov ušetríte a či zostali potrebné referencie na obrázky zachované.
Extrahovať skrytý obsah (Scrape Hidden Contents)
Pole: Pokročilé nastavenia (Advanced Settings) > Správanie pri scrapovaní (Scraping Behavior) > Extrahovať skrytý obsah (Scrape hidden contents)
Keď je táto možnosť povolená (predvolené), systém extrahuje obsah zo skrytých prvkov HTML (prvky označené ako skryté pomocou podporovaných inline štýlov, atribútov HTML alebo bežných tried pre skrytie).
Predvolené nastavenie: Povolené
Kedy vypnúť: Túto možnosť vypnite, ak chcete vynechať skrytý obsah a preskočiť prvky rozpoznané ako skryté na základe týchto pravidiel. Je to užitočné, ak webové lokality obsahujú skrytý obsah, ako napríklad:
- Zbalené sekcie akordeónu
- Obsah určený len pre mobilné zariadenia alebo len pre počítače
- Skryté polia formulárov
- Opakujúci sa text rozloženia skrytý stránkou
Vypnutie tejto možnosti môže znížiť množstvo nerelevantného textu, no môže tiež odstrániť užitočné odpovede v akordeónoch alebo podrobnosti o produktoch. Namiesto predpokladu, že každý skrytý prvok je nežiaduci, radšej skontrolujte extrahovaný zdroj.
Oneskorenie medzi stránkami (Delay Between Pages)
Pole: Pokročilé nastavenia (Advanced Settings) > Správanie pri scrapovaní (Scraping Behavior) > Oneskorenie medzi stránkami (Delay between pages)
Pridajte oneskorenie (v sekundách) medzi skenovaním jednotlivých stránok, aby ste predišli preťaženiu servera. Užitočné pre webové lokality s obmedzením počtu požiadaviek (rate limiting).
Simulovať návštevu z konkrétnej krajiny (Simulate Visit From Specific Country)
Pole: Pokročilé nastavenia (Advanced Settings) > Správanie pri scrapovaní (Scraping Behavior) > Kód krajiny (Country code)
Ak vaša stránka zobrazuje rôzny obsah v závislosti od polohy návštevníka, zadajte 2-písmenový kód krajiny (napr. US, PL, DE), aby ste simulovali skenovanie z danej lokality.
Odporúčaná konfigurácia pre väčšinu webových stránok
Tieto nastavenia použite ako východiskový bod a pred ich použitím na celom webe overte extrahovaný obsah:
- Použite súbor sitemap, ak je k dispozícii, na presnú kontrolu adries URL
- Vylúčte identifikátory prvkov (Exclude element IDs):
header;footer;#navigation;.sidebar - Zapnite možnosť „Vylúčiť odkazy na obrázky“ (Exclude image links), aby ste odstránili adresy URL obrázkov z trénovania
- Vypnite možnosť „Extrahovať skrytý obsah“ (Scrape hidden contents), ak váš web obsahuje veľa skrytých prvkov
- Zvážte možnosť „Sledovať odkazy vo vylúčených prvkoch“ (Follow links in excluded elements), ak používate úplné skenovanie s vylúčenými hlavičkami
Percento úspory nie je pevne dané. Nastavenia najskôr otestujte na jednej reprezentatívnej stránke a porovnajte extrahovaný obsah, počet znakov a odpovede chatbota. Nepoužívajte selektor, pokiaľ nezodpovedá vášmu webu.
Zhrnutie: Osvedčené postupy
- Používajte sitemap namiesto úplného skenovania pre presnú kontrolu
- Zahrňte adresy URL, aby ste zacielili iba na hodnotný obsah
- Vylúčte adresy URL, aby ste preskočili nerelevantné alebo dátovo náročné stránky
- Ignorujte parametre dopytu, aby ste predišli duplicitnému obsahu
- Vylučujte ID prvkov, aby ste odstránili opakujúce sa časti stránok, ako sú hlavičky a pätičky
- Riaďte sledovanie odkazov pomocou "Follow only links in included elements" alebo "Follow links in excluded elements" pre detailnú kontrolu nad prechádzaním webu
- Vylúčte odkazy na obrázky, čím výrazne znížite počet znakov
- Vypnite získavanie skrytého obsahu, ak váš web obsahuje nepotrebné skryté prvky
- Zamerajte sa na užitočný obsah pre vášho bota (FAQ, produktové stránky, články podpory)
Dokončite skenovanie a overte výsledok
Začnite s možnosťou Jedna adresa (Single address), aby ste otestovali filtre na reprezentatívnej stránke. Kliknite na Spustiť skenovanie webovej stránky (Start scanning the website), počkajte na hlásenie Trénovanie dokončené (Training completed) a pomocou možnosti Zobraziť (View) skontrolujte, či zostali zachované potrebné fakty a odkazy. Čas spracovania závisí od stránky; rozsiahlejšie skenovania môžu trvať dlhšie a pokračovať na pozadí. Následne použite overené filtre pre širšie skenovanie webu alebo sitemapy a otestujte reprezentatívne otázky v časti Prehľad (Overview). Ak úplné prechádzanie vynechá niektoré stránky, skontrolujte nastavenia sledovania odkazov alebo použite sitemapu.