Při trénování chatbota na webových stránkách pomáhá omezení množství skenovaných dat na to nejužitečnější snížit spotřebu znaků, zrychluje trénování a zlepšuje kvalitu odpovědí tím, že se zaměřuje pouze na relevantní obsah.
Nejprve vytvořte chatbota a přečtěte si článek Přidání nových webových zdrojů, kde najdete kompletní postup skenování. Před otevřením sekce Trénování (Training) vyberte svého chatbota. Tento průvodce vysvětluje, jak optimalizovat skenování pomocí pokročilých nastavení (Advanced settings) v modálním okně pro trénování z webu (Trénování > Odkazy > Přidat nové trénování: Web - Training > Links > Add New Training: Website).
Proč méně trénování může znamenat lepší výsledky
ChatLab využívá architekturu RAG (Retrieval-Augmented Generation). Místo memorování veškerého obsahu webu AI při každém dotazu uživatele vyhledá nejrelevantnější části informací a použije je k vygenerování odpovědi.
Problém s příliš velkým množstvím dat
Více dat nemusí vždy znamenat lepší odpovědi. Přidání nerelevantního nebo nadbytečného obsahu může proces vyhledávání zkomplikovat:
- RAG hodnotí jednotlivé fragmenty obsahu podle jejich relevance k dotazu uživatele. Pokud váš web obsahuje mnoho stránek s opakujícím se, vágním nebo generickým textem (navigační menu, zápatí, tiskové zprávy, stránky se štítky blogu), rozptyluje to kvalitu výsledků vyhledávání.
- Když chatbot načte několik fragmentů s nízkou hodnotou, které sice sdílejí klíčová slova, ale postrádají užitečný kontext, může vygenerovat nepřesné, příliš obecné nebo zcela mimoběžné odpovědi.
- Příklad: Pokud vaše zápatí na každé stránce obsahuje odkazy jako "Domů", "Kontakt", "Soukromí", "FAQ", bot může na dotaz uživatele "Jak vás mohu kontaktovat?" odpovědět obecným odstavcem ze zápatí místo konkrétního telefonního čísla nebo e-mailu.
Vysoký signál, nízký šum = lepší odpovědi
Skenováním pouze užitečného obsahu pomáháte AI vyhledat pro každou otázku jasný, konkrétní a vysoce kvalitní kontext. Zaměřte se na:
- Popisy produktů
- Stránky FAQ
- Články zákaznické podpory
- Dokumenty se zásadami a podmínkami
- Klíčové vstupní stránky (landing pages)
Provozujete e-shop? Největší úspory dosáhnete vynecháním produktů ze skenování. Pokud produkty pocházejí z AI Search nebo živého vyhledávání v obchodě, vylučte stránky produktů a kategorií pomocí filtrů URL níže a skenujte pouze informační stránky. Produkty v AI Search nespotřebovávají trénovací znaky. Podívejte se na E-commerce plány a limity.
Použijte sitemap místo úplného skenování webu
Doporučeno: Kdykoli je to možné, použijte možnost sitemap.
Úplné skenování webu prochází všechny viditelné odkazy na stránce, včetně odkazů ze zápatí, nabídek a postranních panelů, což často vede ke skenování opakujícího se nebo méně hodnotného obsahu. Tyto části se obvykle nacházejí na každé stránce a jen zřídka obsahují jedinečné informace užitečné pro odpovědi na chatu.
Soubor sitemap (často na adrese https://yourdomain.com/sitemap.xml) poskytuje crawleru seznam kandidátských URL adres. Zkontrolujte, co obsahuje: stále může uvádět nerelevantní stránky. K vyloučení těchto stránek použijte filtry URL a pomocí funkce Content Filtering (filtrování obsahu) odstraňte opakující se záhlaví, zápatí nebo nabídky z každé stránky.
Přehled pokročilých nastavení
Chcete-li otevřít pokročilá nastavení, klikněte na kartě Training na Add New Training: Website a poté rozbalte sekci Advanced settings. Nastavení jsou uspořádána do čtyř kategorií:
- URL Filtering (Filtrování URL) - Nastavení, které URL adresy zahrnout nebo vyloučit
- Query Parameters (Parametry dotazu) - Zpracování parametrů URL
- Content Filtering (Filtrování obsahu) - Filtrování konkrétních prvků stránky
- Scraping Behavior (Chování scrapingu) - Konfigurace způsobu extrakce obsahu
Filtrování URL
Zahrnout pouze konkrétní URL
Pole: Pokročilá nastavení (Advanced Settings) > Filtrování URL (URL Filtering) > Zahrnout pouze URL, která obsahují (Include only URLs that contain)
Chcete-li do procházení zahrnout pouze konkrétní adresy URL, přidejte klíčová slova oddělená středníkem.
Příklad: Chcete-li zahrnout stránky, jejichž adresa URL obsahuje buď /en, nebo /help:
/en;/help
Tyto vzory fungují jako alternativy, nikoli jako průnik: neznamenají tedy pouze anglické stránky nápovědy. Pokud všechny vaše anglické stránky nápovědy sdílejí /en/help/, použijte raději tento jediný podřetězec. Před výběrem vzoru zkontrolujte skutečnou strukturu URL.
Vyloučit nerelevantní URL
Pole: Pokročilá nastavení (Advanced Settings) > Filtrování URL (URL Filtering) > Vyloučit URL, která obsahují (Exclude URLs that contain)
Chcete-li přeskočit sekce jako blogy, obrázky nebo novinky, přidejte klíčová slova oddělená středníkem.
Příklad:
/news;/pictures;/press
Tím zabráníte procházení sekcí s velkým objemem obsahu, které jsou pro chatbota irelevantní, jako jsou aktuality nebo fotogalerie.
Parametry dotazu (Query Parameters)
Ignorovat všechny parametry dotazu
Pole: Advanced Settings (Pokročilá nastavení) > Query Parameters (Parametry dotazu) > Ignore all query parameters (Ignorovat všechny parametry dotazu)
Zaškrtnutím tohoto políčka budete považovat adresy URL s různými parametry dotazu za stejnou stránku. Tímto způsobem můžete zabránit duplicitnímu obsahu, ale také může dojít ke sloučení různých produktů nebo článků, pokud parametr dotazu určuje jejich obsah. Ponechte smysluplné parametry, jako je například ID produktu.
Ignorovat konkrétní parametry dotazu
Pole: Advanced Settings (Pokročilá nastavení) > Query Parameters (Parametry dotazu) > Ignore specific query parameters (Ignorovat konkrétní parametry dotazu)
Chcete-li ignorovat konkrétní sledovací nebo filtrovací parametry, přidejte názvy parametrů oddělené středníkem.
Příklad:
ref;source;campaign;utm_source
To způsobí, že se page.html?ref=email a page.html?ref=social budou považovat za stejnou adresu URL.
Content Filtering (Filtrování obsahu)
Zahrnout konkrétní prvky
Pole: Advanced Settings > Content Filtering > Include element IDs (Zahrnout ID prvků)
Přidejte identifikátory prvků oddělené středníkem, chcete-li skenovat pouze konkrétní části stránky. Použijte #id pro ID prvků, .classname pro třídy a hranaté závorky pro atributy: [data-id="82874db"] odpovídá prvkům s touto přesnou hodnotou atributu, [data-content] odpovídá každému prvku, který daný atribut vůbec obsahuje.
Příklad:
#main-content;.article-body;[data-section="product"]
Tím se naskenuje pouze hlavní oblast obsahu, těla článků a produktové sekce, zatímco vše ostatní se ignoruje.
Sledovat odkazy pouze v zahrnutých prvcích
Pole: Advanced Settings > Content Filtering > Follow only links in included elements (Sledovat odkazy pouze v zahrnutých prvcích)
Tento přepínač se zobrazí, když vyplníte Include element IDs. Když je zapnutý, crawler bude sledovat pouze odkazy nalezené uvnitř zahrnutých prvků. To je užitečné, pokud chcete omezit procházení na konkrétní části webu, například oblasti obsahu článků, a zároveň ignorovat navigační nabídky v záhlaví nebo zápatí.
Výchozí nastavení: Vypnuto (sledují se všechny odkazy na stránce)
Vyloučit prvky stránky
Pole: Advanced Settings > Content Filtering > Exclude element IDs (Vyloučit ID prvků)
Zabraňte skenování záhlaví, zápatí a dalších prvků rozvržení stránky. Platí stejná syntaxe selektorů: header a footer bez předpony, #id, .classname nebo atribut v hranatých závorkách, například [data-id="82874db"] nebo [data-nosnippet]. Selektory atributů se hodí, když prvek, který chcete vynechat, nemá stabilní ID ani třídu, ale nese atribut data-*, který můžete zkopírovat z vývojářských nástrojů prohlížeče.
Příklad:
header;footer;#navigation;.sidebar;[data-nosnippet]
Tím se odstraní bloky HTML, které se opakují na každé stránce a obecně neobsahují žádný užitečný obsah pro vašeho chatbota.
Sledovat odkazy ve vyloučených prvcích
Pole: Advanced Settings > Content Filtering > Follow links in excluded elements (Sledovat odkazy ve vyloučených prvcích)
Tento přepínač se zobrazí, když vyplníte Exclude element IDs. Když je zapnutý, crawler bude i nadále sledovat odkazy nalezené ve vyloučených prvcích (například navigační menu v záhlaví), i když samotný obsah je z trénování vyloučen.
Výchozí nastavení: Vypnuto (odkazy ve vyloučených prvcích se nesledují)
Případ použití: Tuto možnost zapněte, když chcete z trénování vyloučit obsah záhlaví/zápatí, ale přesto potřebujete, aby crawler objevoval stránky prostřednictvím navigačních odkazů v těchto oblastech. Získáte tak to nejlepší z obou světů: čistá trénovací data bez balastu z menu a zároveň projití celého webu.
Důležité: Pokud používáte úplné skenování webu a vyloučíte prvky jako záhlaví bez zapnutí možnosti „Follow links in excluded elements“, skener nemusí objevit hlouběji umístěné odkazy (nabídky jsou často uvnitř záhlaví). V takovém případě buď přepínač zapněte, nebo použijte sitemap jako nejbezpečnější a nejefektivnější metodu.
Chování při scrapování (Scraping Behavior)
Extrahovat dokumenty (Scrape Documents)
Pole: Advanced Settings (Pokročilá nastavení) > Scraping Behavior (Chování při scrapování) > Scrape documents (Extrahovat dokumenty)
Když je tato možnost zapnutá, systém extrahuje a zpracovává obsah dokumentů nalezených na webu. V současné době podporuje soubory PDF.
Vyloučit odkazy na obrázky (Exclude Image Links)
Pole: Advanced Settings (Pokročilá nastavení) > Scraping Behavior (Chování při scrapování) > Exclude image links (Vyloučit odkazy na obrázky)
Zapněte tento přepínač, pokud chcete z trénovací datové sady vyloučit všechny odkazy na obrázky. Adresy URL obrázků mohou spotřebovávat znaky, přestože samotný obrazový soubor se jako text netrénuje. Jejich odstranění však může odebrat i užitečné odkazy na obrázky pro Offer Cards.
Porovnejte uložený náhled, abyste zjistili, kolik znaků tím ušetříte a zda potřebné reference na obrázky zůstaly zachovány.
Extrahovat skrytý obsah (Scrape Hidden Contents)
Pole: Advanced Settings (Pokročilá nastavení) > Scraping Behavior (Chování při scrapování) > Scrape hidden contents (Extrahovat skrytý obsah)
Když je tato možnost zapnutá (výchozí stav), systém extrahuje obsah ze skrytých prvků HTML (prvky označené jako skryté pomocí podporovaných vložených stylů, atributů HTML nebo běžných tříd pro skrytí).
Výchozí stav: Zapnuto
Kdy funkci vypnout: Tuto možnost vypněte, pokud chcete přeskočit skrytý obsah a vynechat prvky rozpoznané podle těchto pravidel jako skryté. To je užitečné, když weby obsahují skrytý obsah, jako například:
- Sbalené sekce akordeonů
- Obsah určený pouze pro mobily nebo pouze pro počítače
- Skrytá formulářová pole
- Opakující se texty rozvržení skryté samotnou stránkou
Vypnutí této možnosti může snížit množství nerelevantního textu, ale může také odstranit užitečné odpovědi z akordeonů nebo podrobnosti o produktech. Místo předpokladu, že každý skrytý prvek je nežádoucí, raději zkontrolujte extrahovaný zdroj.
Prodleva mezi stránkami (Delay Between Pages)
Pole: Advanced Settings (Pokročilá nastavení) > Scraping Behavior (Chování při scrapování) > Delay between pages (Prodleva mezi stránkami)
Přidejte prodlevu (v sekundách) mezi skenováním jednotlivých stránek, abyste předešli přetížení svého serveru. Je to užitečné pro weby s omezením četnosti požadavků (rate limiting).
Simulovat návštěvu z konkrétní země (Simulate Visit From Specific Country)
Pole: Advanced Settings (Pokročilá nastavení) > Scraping Behavior (Chování při scrapování) > Country code (Kód země)
Pokud váš web zobrazuje různý obsah v závislosti na poloze návštěvníka, zadejte 2místný kód země (např. US, PL, DE), abyste simulovali skenování z daného místa.
Doporučená konfigurace pro většinu webů
Tato nastavení použijte jako výchozí bod a před jejich uplatněním na celý web zkontrolujte extrahovaný obsah:
- Používejte sitemapu (Use sitemap), pokud je dostupná, pro přesnou kontrolu nad URL
- Vylučte ID prvků (Exclude element IDs):
header;footer;#navigation;.sidebar - Zapněte „Exclude image links“ (Vyloučit odkazy na obrázky), abyste z trénování odstranili URL adresy obrázků
- Vypněte „Scrape hidden contents“ (Extrahovat skrytý obsah), pokud váš web obsahuje mnoho skrytých prvků
- Zvažte „Follow links in excluded elements“ (Sledovat odkazy ve vyloučených prvcích), pokud používáte úplné skenování s vyloučenými záhlavími
Žádné pevně stanovené procento úspory neexistuje. Vyzkoušejte tato nastavení nejprve na jedné reprezentativní stránce a porovnejte extrahovaný obsah, počet znaků a odpovědi chatbota. Nepoužívejte selektor, pokud neodpovídá vašemu webu.
Shrnutí: Osvědčené postupy
- Používejte sitemap místo úplného skenování pro přesnou kontrolu
- Zahrnujte URL adresy, abyste cílili pouze na hodnotný obsah
- Vylučujte URL adresy, abyste přeskočili nerelevantní nebo datově náročné stránky
- Ignorujte parametry dotazu, abyste předešli duplicitnímu obsahu
- Vylučujte ID prvků, abyste odstranili opakující se části stránek, jako jsou záhlaví a zápatí
- Řiďte sledování odkazů pomocí voleb „Follow only links in included elements“ nebo „Follow links in excluded elements“ pro detailní kontrolu nad procházením webu
- Vylučujte odkazy na obrázky, čímž výrazně snížíte počet znaků
- Vypněte skenování skrytého obsahu, pokud váš web obsahuje zbytečné skryté prvky
- Zaměřte se na užitečný obsah pro vašeho bota (FAQ, produktové stránky, články podpory)
Dokončete skenování a zkontrolujte výsledek
Začněte možností Single address (Jednotlivá adresa) a otestujte filtry na reprezentativní stránce. Klikněte na Start scanning the website (Spustit skenování webu), počkejte na stav Training completed (Trénování dokončeno) a pomocí možnosti View (Zobrazit) zkontrolujte, zda zůstala zachována potřebná fakta a odkazy. Doba zpracování závisí na konkrétní stránce; rozsáhlejší skenování může trvat déle a pokračuje na pozadí. Ověřené filtry pak použijte pro skenování širšího webu nebo souboru sitemap a otestujte reprezentativní otázky v sekci Overview (Přehled). Pokud úplné procházení některé stránky vynechá, zkontrolujte nastavení sledování odkazů nebo použijte sitemap.