Amikor egy weboldalon trenírozza chatbotját, a beolvasott adatmennyiség leghasznosabb részekre való korlátozása segít csökkenteni a felhasznált karakterek számát, felgyorsítja a betanítást, és a releváns tartalomra fókuszálva javítja a válaszok minőségét.
Először hozzon létre egy chatbotot, majd olvassa el az Új weboldal-források hozzáadása című cikket a teljes beolvasási folyamat megismeréséhez. Válassza ki chatbotját, mielőtt megnyitná a Training (Betanítás) lapot. Ez az útmutató bemutatja, hogyan optimalizálhatja a beolvasást az Advanced settings (Speciális beállítások) használatával a weboldal-betanítási ablakban (Training > Links > Add New Training: Website).
Miért lehet jobb a kevesebb betanítás?
A ChatLab RAG (Retrieval-Augmented Generation) architektúrát használ. Ahelyett, hogy a weboldal teljes tartalmát megjegyezné, a mesterséges intelligencia minden egyes felhasználói kérdés feltevésekor megkeresi a leginkább releváns információkat, és ezek alapján fogalmazza meg a választ.
A túl sok adat problémája
A több adat nem jelent mindig jobb válaszokat. A lényegtelen vagy redundáns tartalom hozzáadása megzavarhatja a visszakeresési folyamatot:
- A RAG pontozza a tartalomrészleteket a felhasználó kérdéséhez mért relevancia alapján. Ha a webhely sok olyan oldalt tartalmaz, amelyeken ismétlődő, pontatlan vagy általános szövegek találhatók (menük, láblécek, sajtóközlemények, blogcímke-oldalak), azok rontják a keresési eredmények minőségét.
- Amikor a chatbot több olyan alacsony értékű részletet hív le, amelyek kulcsszavai megegyeznek, de hiányzik belőlük a hasznos kontextus, pontatlan, túlságosan általános vagy témán kívüli válaszokat adhat.
- Például: Ha a lábléc minden oldalon olyan linkeket tartalmaz, mint a „Kezdőlap”, „Kapcsolat”, „Adatvédelem”, „GYIK”, a bot a láblécből származó általános bekezdéssel válaszolhat a hasznos telefonszám vagy e-mail-cím helyett, amikor a felhasználó megkérdezi: „Hogyan léphetek kapcsolatba Önökkel?”
Erős jel, minimális zaj = jobb válaszok
Ha kizárólag a hasznos tartalmat pásztázza be, segít a mesterséges intelligenciának abban, hogy minden kérdéshez egyértelmű, specifikus és kiváló minőségű kontextust találjon meg. Fókuszáljon a következőkre:
- Termékleírások
- GYIK-oldalak
- Támogatási cikkek
- Szabályzatok dokumentumai
- Főbb érkezőoldalak
Webáruházat üzemeltet? A legnagyobb megtakarítást az jelenti, ha kihagyja a termékeket a pásztázásból. Ha a termékek az AI Search funkcióból vagy élő áruházi keresésből érkeznek, zárja ki a termék- és kategóriaoldalakat az alábbi URL-szűrőkkel, és csak az információs oldalakat pásztázza be. Az AI Search termékei nem használnak betanítási karaktereket. Lásd: E-commerce plans and limits.
Használjon oldaltérképet a teljes webhely-beolvasás helyett
Ajánlott: Amikor csak lehetséges, használja a sitemap (oldaltérkép) opciót.
A teljes webhely-beolvasás az oldalon található összes látható hivatkozást követi, beleértve a láblécekben, menükben és oldalsávokban lévő linkeket is, ami gyakran ismétlődő vagy értéktelen tartalmak beolvasásához vezet. Ezek a részek jellemzően minden oldalon jelen vannak, és ritkán tartalmaznak egyedi, a csevegési válaszokhoz hasznos információt.
Az oldaltérkép (amely gyakran a https://yourdomain.com/sitemap.xml címen érhető el) megadja a feltérképezőnek a lehetséges URL-ek listáját. Ellenőrizze, hogy mit tartalmaz: előfordulhat, hogy még így is szerepelnek benne irreleváns oldalak. Használjon URL-szűrőket ezen oldalak kizárására, valamint Content Filtering (Tartalomszűrés) opciót az ismétlődő fejlécek, láblécek vagy menük eltávolítására minden oldalról.
A speciális beállítások áttekintése
A speciális beállítások eléréséhez kattintson az Add New Training: Website (Új betanítás hozzáadása: Weboldal) lehetőségre a Training fülön, majd nyissa le az Advanced settings (Speciális beállítások) szakaszt. A beállítások négy kategóriába vannak rendezve:
- URL Filtering (URL-szűrés) - Megadhatja, hogy mely URL-ek kerüljenek bele a beolvasásba vagy kizárásra
- Query Parameters (Lekérdezési paraméterek) - URL-paraméterek kezelése
- Content Filtering (Tartalomszűrés) - Meghatározott oldalelemek szűrése
- Scraping Behavior (Adatkinyerési viselkedés) - A tartalom kinyerési módjának konfigurálása
URL-szűrés (URL Filtering)
Csak meghatározott URL-ek bevonása
Mező: Advanced Settings > URL Filtering > Include only URLs that contain (Csak az alábbiakat tartalmazó URL-ek bevonása)
Adjon meg pontosvesszővel elválasztott kulcsszavakat, hogy csak bizonyos URL-eket vonjon be a beolvasásba.
Példa: Olyan oldalak bevonásához, amelyek URL-je tartalmazza az /en vagy a /help karakterláncot:
/en;/help
Ezek a minták vagylagos feltételek, nem metszetek: nem azt jelentik, hogy kizárólag angol nyelvű súgóoldalak kerülnek beolvasásra. Ha az Ön angol súgóoldalai mind tartalmazzák az /en/help/ részt, használja inkább ezt az egyetlen részletet. A minta kiválasztása előtt ellenőrizze a tényleges URL-struktúrát.
Irreleváns URL-ek kizárása
Mező: Advanced Settings > URL Filtering > Exclude URLs that contain (Az alábbiakat tartalmazó URL-ek kizárása)
Adjon meg pontosvesszővel elválasztott kulcsszavakat az olyan szakaszok kihagyásához, mint a blogok, képek vagy hírek.
Példa:
/news;/pictures;/press
Ezzel elkerülheti a sok tartalmat hordozó, de a chatbot szempontjából lényegtelen részek, például a hírek vagy képgalériák beolvasását.
Lekérdezési paraméterek (Query Parameters)
Minden lekérdezési paraméter figyelmen kívül hagyása
Mező: Advanced Settings > Query Parameters > Ignore all query parameters (Minden lekérdezési paraméter figyelmen kívül hagyása)
Jelölje be ezt a négyzetet, ha a különböző lekérdezési paraméterekkel rendelkező URL-eket ugyanazon oldalként szeretné kezelni. Ezzel megelőzhető a tartalom duplikációja, de össze is vonhat eltérő termékeket vagy cikkeket, ha a tartalom azonosítása lekérdezési paraméter alapján történik. Tartsa meg az érdemi paramétereket, például a termékazonosítót (product ID).
Meghatározott lekérdezési paraméterek figyelmen kívül hagyása
Mező: Advanced Settings > Query Parameters > Ignore specific query parameters (Meghatározott lekérdezési paraméterek figyelmen kívül hagyása)
Adjon meg pontosvesszővel elválasztott paraméterneveket a meghatározott nyomkövetési vagy szűrési paraméterek figyelmen kívül hagyásához.
Példa:
ref;source;campaign;utm_source
Ez a beállítás a page.html?ref=email és a page.html?ref=social hivatkozásokat azonos URL-ként kezeli.
Tartalomszűrés (Content Filtering)
Meghatározott elemek bevonása
Mező: Advanced Settings > Content Filtering > Include element IDs (Elem-azonosítók bevonása)
Adjon meg pontosvesszővel elválasztott elem-azonosítókat, hogy az oldalnak csak bizonyos részeit olvassa be. Használja a #id formátumot az elem-azonosítókhoz, a .classname formátumot az osztályokhoz, valamint a szögletes zárójeleket az attribútumokhoz: a [data-id="82874db"] pontosan az adott attribútumértékkel rendelkező elemekre illeszkedik, míg a [data-content] minden olyan elemre illeszkedik, amely rendelkezik ezzel az attribútummal.
Példa:
#main-content;.article-body;[data-section="product"]
Ez a beállítás kizárólag a fő tartalmi területet, a cikktörzseket és a termékszakaszokat olvassa be, minden mást figyelmen kívül hagyva.
Hivatkozások követése csak a bevont elemekben
Mező: Advanced Settings > Content Filtering > Follow only links in included elements (Hivatkozások követése csak a bevont elemekben)
Ez a kapcsoló akkor jelenik meg, ha megadott értékeket az Include element IDs mezőben. Ha be van kapcsolva, a feltérképező csak a bevont elemeken belül található linkeket követi. Ez akkor hasznos, ha a feltérképezést a weboldal bizonyos szakaszaira szeretné korlátozni - például a cikkek tartalmi területére -, miközben figyelmen kívül hagyja a fejlécekben vagy láblécekben lévő navigációs menüket.
Alapértelmezett érték: Kikapcsolva (az oldalon található összes hivatkozást követi)
Oldalelemek kizárása
Mező: Advanced Settings > Content Filtering > Exclude element IDs (Elem-azonosítók kizárása)
Megakadályozza a fejlécek, láblécek és egyéb elrendezési elemek beolvasását. Ugyanaz a szelektor-szintaxis érvényes: előtag nélkül header és footer, #id, .classname, vagy szögletes zárójelben lévő attribútum, mint például a [data-id="82874db"] vagy a [data-nosnippet]. Az attribútumszelektorok akkor hasznosak, ha az elhagyni kívánt elem nem rendelkezik stabil azonosítóval vagy osztállyal, de van olyan data-* attribútuma, amelyet kimásolhat a böngésző fejlesztői eszközeiből.
Példa:
header;footer;#navigation;.sidebar;[data-nosnippet]
Ez eltávolítja azokat a HTML-blokkokat, amelyek minden oldalon ismétlődnek, és általában nem tartalmaznak hasznos információt a chatbot számára.
Hivatkozások követése a kizárt elemekben
Mező: Advanced Settings > Content Filtering > Follow links in excluded elements (Hivatkozások követése a kizárt elemekben)
Ez a kapcsoló akkor jelenik meg, ha megadott értékeket az Exclude element IDs mezőben. Ha be van kapcsolva, a feltérképező továbbra is követi a kizárt elemekben (például a fejlécek navigációs menüiben) található linkeket, még akkor is, ha magát a tartalmat kizárja a betanításból.
Alapértelmezett érték: Kikapcsolva (a kizárt elemekben lévő hivatkozásokat nem követi)
Használati eset: Kapcsolja be ezt a lehetőséget, ha ki szeretné zárni a fejléc/lábléc tartalmát a betanításból, de továbbra is szüksége van arra, hogy a feltérképező felfedezze az oldalakat az ezeken a területeken található navigációs linkeken keresztül. Így mindkét előnyt élvezheti: tiszta betanítási adatokat kap a menük felesleges szövegei nélkül, miközben a teljes webhely feltérképezése megmarad.
Fontos: Ha teljes webhely-beolvasást használ, és kizár olyan elemeket, mint a fejléc anélkül, hogy bekapcsolná a "Follow links in excluded elements" opciót, előfordulhat, hogy a szkenner nem találja meg a mélyebben fekvő hivatkozásokat (a menük gyakran a fejlécekben találhatók). Ebben az esetben kapcsolja be ezt a funkciót, vagy használjon oldaltérképet a legbiztonságosabb és leghatékonyabb megoldásként.
Scraping Behavior (Adatkinyerési viselkedés)
Scrape Documents
Mező: Advanced Settings > Scraping Behavior > Scrape documents (Dokumentumok kinyerése)
Ha engedélyezi, a rendszer kinyeri és feldolgozza a webhelyen található dokumentumok tartalmát. Jelenleg a PDF-fájlokat támogatja.
Exclude Image Links
Mező: Advanced Settings > Scraping Behavior > Exclude image links (Képhivatkozások kizárása)
Kapcsolja be ezt a kapcsolót, hogy kizárja az összes képhivatkozást a betanítási adatkészletből. A képek URL-címei karaktereket fogyaszthatnak, még akkor is, ha maga a képfájl nem szövegként kerül betanításra. Eltávolításuk azonban a hasznos képhivatkozásokat is törölheti az Offer Cards funkcióhoz.
Hasonlítsa össze a tárolt előnézetet, hogy lássa, mennyi karaktert takarít meg vele, és megmaradnak-e a szükséges képhivatkozások.
Scrape Hidden Contents
Mező: Advanced Settings > Scraping Behavior > Scrape hidden contents (Rejtett tartalmak kinyerése)
Ha engedélyezve van (alapértelmezett), a rendszer kinyeri a tartalmat a rejtett HTML-elemekből (a támogatott beágyazott stílusok, HTML-attribútumok vagy gyakori rejtett osztályok által rejtettként megjelölt elemekből).
Alapértelmezett érték: Bekapcsolva
Mikor kapcsolja ki: Kapcsolja ki ezt az opciót a rejtett tartalmak, valamint az ezen szabályok alapján rejtettként felismert elemek kihagyásához. Ez akkor hasznos, ha a webhelyek ilyen rejtett tartalmakat tartalmaznak:
- Összecsukott harmonikaszekciók (accordion)
- Csak mobilon vagy csak asztali gépen megjelenő tartalom
- Rejtett űrlapmezők
- Az oldal által elrejtett, ismétlődő elrendezési szövegek
Ennek kikapcsolása csökkentheti a nem releváns szövegek mennyiségét, de hasznos harmonikaválaszokat vagy termékadatokat is eltávolíthat. Ahelyett, hogy feltételezné, hogy minden rejtett elem felesleges, vizsgálja meg a kinyert forrást.
Delay Between Pages
Mező: Advanced Settings > Scraping Behavior > Delay between pages (Késleltetés az oldalak között)
Állítson be egy késleltetést (másodpercben) az egyes oldalak beolvasása között, hogy elkerülje a szerver túlterhelését. Akkor hasznos, ha a webhely sebességkorlátozással (rate limiting) rendelkezik.
Simulate Visit From Specific Country
Mező: Advanced Settings > Scraping Behavior > Country code (Országkód)
Ha a webhely a látogató helyétől függően eltérő tartalmat jelenít meg, adjon meg egy 2 betűs országkódot (pl. US, PL, DE) az adott helyről történő beolvasás szimulálásához.
Javasolt konfiguráció a legtöbb weboldalhoz
Használja ezeket a beállításokat kiindulási pontként, és ellenőrizze a kinyert tartalmat, mielőtt a teljes webhelyére alkalmazná őket:
- Használjon oldaltérképet (sitemap), ha elérhető, a pontos URL-vezérlés érdekében
- Elem-azonosítók kizárása (Exclude element IDs):
header;footer;#navigation;.sidebar - Kapcsolja be az "Exclude image links" lehetőséget a képek URL-címeinek betanításból való eltávolításához
- Kapcsolja ki a "Scrape hidden contents" beállítást, ha az Ön webhelye sok rejtett elemet tartalmaz
- Fontolja meg a "Follow links in excluded elements" bekapcsolását, ha kizárt fejlécek mellett teljes beolvasást végez
Nincs fix megtakarítási százalék. Először tesztelje a beállításokat egy reprezentatív oldalon, és hasonlítsa össze a kinyert tartalmat, a karakterszámot, valamint a chatbot válaszait. Csak olyan szelektort használjon, amely illeszkedik az Ön weboldalához.
Összegzés: Bevált gyakorlatok
- Használjon oldaltérképet a teljes beolvasás helyett a pontos szabályozás érdekében
- Vonjon be URL-eket, hogy csak az értékes tartalmakat célozza meg
- Zárjon ki URL-eket az irreleváns vagy nagy méretű oldalak kihagyásához
- Hagyja figyelmen kívül a lekérdezési paramétereket a duplikált tartalmak elkerüléséhez
- Zárjon ki elem-azonosítókat az ismétlődő oldalrészek, például a fejlécek és láblécek eltávolításához
- Szabályozza a hivatkozások követését a "Follow only links in included elements" vagy a "Follow links in excluded elements" beállítással a finomhangolt feltérképezéshez
- Zárja ki a képhivatkozásokat a karakterszám jelentős csökkentése érdekében
- Kapcsolja ki a rejtett tartalmak beolvasását, ha webhelye felesleges rejtett elemeket tartalmaz
- Fókuszáljon a hasznos tartalomra a bot szempontjából (GYIK-ek, termékoldalak, támogatási cikkek)
A beolvasás befejezése és ellenőrzése
Kezdje a Single address (Egyetlen cím) opcióval, hogy tesztelje a szűrőket egy reprezentatív oldalon. Kattintson a Start scanning the website (Weboldal beolvasásának indítása) gombra, várja meg a Training completed (Betanítás befejezve) állapotot, majd a View (Megtekintés) gomb segítségével ellenőrizze, hogy a szükséges tények és linkek megmaradtak-e. A feldolgozási idő az oldaltól függ; a nagyobb beolvasások tovább tarthatnak, és a háttérben folytatódnak. Ezután alkalmazza az ellenőrzött szűrőket a szélesebb körű webhely- vagy oldaltérkép-beolvasáshoz, és teszteljen reprezentatív kérdéseket az Overview (Áttekintés) menüpontban. Ha a teljes feltérképezés kihagy oldalakat, ellenőrizze a hivatkozáskövetési opciókat, vagy használjon oldaltérképet.