Kada trenirate svog bota na veb-sajtu, ograničavanje količine skeniranih podataka na ono što je najkorisnije pomaže u smanjenju potrošnje karaktera, ubrzava treniranje i poboljšava kvalitet odgovora fokusiranjem isključivo na relevantan sadržaj.
Prvo kreirajte chatbota i pročitajte Dodavanje novih izvora sa veb-sajta za kompletan tok skeniranja. Izaberite svog chatbota pre otvaranja kartice Training (Treniranje). Ovaj vodič objašnjava kako da optimizujete skeniranje pomoću odeljka Advanced settings (Napredna podešavanja) u prozoru za treniranje putem veb-sajta (Training > Links > Add New Training: Website).
Zašto manje treniranja može biti bolje
ChatLab koristi arhitekturu RAG (Retrieval-Augmented Generation). Umesto da pamti celokupan sadržaj veb-sajta, AI u trenutku svakog korisničkog pitanja pretražuje najrelevantnije delove informacija i koristi ih za generisanje odgovora.
Problem sa previše podataka
Više podataka ne znači uvek i bolje odgovore. Dodavanje nerelevantnog ili suvišnog sadržaja može da zbuni proces pretrage:
- RAG ocenjuje delove sadržaja prema relevantnosti za pitanje korisnika. Ako Vaš sajt sadrži mnogo stranica sa tekstom koji se ponavlja, nejasan je ili uopšten (meniji, podnožja, saopštenja za medije, stranice sa oznakama bloga), oni umanjuju kvalitet rezultata pretrage.
- Kada chatbot preuzme više delova niske vrednosti koji dele ključne reči, ali nemaju koristan kontekst, može generisati netačne, previše opšte odgovore ili odgovore van teme.
- Na primer: Ako Vaše podnožje na svakoj stranici sadrži linkove kao što su "Početna", "Kontakt", "Privatnost", "FAQ", bot bi mogao da odgovori opštim pasusom iz podnožja umesto korisnim brojem telefona ili e-mailom kada korisnik pita "Kako mogu da vas kontaktiram?"
Visok signal, malo šuma = bolji odgovori
Skeniranjem samo korisnog sadržaja pomažete AI-ju da pronađe jasan, konkretan i visokokvalitetan kontekst za svako pitanje. Fokusirajte se na:
- Opise proizvoda
- FAQ stranice
- Članke za podršku
- Dokumente sa pravilima poslovanja
- Ključne odredišne stranice
Vodite internet prodavnicu? Najveća ušteda se postiže izuzimanjem proizvoda iz skeniranja. Kada proizvodi dolaze iz funkcije AI Search ili pretrage prodavnice uživo, isključite stranice proizvoda i kategorija pomoću filtera URL adresa u nastavku i skenirajte samo informativne stranice. Proizvodi u AI Search ne troše karaktere za treniranje (training characters). Pogledajte E-commerce plans and limits.
Koristite mapu sajta umesto potpunog skeniranja veb-sajta
Preporučeno: Koristite opciju sitemap (mapa sajta) kad god je to moguće.
Potpuno skeniranje veb-sajta prati sve vidljive linkove na stranici, uključujući linkove iz podnožja, menija i bočnih traka, što često dovodi do skeniranja ponavljajućeg ili bezvrednog sadržaja. Ovi delovi su obično prisutni na svakoj stranici i retko sadrže jedinstvene informacije korisne za odgovore u chatu.
Mapa sajta (često na adresi https://yourdomain.com/sitemap.xml) pruža crawler-u listu kandidata za URL-ove. Proverite šta ona uključuje: i dalje može sadržati nerelevantne stranice. Koristite URL filtere da biste isključili te stranice i Content Filtering (Filtriranje sadržaja) da biste uklonili ponovljena zaglavlja, podnožja ili menije sa svake stranice.
Pregled naprednih podešavanja
Da biste pristupili naprednim podešavanjima, kliknite na Add New Training: Website (Dodaj novo treniranje: Veb-sajt) u kartici Training, a zatim proširite odeljak Advanced settings. Podešavanja su organizovana u četiri kategorije:
- URL Filtering (Filtriranje URL-ova) - Kontrola koje URL-ove treba uključiti ili isključiti
- Query Parameters (Parametri upita) - Upravljanje parametrima u URL-u
- Content Filtering (Filtriranje sadržaja) - Filtriranje specifičnih elemenata stranice
- Scraping Behavior (Ponašanje pri prikupljanju podataka) - Konfigurisanje načina na koji se sadržaj izdvaja
URL Filtering
Uključivanje samo specifičnih URL-ova
Polje: Advanced Settings > URL Filtering > Include only URLs that contain
Dodajte ključne reči razdvojene tačkom i zarezom da biste u skeniranje uključili samo specifične URL-ove.
Primer: Da biste uključili stranice čiji URL sadrži ili /en ili /help:
/en;/help
Ovi obrasci predstavljaju alternative, a ne presek: oni ne znače samo stranice pomoći na engleskom jeziku. Ako sve Vaše stranice pomoći na engleskom dele /en/help/, umesto toga upotrebite taj pojedinačni podstring. Proverite stvarnu strukturu URL-ova pre nego što odaberete obrazac.
Isključivanje nerelevantnih URL-ova
Polje: Advanced Settings > URL Filtering > Exclude URLs that contain
Dodajte ključne reči razdvojene tačkom i zarezom da biste preskočili odeljke kao što su blogovi, slike ili vesti.
Primer:
/news;/pictures;/press
Ovim se izbegava skeniranje odeljaka bogatih sadržajem, ali nerelevantnih za chatbota, kao što su vesti ili galerije slika.
Query Parameters
Ignorisanje svih parametara upita
Polje: Advanced Settings > Query Parameters > Ignore all query parameters
Označite ovo polje za potvrdu da biste URL-ove sa različitim parametrima upita tretirali kao istu stranicu. Ovo može sprečiti dupliranje sadržaja, ali takođe može spojiti različite proizvode ili članke ako parametar upita služi za identifikaciju sadržaja. Zadržite parametre koji nose značenje, kao što je ID proizvoda.
Ignorisanje specifičnih parametara upita
Polje: Advanced Settings > Query Parameters > Ignore specific query parameters
Dodajte nazive parametara razdvojene tačkom i zarezom da biste ignorisali specifične parametre za praćenje ili filtriranje.
Primer:
ref;source;campaign;utm_source
Ovo tretira page.html?ref=email i page.html?ref=social kao isti URL.
Content Filtering
Uključivanje specifičnih elemenata
Polje: Advanced Settings > Content Filtering > Include element IDs
Dodajte identifikatore elemenata razdvojene tačkom i zarezom da biste skenirali samo određene delove stranice. Koristite #id za ID-jeve elemenata, .classname za klase i uglaste zagrade za atribute: [data-id="82874db"] odgovara elementima sa tom tačnom vrednošću atributa, dok [data-content] odgovara svakom elementu koji uopšte ima taj atribut.
Primer:
#main-content;.article-body;[data-section="product"]
Ovo skenira samo oblast glavnog sadržaja, telo članaka i odeljke o proizvodima, ignorišući sve ostalo.
Praćenje linkova samo unutar uključenih elemenata
Polje: Advanced Settings > Content Filtering > Follow only links in included elements
Ovaj prekidač se pojavljuje kada navedete Include element IDs. Kada je omogućen, crawler će pratiti samo linkove pronađene unutar uključenih elemenata. Ovo je korisno kada želite da ograničite prikupljanje na specifične delove veb-sajta, kao što su oblasti sa sadržajem članaka, dok se navigacioni meniji u zaglavljima ili podnožjima ignorišu.
Podrazumevano: Onemogućeno (prate se svi linkovi na stranici)
Isključivanje elemenata stranice
Polje: Advanced Settings > Content Filtering > Exclude element IDs
Sprečite skeniranje zaglavlja, podnožja i drugih elemenata rasporeda stranice. Primenjuje se ista sintaksa selektora: header i footer bez prefiksa, #id, .classname ili atribut u uglastim zagradama kao što je [data-id="82874db"] ili [data-nosnippet]. Selektori atributa su praktični kada element koji želite da uklonite nema stabilan id ili klasu, ali ima data-* atribut koji možete kopirati iz alatki za programere u pregledaču.
Primer:
header;footer;#navigation;.sidebar;[data-nosnippet]
Ovo uklanja HTML blokove koji se ponavljaju na svakoj stranici i uglavnom ne sadrže koristan sadržaj za Vašeg chatbota.
Praćenje linkova u isključenim elementima
Polje: Advanced Settings > Content Filtering > Follow links in excluded elements
Ovaj prekidač se pojavljuje kada navedete Exclude element IDs. Kada je omogućen, crawler će i dalje pratiti linkove pronađene unutar isključenih elemenata (poput navigacionih menija u zaglavljima) iako je sam sadržaj isključen iz treniranja.
Podrazumevano: Onemogućeno (linkovi u isključenim elementima se ne prate)
Primer upotrebe: Omogućite ovo kada želite da isključite sadržaj zaglavlja/podnožja iz treniranja, ali Vam je i dalje potrebno da crawler otkriva stranice putem navigacionih linkova u tim oblastima. Ovo Vam pruža najbolje od oba pristupa: čiste podatke za treniranje bez nereda iz menija, uz istovremeno skeniranje celog sajta.
Važno: Ako koristite potpuno skeniranje veb-sajta i isključite elemente kao što je zaglavlje bez uključivanja opcije „Follow links in excluded elements", skener možda neće otkriti dublje linkove (meniji se često nalaze unutar zaglavlja). U tom slučaju, ili omogućite prekidač ili koristite mapu sajta kao najsigurniji i najefikasniji metod.
Scraping Behavior (Ponašanje indeksiranja)
Scrape Documents
Polje: Advanced Settings > Scraping Behavior > Scrape documents
Kada je uključeno, sistem izdvaja i obrađuje sadržaj dokumenata pronađenih na veb-sajtu. Trenutno podržava PDF datoteke.
Exclude Image Links
Polje: Advanced Settings > Scraping Behavior > Exclude image links
Uključite ovu opciju da biste isključili sve linkove ka slikama iz skupa podataka za treniranje. URL adrese slika mogu dodati znakove iako se sama slikovna datoteka ne trenira kao tekst. Njihovo uklanjanje takođe može ukloniti korisne reference na slike za Offer Cards.
Uporedite sačuvani pregled da biste videli koliko znakova štedi i da li su potrebne reference na slike i dalje tu.
Scrape Hidden Contents
Polje: Advanced Settings > Scraping Behavior > Scrape hidden contents
Kada je omogućeno (podrazumevano), sistem izdvaja sadržaj iz skrivenih HTML elemenata (elemenata označenih kao skriveni pomoću podržanih inline stilova, HTML atributa ili uobičajenih CSS klasa za skrivanje).
Podrazumevano: Omogućeno
Kada isključiti: Isključite ovu opciju da biste preskočili skriveni sadržaj i zaobišli elemente koji su prema ovim pravilima prepoznati kao skriveni. Ovo je korisno kada veb-sajtovi sadrže skriveni sadržaj kao što su:
- Skupljene harmonika (accordion) sekcije
- Sadržaj samo za mobilne uređaje ili samo za desktop
- Skrivena polja formulara
- Ponovljeni tekst rasporeda koji je sakriven na stranici
Isključivanje ove opcije može smanjiti nebitan tekst, ali takođe može ukloniti korisne odgovore iz harmonika sekcija ili detalje o proizvodima. Pregledajte izdvojeni izvor umesto da pretpostavljate da je svaki skriveni element neželjen.
Delay Between Pages
Polje: Advanced Settings > Scraping Behavior > Delay between pages
Dodajte pauzu (u sekundama) između skeniranja svake stranice kako biste sprečili preopterećenje svog servera. Korisno za veb-sajtove sa ograničenjem broja zahteva (rate limiting).
Simulate Visit From Specific Country
Polje: Advanced Settings > Scraping Behavior > Country code
Ako Vaš sajt prikazuje različit sadržaj u zavisnosti od lokacije posetioca, unesite 2-slovni kod države (npr. US, PL, DE) da biste simulirali skeniranje sa te lokacije.
Preporučena konfiguracija za većinu veb-sajtova
Koristite ova podešavanja kao polaznu tačku i proverite izdvojeni sadržaj pre nego što ih primenite na ceo veb-sajt:
- Koristite mapu sajta kada je dostupna radi precizne kontrole URL-ova
- Exclude element IDs:
header;footer;#navigation;.sidebar - Omogućite „Exclude image links" da biste uklonili URL-ove slika iz treniranja
- Onemogućite „Scrape hidden contents" ako Vaš sajt ima mnogo skrivenih elemenata
- Razmotrite opciju „Follow links in excluded elements" ako koristite potpuno skeniranje sa isključenim zaglavljima
Ne postoji fiksni procenat uštede. Prvo testirajte podešavanja na jednoj reprezentativnoj stranici i uporedite izdvojeni sadržaj, broj karaktera i odgovore chatbota. Nemojte koristiti selektor osim ako ne odgovara Vašem veb-sajtu.
Rezime: Najbolje prakse
- Koristite mapu sajta umesto potpunog skeniranja za preciznu kontrolu
- Uključite URL-ove da biste ciljali samo vredan sadržaj
- Isključite URL-ove da biste preskočili nerelevantne ili preobimne stranice
- Ignorišite parametre upita da biste izbegli duplirani sadržaj
- Isključite ID-jeve elemenata da biste uklonili delove stranice koji se ponavljaju, poput zaglavlja i podnožja
- Kontrolišite praćenje linkova pomoću opcija „Follow only links in included elements" ili „Follow links in excluded elements" za preciznu kontrolu indeksiranja
- Isključite linkove slika kako biste značajno smanjili broj karaktera
- Onemogućite prikupljanje skrivenog sadržaja ako Vaš sajt ima nepotrebne skrivene elemente
- Fokusirajte se na koristan sadržaj za Vašeg bota (česta pitanja, stranice proizvoda, članci podrške)
Završite skeniranje i proverite
Započnite sa opcijom Single address (Pojedinačna adresa) da biste testirali filtere na reprezentativnoj stranici. Kliknite na Start scanning the website (Započni skeniranje veb-sajta), sačekajte poruku Training completed (Treniranje završeno) i upotrebite View (Pregled) da biste proverili da li su potrebne činjenice i linkovi ostali. Vreme obrade zavisi od stranice; veća skeniranja mogu trajati duže i nastaviti se u pozadini. Zatim upotrebite proverene filtere za šire skeniranje veb-sajta ili mape sajta, i testirajte reprezentativna pitanja u kartici Overview (Pregled). Ako potpuno indeksiranje propusti stranice, proverite opcije za praćenje linkova ili upotrebite mapu sajta.