Apmācot savu tērzēšanas robotu ar vietnes datiem, skenēto datu apjoma ierobežošana līdz visnoderīgākajai informācijai palīdz samazināt izmantoto rakstzīmju skaitu, paātrina apmācību un uzlabo atbilžu kvalitāti, jo uzmanība tiek vērsta tikai uz būtisko saturu.
Vispirms izveidojiet tērzēšanas robotu un izlasiet rakstu Jaunu vietnes avotu pievienošana, lai iepazītos ar pilnu skenēšanas procesu. Pirms atverat Training (Apmācība), atlasiet savu tērzēšanas robotu. Šajā ceļvedī ir paskaidrots, kā optimizēt skenēšanu, izmantojot sadaļu Advanced settings (Papildu iestatījumi) vietnes apmācības logā (Training > Links > Add New Training: Website).
Kāpēc mazāks apmācības apjoms var būt labāks
ChatLab izmanto RAG (Retrieval-Augmented Generation) arhitektūru. Tā vietā, lai iegaumētu visu vietnes saturu, mākslīgais intelekts katra lietotāja jautājuma brīdī meklē visatbilstošākos informācijas fragmentus un izmanto tos atbildes ģenerēšanai.
Problēma ar pārāk lielu datu apjomu
Vairāk datu ne vienmēr nozīmē labākas atbildes. Pievienojot neatbilstošu vai lieku saturu, var tikt apgrūtināts meklēšanas process:
- RAG novērtē satura fragmentu atbilstību lietotāja jautājumam. Ja Jūsu vietnē ir daudz lapu ar atkārtotu, neskaidru vai vispārīgu tekstu (izvēlnes, kājenes, preses relīzes, emuāra tagu lapas), tas pasliktina meklēšanas rezultātu kvalitāti.
- Kad robots atlasa vairākus mazvērtīgus fragmentus, kuriem ir kopīgi atslēgvārdi, bet trūkst noderīga konteksta, tas var ģenerēt neprecīzas, pārāk vispārīgas vai neatbilstošas atbildes.
- Piemēram: ja Jūsu vietnes kājenē katrā lapā ir saites, piemēram, "Sākums", "Kontakti", "Privātums", "BUJ", robots uz lietotāja jautājumu "Kā es varu ar jums sazināties?" noderīga tālruņa numura vai e-pasta vietā var atbildēt ar vispārīgu rindkopu no kājenes.
Vairāk noderīga satura, mazāk trokšņa = labākas atbildes
Skenējot tikai noderīgu saturu, Jūs palīdzat mākslīgajam intelektam katram jautājumam atlasīt skaidru, konkrētu un kvalitatīvu kontekstu. Pievērsiet uzmanību šādiem elementiem:
- Produktu apraksti
- BUJ lapas
- Atbalsta raksti
- Politiku dokumenti
- Galvenās mērķlapas
Uzturat interneta veikalu? Lielāko ietaupījumu sniedz produktu izslēgšana no skenēšanas. Ja produkti tiek ņemti no AI Search vai veikala tiešās meklēšanas, izslēdziet produktu un kategoriju lapas, izmantojot tālāk norādītos URL filtrus, un skenējiet tikai informatīvās lapas. Produkti funkcijā AI Search neizmanto apmācības rakstzīmes. Skatiet E-komercijas plāni un limiti.
Izmantojiet vietnes karti (sitemap), nevis pilnu vietnes skenēšanu
Ieteikums: pēc iespējas izmantojiet sitemap opciju.
Pilna vietnes skenēšana seko visām lapā redzamajām saitēm, tostarp saitēm no kājenēm, izvēlnēm un sānjoslām, kas bieži noved pie atkārtota vai nevērtīga satura skenēšanas. Šīs sadaļas parasti atrodas katrā lapā un reti satur unikālu informāciju, kas būtu noderīga tērzēšanas atbildēm.
Vietnes karte (bieži atrodama adresē https://yourdomain.com/sitemap.xml) nodrošina rāpulim potenciālo URL sarakstu. Pārbaudiet, ko tā satur: tajā joprojām var būt iekļautas nebūtiskas lapas. Izmantojiet URL filtrus, lai izslēgtu šīs lapas, un Content Filtering (Satura filtrēšana), lai no katras lapas noņemtu atkārtotas galvenes, kājenes vai izvēlnes.
Papildu iestatījumu pārskats
Lai piekļūtu papildu iestatījumiem, cilnē Training noklikšķiniet uz Add New Training: Website (Pievienot jaunu apmācību: vietne) un pēc tam izvērsiet sadaļu Advanced settings (Papildu iestatījumi). Iestatījumi ir sakārtoti četrās kategorijās:
- URL Filtering (URL filtrēšana) - kontrolējiet, kurus URL iekļaut vai izslēgt
- Query Parameters (Vaicājuma parametri) - pārvaldiet URL parametrus
- Content Filtering (Satura filtrēšana) - filtrējiet konkrētus lapas elementus
- Scraping Behavior (Iegūšanas darbība) - konfigurējiet, kā tiek iegūts saturs
URL Filtering
Iekļaut tikai konkrētus URL
Lauks: Advanced Settings > URL Filtering > Include only URLs that contain (Iekļaut tikai URL, kas satur)
Pievienojiet ar semikolu atdalītus atslēgvārdus, lai skenēšanā iekļautu tikai konkrētus URL.
Piemērs: lai iekļautu lapas, kuru URL satur /en vai /help:
/en;/help
Šie šabloni ir alternatīvas, nevis šķēlums: tie nenozīmē tikai angļu valodas palīdzības lapas. Ja visas jūsu angļu valodas palīdzības lapas satur kopīgu fragmentu /en/help/, tā vietā izmantojiet šo vienu apakšvirkni. Pirms šablona izvēles pārbaudiet faktisko URL struktūru.
Izslēgt nebūtiskus URL
Lauks: Advanced Settings > URL Filtering > Exclude URLs that contain (Izslēgt URL, kas satur)
Pievienojiet ar semikolu atdalītus atslēgvārdus, lai izlaistu tādas sadaļas kā emuāri, attēli vai ziņas.
Piemērs:
/news;/pictures;/press
Tas ļauj izvairīties no tādu sadaļu skenēšanas, kurās ir daudz satura, bet kuras nav būtiskas tērzēšanas robotam, piemēram, ziņu vai attēlu galeriju.
Query Parameters
Ignorēt visus vaicājuma parametrus
Lauks: Advanced Settings > Query Parameters > Ignore all query parameters (Ignorēt visus vaicājuma parametrus)
Atzīmējiet šo izvēles rūtiņu, lai URL ar atšķirīgiem vaicājuma parametriem uzskatītu par vienu un to pašu lapu. Tas var novērst satura dublēšanos, taču var arī apvienot atsevišķus produktus vai rakstus, ja vaicājuma parametrs identificē saturu. Saglabājiet nozīmīgus parametrus, piemēram, produkta ID.
Ignorēt konkrētus vaicājuma parametrus
Lauks: Advanced Settings > Query Parameters > Ignore specific query parameters (Ignorēt konkrētus vaicājuma parametrus)
Pievienojiet ar semikolu atdalītus parametru nosaukumus, lai ignorētu konkrētus izsekošanas vai filtrēšanas parametrus.
Piemērs:
ref;source;campaign;utm_source
Tādējādi adreses page.html?ref=email un page.html?ref=social tiks uzskatītas par vienu un to pašu URL.
Content Filtering
Iekļaut konkrētus elementus
Lauks: Advanced Settings > Content Filtering > Include element IDs (Iekļaut elementu ID)
Pievienojiet ar semikolu atdalītus elementu identifikatorus, lai skenētu tikai konkrētas lapas daļas. Izmantojiet #id elementu ID, .classname klasēm un kvadrātiekavas atribūtiem: [data-id="82874db"] atlasa elementus ar tieši šādu atribūta vērtību, bet [data-content] atlasa visus elementus, kuriem šis atribūts vispār ir norādīts.
Piemērs:
#main-content;.article-body;[data-section="product"]
Tas ļauj skenēt tikai galvenā satura apgabalu, rakstu tekstus un produktu sadaļas, ignorējot visu pārējo.
Sekot saitēm tikai iekļautajos elementos
Lauks: Advanced Settings > Content Filtering > Follow only links in included elements (Sekot saitēm tikai iekļautajos elementos)
Šis slēdzis parādās, kad norādāt Include element IDs. Kad tas ir iespējots, rāpulis sekos tikai saitēm, kas atrodas iekļautajos elementos. Tas ir noderīgi, ja vēlaties ierobežot pārmeklēšanu līdz noteiktām vietnes sadaļām, piemēram, rakstu satura apgabaliem, vienlaikus ignorējot navigācijas izvēlnes galvenēs vai kājenēs.
Noklusējums: atspējots (tiek sekots visām lapā esošajām saitēm)
Izslēgt lapas elementus
Lauks: Advanced Settings > Content Filtering > Exclude element IDs (Izslēgt elementu ID)
Novērsiet galveņu, kājeņu un citu izkārtojuma elementu skenēšanu. Tiek piemērota tā pati selektoru sintakse: header un footer bez prefiksa, #id, .classname vai atribūts kvadrātiekavās, piemēram, [data-id="82874db"] vai [data-nosnippet]. Atribūtu selektori ir noderīgi, ja elementam, kuru vēlaties izslēgt, nav stabila id vai klases, bet ir data-* atribūts, ko varat nokopēt no pārlūkprogrammas izstrādātāja rīkiem.
Piemērs:
header;footer;#navigation;.sidebar;[data-nosnippet]
Tas noņem HTML blokus, kas atkārtojas katrā lapā un parasti nesatur jūsu tērzēšanas robotam noderīgu informāciju.
Sekot saitēm izslēgtajos elementos
Lauks: Advanced Settings > Content Filtering > Follow links in excluded elements (Sekot saitēm izslēgtajos elementos)
Šis slēdzis parādās, kad norādāt Exclude element IDs. Kad tas ir iespējots, rāpulis joprojām sekos saitēm, kas atrodas izslēgtajos elementos (piemēram, navigācijas izvēlnēs galvenēs), lai gan pats saturs no apmācības tiek izslēgts.
Noklusējums: atspējots (saitēm izslēgtajos elementos netiek sekots)
Lietošanas gadījums: iespējojiet šo opciju, ja vēlaties izslēgt galvenes/kājenes saturu no apmācības, taču jums joprojām ir nepieciešams, lai rāpulis atrastu lapas, izmantojot šajās zonās esošās navigācijas saites. Tādējādi tiek iegūti abi ieguvumi: tīri apmācības dati bez lieka izvēļņu satura, vienlaikus pārmeklējot visu vietni.
Svarīgi: ja izmantojat pilnu vietnes skenēšanu un izslēdzat tādus elementus kā header, neiespējojot "Follow links in excluded elements", skeneris var neatrast dziļākas saites (izvēlnes bieži atrodas galvenēs). Šādā gadījumā vai nu iespējojiet slēdzi, vai izmantojiet vietnes karti, kas ir drošākā un efektīvākā metode.
Scraping Behavior
Skenēt dokumentus
Lauks: Advanced Settings > Scraping Behavior > Scrape documents (Iegūt dokumentu saturu)
Kad šī opcija ir iespējota, sistēma izvelk un apstrādā vietnē atrasto dokumentu saturu. Pašlaik tiek atbalstīti PDF faili.
Izslēgt attēlu saites
Lauks: Advanced Settings > Scraping Behavior > Exclude image links (Izslēgt attēlu saites)
Iespējojiet šo slēdzi, lai no apmācības datu kopas izslēgtu visas attēlu saites. Attēlu URL var palielināt rakstzīmju skaitu pat tad, ja pats attēla fails netiek apmācīts kā teksts. To noņemšana var arī noņemt noderīgas attēlu atsauces funkcijai Offer Cards.
Salīdziniet saglabāto priekšskatījumu, lai redzētu, cik daudz vietas tas ietaupa un vai nepieciešamās attēlu atsauces paliek pieejamas.
Skenēt slēpto saturu
Lauks: Advanced Settings > Scraping Behavior > Scrape hidden contents (Iegūt slēpto saturu)
Kad opcija ir iespējota (pēc noklusējuma), sistēma iegūst saturu no slēptajiem HTML elementiem (elementiem, kas atzīmēti kā slēpti ar atbalstītiem iekļautajiem stiliem, HTML atribūtiem vai izplatītām slēpto elementu klasēm).
Noklusējums: iespējots
Kad atspējot: atspējojiet šo opciju, lai izlaistu slēpto saturu un izlaistu elementus, kas saskaņā ar šiem noteikumiem tiek atpazīti kā slēpti. Tas ir noderīgi, ja vietnēs ir šāds slēpts saturs:
- Sakļautās akordeona sadaļas
- Tikai mobilajām ierīcēm vai tikai galddatoriem paredzēts saturs
- Slēptie veidlapu lauki
- Atkārtots izkārtojuma teksts, ko lapa paslēpj
Šīs opcijas atspējošana var samazināt nebūtiska teksta apjomu, taču tā var arī noņemt noderīgas akordeona atbildes vai informāciju par produktiem. Pārbaudiet iegūto avota saturu, nevis pieņemiet, ka katrs slēptais elements ir nevēlams.
Aizkave starp lapām
Lauks: Advanced Settings > Scraping Behavior > Delay between pages (Aizkave starp lapām)
Pievienojiet aizkavi (sekundēs) starp katras lapas skenēšanu, lai nepārslogotu serveri. Noder vietnēm ar pieprasījumu skaita ierobežojumiem (rate limiting).
Simulēt apmeklējumu no konkrētas valsts
Lauks: Advanced Settings > Scraping Behavior > Country code (Valsts kods)
Ja jūsu vietnē tiek rādīts atšķirīgs saturs atkarībā no apmeklētāja atrašanās vietas, ievadiet 2 burtu valsts kodu (piemēram, US, PL, DE), lai simulētu skenēšanu no šīs vietas.
Ieteicamā konfigurācija lielākajai daļai vietņu
Izmantojiet šos iestatījumus kā sākumpunktu un pirms to piemērošanas visai vietnei pārbaudiet iegūto saturu:
- Izmantojiet vietnes karti, ja tā ir pieejama, precīzai URL kontrolei
- Izslēdziet elementu ID:
header;footer;#navigation;.sidebar - Iespējojiet "Exclude image links", lai no apmācības noņemtu attēlu URL
- Atspējojiet "Scrape hidden contents", ja jūsu vietnē ir daudz slēptu elementu
- Apsveriet iespēju izmantot "Follow links in excluded elements", ja veicat pilnu skenēšanu ar izslēgtām galvenēm
Nav fiksēta ietaupījuma procenta. Vispirms pārbaudiet iestatījumus vienā reprezentatīvā lapā un salīdziniet iegūto saturu, rakstzīmju skaitu un tērzēšanas robota atbildes. Neizmantojiet selektoru, ja vien tas neatbilst jūsu vietnei.
Kopsavilkums: paraugprakse
- Izmantojiet vietnes karti, nevis pilnu skenēšanu, lai iegūtu precīzu kontroli
- Iekļaujiet URL, lai atlasītu tikai vērtīgu saturu
- Izslēdziet URL, lai izlaistu nebūtiskas vai satura ziņā smagas lapas
- Ignorējiet vaicājuma parametrus, lai izvairītos no satura dublēšanās
- Izslēdziet elementu ID, lai noņemtu atkārtotas lapas daļas, piemēram, galvenes un kājenes
- Pārvaldiet sekošanu saitēm, izmantojot "Follow only links in included elements" vai "Follow links in excluded elements", lai precīzi kontrolētu pārmeklēšanu
- Izslēdziet attēlu saites, lai ievērojami samazinātu rakstzīmju skaitu
- Atspējojiet slēptā satura iegūšanu, ja jūsu vietnē ir nevajadzīgi slēptie elementi
- Koncentrējieties uz noderīgu saturu savam robotam (BUJ, produktu lapas, atbalsta raksti)
Pabeidziet skenēšanu un pārbaudiet rezultātu
Sāciet ar Single address (Viena adrese), lai pārbaudītu filtrus reprezentatīvā lapā. Noklikšķiniet uz Start scanning the website (Sākt vietnes skenēšanu), sagaidiet statusu Training completed (Apmācība pabeigta) un izmantojiet View (Skatīt), lai pārbaudītu, vai nepieciešamie fakti un saites ir saglabāti. Apstrādes laiks ir atkarīgs no lapas; lielāku skenēšanu apstrāde var aizņemt ilgāku laiku un turpināties fonā. Pēc tam izmantojiet pārbaudītos filtrus plašākai vietnes vai sitemap skenēšanai un pārbaudiet reprezentatīvus jautājumus sadaļā Overview (Pārskats). Ja pilnas pārmeklēšanas laikā kādas lapas netiek atrastas, pārbaudiet saišu sekošanas opcijas vai izmantojiet vietnes karti.