Όταν εκπαιδεύετε το chatbot σας σε έναν ιστότοπο, ο περιορισμός του όγκου των σαρωμένων δεδομένων σε ό,τι είναι πιο χρήσιμο βοηθά στη μείωση της χρήσης χαρακτήρων, επιταχύνει την εκπαίδευση και βελτιώνει την ποιότητα των απαντήσεων εστιάζοντας μόνο σε σχετικό περιεχόμενο.
Αρχικά δημιουργήστε ένα chatbot και διαβάστε το άρθρο Προσθήκη νέων πηγών ιστότοπου για την πλήρη διαδικασία σάρωσης. Επιλέξτε το chatbot σας πριν ανοίξετε την ενότητα Training (Εκπαίδευση). Αυτός ο οδηγός εξηγεί πώς να βελτιστοποιήσετε τη σάρωσή σας χρησιμοποιώντας τις Advanced settings (Σύνθετες ρυθμίσεις) στο παράθυρο εκπαίδευσης ιστότοπου (Training > Links > Add New Training: Website).
Γιατί η λιγότερη εκπαίδευση μπορεί να είναι καλύτερη
Το ChatLab χρησιμοποιεί αρχιτεκτονική RAG (Retrieval-Augmented Generation). Αντί να αποστηθίζει όλο το περιεχόμενο του ιστότοπου, η AI αναζητά τα πιο σχετικά αποσπάσματα πληροφοριών τη στιγμή της κάθε ερώτησης του χρήστη και τα χρησιμοποιεί για να δημιουργήσει μια απάντηση.
Το πρόβλημα με τα υπερβολικά πολλά δεδομένα
Περισσότερα δεδομένα δεν σημαίνουν απαραίτητα καλύτερες απαντήσεις. Η προσθήκη άσχετου ή περιττού περιεχομένου μπορεί να προκαλέσει σύγχυση στη διαδικασία ανάκτησης:
- Το RAG αξιολογεί τμήματα περιεχομένου (chunks) ως προς τη συνάφειά τους με την ερώτηση του χρήστη. Εάν ο ιστότοπός σας περιέχει πολλές σελίδες με επαναλαμβανόμενο, ασαφές ή γενικόλογο κείμενο (μενού, υποσέλιδα, δελτία τύπου, σελίδες ετικετών ιστολογίου), αυτά αλλοιώνουν την ποιότητα των αποτελεσμάτων αναζήτησης.
- Όταν το chatbot ανακτά πολλαπλά τμήματα χαμηλής αξίας που μοιράζονται λέξεις-κλειδιά αλλά στερούνται χρήσιμου πλαισίου, ενδέχεται να δημιουργήσει ανακριβείς, υπερβολικά γενικές ή άσχετες απαντήσεις.
- Για παράδειγμα: Εάν το υποσέλιδό σας περιέχει συνδέσμους όπως "Αρχική", "Επικοινωνία", "Απόρρητο", "Συχνές ερωτήσεις" σε κάθε σελίδα, το bot ενδέχεται να απαντήσει με μια γενική παράγραφο από το υποσέλιδο αντί για έναν χρήσιμο αριθμό τηλεφώνου ή email όταν ένας χρήστης ρωτάει "Πώς μπορώ να επικοινωνήσω μαζί σας;".
Υψηλό σήμα, χαμηλός θόρυβος = Καλύτερες απαντήσεις
Σαρώνοντας μόνο το χρήσιμο περιεχόμενο, βοηθάτε την AI να ανακτά σαφές, συγκεκριμένο και υψηλής ποιότητας πλαίσιο για κάθε ερώτηση. Εστιάστε σε:
- Περιγραφές προϊόντων
- Σελίδες συχνών ερωτήσεων (FAQ)
- Άρθρα υποστήριξης
- Έγγραφα πολιτικής
- Βασικές σελίδες προορισμού (landing pages)
Διαχειρίζεστε ηλεκτρονικό κατάστημα; Η μεγαλύτερη εξοικονόμηση προκύπτει κρατώντας τα προϊόντα εκτός σάρωσης. Όταν τα προϊόντα προέρχονται από το AI Search ή από ζωντανή αναζήτηση καταστήματος, εξαιρέστε τις σελίδες προϊόντων και κατηγοριών με τα παρακάτω φίλτρα URL και σαρώστε μόνο ενημερωτικές σελίδες. Τα προϊόντα στο AI Search δεν καταναλώνουν χαρακτήρες εκπαίδευσης. Δείτε Πλάνα e-commerce και όρια.
Χρησιμοποιήστε sitemap αντί για πλήρη σάρωση ιστότοπου
Συνιστάται: Χρησιμοποιήστε την επιλογή sitemap όποτε είναι δυνατόν.
Η πλήρης σάρωση ιστότοπου ακολουθεί όλους τους ορατούς συνδέσμους στη σελίδα, συμπεριλαμβανομένων των συνδέσμων από υποσέλιδα, μενού και πλευρικές γραμμές, γεγονός που συχνά οδηγεί στη σάρωση επαναλαμβανόμενου ή μη χρήσιμου περιεχομένου. Αυτές οι ενότητες συνήθως υπάρχουν σε κάθε σελίδα και σπάνια περιλαμβάνουν μοναδικές πληροφορίες χρήσιμες για απαντήσεις συνομιλίας.
Ένα sitemap (συχνά στη διεύθυνση https://yourdomain.com/sitemap.xml) δίνει στον crawler μια λίστα υποψήφιων διευθύνσεων URL. Ελέγξτε τι περιλαμβάνει: μπορεί να περιέχει ακόμη άσχετες σελίδες. Χρησιμοποιήστε φίλτρα URL για να εξαιρέσετε αυτές τις σελίδες και το Content Filtering (Φιλτράρισμα περιεχομένου) για να αφαιρέσετε επαναλαμβανόμενες κεφαλίδες, υποσέλιδα ή μενού από κάθε σελίδα.
Επισκόπηση σύνθετων ρυθμίσεων
Για να αποκτήσετε πρόσβαση στις σύνθετες ρυθμίσεις, κάντε κλικ στο Add New Training: Website (Προσθήκη νέας εκπαίδευσης: Ιστότοπος) στην καρτέλα Training και, στη συνέχεια, αναπτύξτε την ενότητα Advanced settings. Οι ρυθμίσεις είναι οργανωμένες σε τέσσερις κατηγορίες:
- URL Filtering (Φιλτράρισμα URL) - Έλεγχος των διευθύνσεων URL που θα συμπεριληφθούν ή θα εξαιρεθούν
- Query Parameters (Παράμετροι ερωτήματος) - Διαχείριση παραμέτρων URL
- Content Filtering (Φιλτράρισμα περιεχομένου) - Φιλτράρισμα συγκεκριμένων στοιχείων σελίδας
- Scraping Behavior (Συμπεριφορά απόξεσης) - Διαμόρφωση του τρόπου εξαγωγής περιεχομένου
URL Filtering
Συμπερίληψη μόνο συγκεκριμένων διευθύνσεων URL
Πεδίο: Advanced Settings > URL Filtering > Include only URLs that contain (Συμπερίληψη μόνο διευθύνσεων URL που περιέχουν)
Προσθέστε λέξεις-κλειδιά διαχωρισμένες με ελληνικό ερωτηματικό (semicolon) για να συμπεριλάβετε μόνο συγκεκριμένες διευθύνσεις URL στη σάρωση.
Παράδειγμα: Για να συμπεριλάβετε σελίδες των οποίων το URL περιέχει είτε /en είτε /help:
/en;/help
Αυτά τα μοτίβα λειτουργούν ως εναλλακτικές λύσεις και όχι ως τομή: δεν σημαίνουν μόνο σελίδες βοήθειας στα αγγλικά. Εάν όλες οι αγγλικές σελίδες βοήθειας μοιράζονται το /en/help/, χρησιμοποιήστε αυτήν τη μοναδική υποσυμβολοσειρά. Ελέγξτε την πραγματική δομή URL πριν επιλέξετε ένα μοτίβο.
Εξαίρεση άσχετων διευθύνσεων URL
Πεδίο: Advanced Settings > URL Filtering > Exclude URLs that contain (Εξαίρεση διευθύνσεων URL που περιέχουν)
Προσθέστε λέξεις-κλειδιά διαχωρισμένες με ελληνικό ερωτηματικό για να παραλείψετε ενότητες όπως ιστολόγια, εικόνες ή νέα.
Παράδειγμα:
/news;/pictures;/press
Αυτό αποτρέπει τη σάρωση ενοτήτων με μεγάλο όγκο περιεχομένου που είναι όμως άσχετες με το chatbot, όπως ειδήσεις ή συλλογές εικόνων.
Query Parameters
Παράβλεψη όλων των παραμέτρων ερωτήματος
Πεδίο: Advanced Settings > Query Parameters > Ignore all query parameters (Παράβλεψη όλων των παραμέτρων ερωτήματος)
Ενεργοποιήστε αυτό το πλαίσιο ελέγχου για να αντιμετωπίζονται οι διευθύνσεις URL με διαφορετικές παραμέτρους ερωτήματος ως η ίδια σελίδα. Αυτό μπορεί να αποτρέψει το διπλότυπο περιεχόμενο, αλλά μπορεί επίσης να συγχωνεύσει ξεχωριστά προϊόντα ή άρθρα εάν η παράμετρος ερωτήματος προσδιορίζει το περιεχόμενο. Διατηρήστε παραμέτρους με ουσιαστική σημασία, όπως ένα αναγνωριστικό προϊόντος (product ID).
Παράβλεψη συγκεκριμένων παραμέτρων ερωτήματος
Πεδίο: Advanced Settings > Query Parameters > Ignore specific query parameters (Παράβλεψη συγκεκριμένων παραμέτρων ερωτήματος)
Προσθέστε ονόματα παραμέτρων διαχωρισμένα με ελληνικό ερωτηματικό για να αγνοήσετε συγκεκριμένες παραμέτρους παρακολούθησης ή φιλτραρίσματος.
Παράδειγμα:
ref;source;campaign;utm_source
Αυτό αντιμετωπίζει τα page.html?ref=email και page.html?ref=social ως την ίδια διεύθυνση URL.
Content Filtering
Συμπερίληψη συγκεκριμένων στοιχείων
Πεδίο: Advanced Settings > Content Filtering > Include element IDs (Συμπερίληψη αναγνωριστικών στοιχείων)
Προσθέστε αναγνωριστικά στοιχείων διαχωρισμένα με ελληνικό ερωτηματικό για να σαρώσετε μόνο συγκεκριμένα μέρη της σελίδας. Χρησιμοποιήστε #id για αναγνωριστικά στοιχείων, .classname για κλάσεις και αγκύλες για χαρακτηριστικά: το [data-id="82874db"] αντιστοιχεί σε στοιχεία με αυτήν ακριβώς την τιμή χαρακτηριστικού, ενώ το [data-content] αντιστοιχεί σε κάθε στοιχείο που διαθέτει το συγκεκριμένο χαρακτηριστικό γενικά.
Παράδειγμα:
#main-content;.article-body;[data-section="product"]
Αυτό σαρώνει μόνο την περιοχή του κύριου περιεχομένου, τα σώματα των άρθρων και τις ενότητες προϊόντων, αγνοώντας οτιδήποτε άλλο.
Ακολουθήστε συνδέσμους μόνο σε στοιχεία που περιλαμβάνονται
Πεδίο: Advanced Settings > Content Filtering > Follow only links in included elements (Ακολουθήστε συνδέσμους μόνο σε στοιχεία που περιλαμβάνονται)
Αυτός ο διακόπτης εμφανίζεται όταν ορίζετε Include element IDs. Όταν είναι ενεργοποιημένος, ο crawler θα ακολουθεί μόνο συνδέσμους που βρίσκονται μέσα στα στοιχεία που έχουν συμπεριληφθεί. Αυτό είναι χρήσιμο όταν θέλετε να περιορίσετε την ανίχνευση σε συγκεκριμένες ενότητες του ιστότοπου, όπως περιοχές περιεχομένου άρθρων, αγνοώντας τα μενού πλοήγησης σε κεφαλίδες ή υποσέλιδα.
Προεπιλογή: Απενεργοποιημένο (ακολουθούνται όλοι οι σύνδεσμοι στη σελίδα)
Εξαίρεση στοιχείων σελίδας
Πεδίο: Advanced Settings > Content Filtering > Exclude element IDs (Εξαίρεση αναγνωριστικών στοιχείων)
Αποτρέψτε τη σάρωση κεφαλίδων, υποσέλιδων και άλλων στοιχείων διάταξης. Ισχύει η ίδια σύνταξη επιλογέα: header και footer χωρίς πρόθεμα, #id, .classname, ή ένα χαρακτηριστικό σε αγκύλες όπως [data-id="82874db"] ή [data-nosnippet]. Οι επιλογείς χαρακτηριστικών είναι πρακτικοί όταν το στοιχείο που θέλετε να αφαιρέσετε δεν έχει σταθερό id ή class αλλά φέρει ένα χαρακτηριστικό data-* που μπορείτε να αντιγράψετε από τα εργαλεία ανάπτυξης του προγράμματος περιήγησης.
Παράδειγμα:
header;footer;#navigation;.sidebar;[data-nosnippet]
Αυτό αφαιρεί μπλοκ HTML που επαναλαμβάνονται σε κάθε σελίδα και γενικά δεν περιέχουν χρήσιμο περιεχόμενο για το chatbot σας.
Ακολουθήστε συνδέσμους σε εξαιρούμενα στοιχεία
Πεδίο: Advanced Settings > Content Filtering > Follow links in excluded elements (Ακολουθήστε συνδέσμους σε εξαιρούμενα στοιχεία)
Αυτός ο διακόπτης εμφανίζεται όταν ορίζετε Exclude element IDs. Όταν είναι ενεργοποιημένος, ο crawler θα εξακολουθεί να ακολουθεί συνδέσμους που βρίσκονται μέσα σε εξαιρούμενα στοιχεία (όπως μενού πλοήγησης σε κεφαλίδες), παρόλο που το ίδιο το περιεχόμενο εξαιρείται από την εκπαίδευση.
Προεπιλογή: Απενεργοποιημένο (οι σύνδεσμοι σε εξαιρούμενα στοιχεία δεν ακολουθούνται)
Περίπτωση χρήσης: Ενεργοποιήστε αυτήν την επιλογή όταν θέλετε να εξαιρέσετε περιεχόμενο κεφαλίδας/υποσέλιδου από την εκπαίδευση, αλλά εξακολουθείτε να χρειάζεστε τον crawler να ανακαλύπτει σελίδες μέσω συνδέσμων πλοήγησης σε αυτές τις περιοχές. Αυτό σας προσφέρει το καλύτερο και των δύο επιλογών: καθαρά δεδομένα εκπαίδευσης χωρίς ακαταστασία από μενού, ανιχνεύοντας ταυτόχρονα ολόκληρο τον ιστότοπό σας.
Σημαντικό: Εάν χρησιμοποιείτε πλήρη σάρωση ιστότοπου και εξαιρείτε στοιχεία όπως το header χωρίς να ενεργοποιήσετε την επιλογή «Follow links in excluded elements», ο σαρωτής ενδέχεται να μην ανακαλύψει βαθύτερους συνδέσμους (τα μενού συχνά βρίσκονται μέσα σε κεφαλίδες). Σε αυτήν την περίπτωση, είτε ενεργοποιήστε τον διακόπτη είτε χρησιμοποιήστε ένα sitemap για την ασφαλέστερη και πιο αποτελεσματική μέθοδο.
Scraping Behavior
Απόξεση εγγράφων
Πεδίο: Advanced Settings > Scraping Behavior > Scrape documents (Απόξεση εγγράφων)
Όταν είναι ενεργοποιημένο, το σύστημα εξάγει και επεξεργάζεται περιεχόμενο εγγράφων που εντοπίζονται στον ιστότοπο. Προς το παρόν υποστηρίζει αρχεία PDF.
Εξαίρεση συνδέσμων εικόνων
Πεδίο: Advanced Settings > Scraping Behavior > Exclude image links (Εξαίρεση συνδέσμων εικόνων)
Ενεργοποιήστε αυτόν τον διακόπτη για να εξαιρέσετε όλους τους συνδέσμους εικόνων από το σύνολο δεδομένων εκπαίδευσης. Οι διευθύνσεις URL εικόνων μπορούν να καταναλώνουν χαρακτήρες παρόλο που το ίδιο το αρχείο εικόνας δεν εκπαιδεύεται ως κείμενο. Η αφαίρεσή τους μπορεί επίσης να αφαιρέσει χρήσιμες αναφορές εικόνων για τις Offer Cards (Κάρτες προσφοράς).
Συγκρίνετε την αποθηκευμένη προεπισκόπηση για να δείτε πόσους χαρακτήρες εξοικονομεί και αν παραμένουν οι απαραίτητες αναφορές εικόνων.
Απόξεση κρυφού περιεχομένου
Πεδίο: Advanced Settings > Scraping Behavior > Scrape hidden contents (Απόξεση κρυφού περιεχομένου)
Όταν είναι ενεργοποιημένο (προεπιλογή), το σύστημα εξάγει περιεχόμενο από κρυφά στοιχεία HTML (στοιχεία που έχουν επισημανθεί ως κρυφά από υποστηριζόμενα ενσωματωμένα στυλ, χαρακτηριστικά HTML ή κοινές κλάσεις απόκρυψης).
Προεπιλογή: Ενεργοποιημένο
Πότε να το απενεργοποιήσετε: Απενεργοποιήστε αυτήν την επιλογή για να παραλείψετε το κρυφό περιεχόμενο και να προσπεράσετε στοιχεία που αναγνωρίζονται ως κρυφά από αυτούς τους κανόνες. Αυτό είναι χρήσιμο όταν οι ιστότοποι περιέχουν κρυφό περιεχόμενο όπως:
- Συμπτυγμένες ενότητες ακορντεόν
- Περιεχόμενο μόνο για κινητά ή μόνο για υπολογιστές
- Κρυφά πεδία φορμών
- Επαναλαμβανόμενο κείμενο διάταξης που αποκρύπτεται από τη σελίδα
Η απενεργοποίηση αυτής της ρύθμισης μπορεί να μειώσει το άσχετο κείμενο, αλλά μπορεί επίσης να αφαιρέσει χρήσιμες απαντήσεις από ακορντεόν ή λεπτομέρειες προϊόντων. Ελέγξτε την εξαγόμενη πηγή αντί να υποθέτετε ότι κάθε κρυφό στοιχείο είναι ανεπιθύμητο.
Καθυστέρηση μεταξύ σελίδων
Πεδίο: Advanced Settings > Scraping Behavior > Delay between pages (Καθυστέρηση μεταξύ σελίδων)
Προσθέστε μια καθυστέρηση (σε δευτερόλεπτα) μεταξύ της σάρωσης κάθε σελίδας για να αποτρέψετε την υπερφόρτωση του διακομιστή σας. Χρήσιμο για ιστότοπους με περιορισμούς ρυθμού αιτημάτων (rate limiting).
Προσομοίωση επίσκεψης από συγκεκριμένη χώρα
Πεδίο: Advanced Settings > Scraping Behavior > Country code (Κωδικός χώρας)
Εάν ο ιστότοπός σας εμφανίζει διαφορετικό περιεχόμενο ανάλογα με την τοποθεσία του επισκέπτη, εισαγάγετε έναν κωδικό χώρας 2 γραμμάτων (π.χ. US, PL, DE) για να προσομοιώσετε τη σάρωση από τη συγκεκριμένη τοποθεσία.
Συνιστώμενη διαμόρφωση για τους περισσότερους ιστότοπους
Χρησιμοποιήστε αυτές τις ρυθμίσεις ως σημείο εκκίνησης και επαληθεύστε το εξαγόμενο περιεχόμενο πριν τις εφαρμόσετε σε ολόκληρο τον ιστότοπό σας:
- Χρησιμοποιήστε sitemap όταν είναι διαθέσιμο για ακριβή έλεγχο URL
- Exclude element IDs:
header;footer;#navigation;.sidebar - Ενεργοποιήστε το «Exclude image links» για να αφαιρέσετε τα URL εικόνων από την εκπαίδευση
- Απενεργοποιήστε το «Scrape hidden contents» εάν ο ιστότοπός σας έχει πολλά κρυφά στοιχεία
- Εξετάστε το «Follow links in excluded elements» εάν χρησιμοποιείτε πλήρη σάρωση με εξαιρούμενες κεφαλίδες
Δεν υπάρχει σταθερό ποσοστό εξοικονόμησης. Δοκιμάστε πρώτα τις ρυθμίσεις σε μία αντιπροσωπευτική σελίδα και συγκρίνετε το εξαγόμενο περιεχόμενο, τον αριθμό χαρακτήρων και τις απαντήσεις του chatbot. Μην χρησιμοποιείτε έναν επιλογέα εκτός εάν αντιστοιχεί στον ιστότοπό σας.
Σύνοψη: Βέλτιστες πρακτικές
- Χρησιμοποιήστε sitemap αντί για πλήρη σάρωση για ακριβή έλεγχο
- Συμπεριλάβετε διευθύνσεις URL για να στοχεύσετε μόνο χρήσιμο περιεχόμενο
- Εξαιρέστε διευθύνσεις URL για να παραλείψετε άσχετες ή βαριές σελίδες
- Αγνοήστε παραμέτρους ερωτήματος για να αποφύγετε το διπλότυπο περιεχόμενο
- Εξαιρέστε αναγνωριστικά στοιχείων για να αφαιρέσετε επαναλαμβανόμενα μέρη της σελίδας, όπως κεφαλίδες και υποσέλιδα
- Ελέγξτε την παρακολούθηση συνδέσμων με το «Follow only links in included elements» ή το «Follow links in excluded elements» για λεπτομερή έλεγχο ανίχνευσης
- Εξαιρέστε συνδέσμους εικόνων για να μειώσετε σημαντικά τον αριθμό χαρακτήρων
- Απενεργοποιήστε την απόξεση κρυφού περιεχομένου εάν ο ιστότοπός σας περιέχει περιττά κρυφά στοιχεία
- Εστιάστε σε χρήσιμο περιεχόμενο για το bot σας (FAQ, σελίδες προϊόντων, άρθρα υποστήριξης)
Ολοκλήρωση της σάρωσης και επαλήθευση
Ξεκινήστε με το Single address (Μεμονωμένη διεύθυνση) για να δοκιμάσετε τα φίλτρα σε μια αντιπροσωπευτική σελίδα. Κάντε κλικ στο Start scanning the website (Έναρξη σάρωσης του ιστότοπου), περιμένετε για την ένδειξη Training completed (Η εκπαίδευση ολοκληρώθηκε) και χρησιμοποιήστε το View (Προβολή) για να ελέγξετε ότι παραμένουν τα απαιτούμενα στοιχεία και οι σύνδεσμοι. Ο χρόνος επεξεργασίας εξαρτάται από τη σελίδα - οι μεγαλύτερες σαρώσεις μπορεί να διαρκέσουν περισσότερο και να συνεχιστούν στο παρασκήνιο. Στη συνέχεια, χρησιμοποιήστε τα επαληθευμένα φίλτρα για την ευρύτερη σάρωση του ιστότοπου ή του sitemap σας και δοκιμάστε αντιπροσωπευτικές ερωτήσεις στην ενότητα Overview (Επισκόπηση). Εάν μια πλήρης ανίχνευση χάνει σελίδες, ελέγξτε τις επιλογές παρακολούθησης συνδέσμων ή χρησιμοποιήστε ένα sitemap.