Τι είναι το μέγεθος περιβάλλοντος συνομιλίας;
Το μέγεθος περιβάλλοντος συνομιλίας (chat context size) καθορίζει πόσες πληροφορίες αποστέλλονται στο AI κάθε φορά που ένας επισκέπτης κάνει μια ερώτηση. Το περιβάλλον περιλαμβάνει τις οδηγίες ρόλου του chatbot σας (το prompt), τη συνομιλία μέχρι εκείνο το σημείο και τα πιο σχετικά αποσπάσματα δεδομένων εκπαίδευσης που ανακτώνται από τη βάση γνώσεών σας. Ένα token είναι ένα μικρό τμήμα κειμένου που διαβάζει το AI - ο αριθμός διαφέρει ανάλογα με τη γλώσσα και το μοντέλο, επομένως τα tokens δεν είναι το ίδιο με τους χαρακτήρες ή τις λέξεις.
Πλεονεκτήματα ενός μεγαλύτερου περιβάλλοντος:
- Περισσότερος χώρος για λεπτομερείς οδηγίες ρόλου χωρίς να περιορίζεται η βάση γνώσεών σας
- Καλύτερη κατανόηση εκτενέστερων συνομιλιών
- Δυνατότητα απάντησης σε σύνθετες ερωτήσεις με ταυτόχρονη αναφορά σε περισσότερα δεδομένα εκπαίδευσης
- Όταν είναι ενεργοποιημένη η μνήμη συνομιλίας, περισσότερος χώρος για συνόψεις και προφίλ πελατών από προηγούμενες συνομιλίες
Πώς να αλλάξετε το μέγεθος περιβάλλοντος
Επιλέξτε το chatbot σας, κάντε κλικ στην καρτέλα Settings (Ρυθμίσεις) και, στη συνέχεια, επιλέξτε Model & Advanced (Μοντέλο & προχωρημένα) στην αριστερή πλευρική γραμμή.
Εντοπίστε το αναπτυσσόμενο μενού Context size (Μέγεθος περιβάλλοντος) και επιλέξτε την επιλογή που προτιμάτε:
- 8000 tokens (default) - 1x message credits (πιστώσεις μηνυμάτων)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Οι επιλογές 16K και 32K διατίθενται ως λειτουργίες premium - εμφανίζονται στη λίστα μόνο όταν το πρόγραμμά σας περιλαμβάνει το μεγαλύτερο περιβάλλον συνομιλίας.
Περιμένετε να εμφανιστεί η ένδειξη Saved (Αποθηκεύτηκε) και, στη συνέχεια, δοκιμάστε μια νέα συνομιλία στην ενότητα Overview (Επισκόπηση) με μια ερώτηση που απαιτεί αρκετά σχετικά δεδομένα. Ένα μεγαλύτερο περιβάλλον δεν αυξάνει το όριο αποθηκευτικού χώρου εκπαίδευσης ούτε εγγυάται καλύτερη απάντηση. Συγκρίνετε τα αποτελέσματα προτού διατηρήσετε το υψηλότερο κόστος πιστώσεων.
Πώς κατανέμεται το παράθυρο περιβάλλοντος
Το περιβάλλον είναι ένας κοινόχρηστος προϋπολογισμός. Σε κάθε μήνυμα, κατανέμεται μεταξύ των εξής στοιχείων:
- Το prompt σας - προκαθορισμένες οδηγίες ρόλου που έχουν δημιουργηθεί ή οι οδηγίες που γράψατε στο Custom Role Definition (Προσαρμοσμένος ορισμός ρόλου)
- Οδηγίες συστήματος - ένα μικρό μέρος που προσθέτει το ChatLab ώστε το bot να συμπεριφέρεται σωστά
- Εργαλεία - εάν το bot σας χρησιμοποιεί AI Actions ή ενσωματώσεις, οι οδηγίες τους καταλαμβάνουν ένα μερίδιο
- Μνήμη συνομιλίας - η πρόσφατη συνομιλία, καθώς και συνόψεις και προφίλ πελατών όταν είναι ενεργοποιημένη η μνήμη συνομιλίας
- Υπόλοιπο για τη βάση γνώσεών σας - οτιδήποτε απομένει χρησιμοποιείται για δεδομένα εκπαίδευσης που αντιστοιχούν στην ερώτηση του επισκέπτη
Το βασικό συμπέρασμα: όσο περισσότερο χώρο καταλαμβάνουν οι οδηγίες σας, τόσο λιγότερη γνώση μπορεί να χρησιμοποιήσει το AI για να απαντήσει. Η αύξηση του μεγέθους περιβάλλοντος επεκτείνει ολόκληρο τον προϋπολογισμό, επομένως τόσο οι οδηγίες όσο και η βάση γνώσεών σας αποκτούν περισσότερο χώρο.
Ο μετρητής χρήσης περιβάλλοντος
Όταν ορίζετε έναν προσαρμοσμένο ρόλο, το ChatLab σάς δείχνει σε πραγματικό χρόνο πόσο μέρος του περιβάλλοντος καταναλώνουν οι οδηγίες σας. Επιλέξτε το chatbot σας και μεταβείτε στο Settings > Role & Behavior (Ρυθμίσεις > Ρόλος & συμπεριφορά), και στη συνέχεια μεταβείτε στην καρτέλα Custom Role Definition. Ο μετρητής εμφανίζεται ακριβώς κάτω από το πρόγραμμα επεξεργασίας οδηγιών.
Η έγχρωμη γραμμή είναι μια μικρογραφία ολόκληρου του παραθύρου περιβάλλοντος: κάθε τμήμα αποτελεί ένα από τα μέρη που αναφέρονται παραπάνω, και το πράσινο τμήμα στα δεξιά είναι αυτό που απομένει για τη βάση γνώσεών σας. Δίπλα στη γραμμή βλέπετε τον αριθμό tokens του prompt σας σε σύγκριση με μια συνιστώμενη οδηγία (για παράδειγμα "~788 / 2,400 tokens · 8k") και μια αξιολόγηση:
- Optimal (Βέλτιστο) - το prompt σας χωράει άνετα. απομένει άφθονος χώρος για γνώση.
- Getting large (Αρχίζει να μεγαλώνει) - το prompt αρχίζει να επιβαρύνει το περιβάλλον. εξετάστε το ενδεχόμενο να το συντομεύσετε.
- Too large (Πολύ μεγάλο) - το prompt υπερβαίνει τη συνιστώμενη οδηγία ή αφήνει πολύ λίγο χώρο για γνώση. οι απαντήσεις ενδέχεται να υποβαθμιστούν.
Κάντε κλικ στη γραμμή για να αναπτύξετε την πλήρη ανάλυση:
Ο ανεπτυγμένος πίνακας εμφανίζει τον κατά προσέγγιση αριθμό tokens για κάθε μέρος και ένα αναπτυσσόμενο μενού Chat context size, ώστε να μπορείτε να αυξήσετε το μέγεθος περιβάλλοντος απευθείας από εκεί, χωρίς να μεταβείτε στο Model & Advanced. Ο ακριβής διαχωρισμός διαφέρει ανά συνομιλία - ο πίνακας αποτελεί εκτίμηση και όχι ακριβή μέτρηση.
Γύρω από το πρόγραμμα επεξεργασίας εμφανίζονται δύο όρια, τα οποία λειτουργούν διαφορετικά:
- Όριο χαρακτήρων - ένα αυστηρό όριο που εμφανίζεται από τον μετρητή του προγράμματος επεξεργασίας, το οποίο μπορεί να εξαρτάται από τη συνδρομή του κατόχου του bot. το πρόγραμμα επεξεργασίας δεν δέχεται μεγαλύτερο prompt.
- Οδηγία tokens (ο μετρητής) - μια ενδεικτική σύσταση. η υπέρβασή της δεν εμποδίζει την αποθήκευση, αλλά αφήνει λιγότερο χώρο για τη βάση γνώσεών σας και τη μνήμη συνομιλίας.
Εάν ο μετρητής γίνει κόκκινος, προτείνει δύο λύσεις: να αυξήσετε το μέγεθος περιβάλλοντος συνομιλίας (τα μηνύματα κοστίζουν τότε περισσότερες πιστώσεις - το 16K κοστίζει 2x, το 32K 4x, δείτε τις πιστώσεις μηνυμάτων), ή να μεταφέρετε σενάρια βήμα προς βήμα εκτός του prompt σε στάδια του Conversation Flow, όπως εξηγείται παρακάτω.
Μέγεθος περιβάλλοντος και Conversation Flow
Το Conversation Flow σάς επιτρέπει να χωρίσετε τη συμπεριφορά του bot σας σε στάδια, το καθένα με τις δικές του οδηγίες. Όταν η ροή είναι ενεργοποιημένη, οι οδηγίες του ενεργού σταδίου προστίθενται στο prompt - επομένως μοιράζονται τον ίδιο προϋπολογισμό περιβάλλοντος. Οι εκτενείς οδηγίες σταδίου σε συνδυασμό με έναν εκτενή προσαρμοσμένο ρόλο αφήνουν λιγότερο χώρο για τη βάση γνώσεών σας στο ίδιο μέγεθος περιβάλλοντος.
Το μέγεθος περιβάλλοντος ελέγχει επίσης το μέγιστο μήκος των οδηγιών κάθε σταδίου:
- Περιβάλλον 8.000 tokens - έως 1.000 χαρακτήρες ανά στάδιο
- Περιβάλλον 16.000 ή 32.000 tokens - έως 6.000 χαρακτήρες ανά στάδιο
Η αύξηση του μεγέθους περιβάλλοντος επιτυγχάνει επομένως δύο πράγματα ταυτόχρονα: αυξάνει το όριο οδηγιών ανά στάδιο και επαναφέρει χώρο για τη βάση γνώσεων. Το αντίστροφο λειτουργεί επίσης - εάν το prompt του προσαρμοσμένου ρόλου σας είναι πολύ μεγάλο, η μεταφορά σεναρίων βήμα προς βήμα σε στάδια ροής διατηρεί τον βασικό ρόλο σύντομο, επειδή οι οδηγίες κάθε σταδίου φορτώνονται μόνο όταν η συνομιλία βρίσκεται σε αυτό το στάδιο.
Κόστος πιστώσεων ανά μέγεθος περιβάλλοντος
Το προεπιλεγμένο μέγεθος περιβάλλοντος είναι 8.000 tokens. Η αύξησή του πολλαπλασιάζει τον αριθμό των πιστώσεων μηνυμάτων που καταναλώνει κάθε απάντηση:
- 8.000 tokens - 1x πιστώσεις μηνυμάτων (προεπιλογή)
- 16.000 tokens - 2x πιστώσεις μηνυμάτων ανά μήνυμα
- 32.000 tokens - 4x πιστώσεις μηνυμάτων ανά μήνυμα
Ο πολλαπλασιαστής συνδυάζεται με το κόστος πιστώσεων του μοντέλου AI που επιλέγετε - ένα μεγαλύτερο περιβάλλον καθιστά κάθε απάντηση αυτού του μοντέλου αναλογικά πιο ακριβή.