Τι είναι το μέγεθος πλαισίου συνομιλίας;

Το μέγεθος πλαισίου καθορίζει πόσες πληροφορίες αποστέλλονται στο AI ανά ερώτηση - συμπεριλαμβανομένων των οδηγιών σας, του ιστορικού συνομιλίας και της μνήμης, καθώς και των σχετικών δεδομένων εκπαίδευσης. Το ChatLab προσφέρει 8.000 token (προεπιλογή), 16.000 token και 32.000 token, τα οποία ορίζονται στο Settings (Ρυθμίσεις) > Model & Advanced (Μοντέλο και για προχωρημένους).

Πώς επηρεάζει το μέγεθος πλαισίου τα message credits;

Το πλαίσιο 8K καταναλώνει 1x credits ανά μήνυμα (προεπιλογή), το 16K καταναλώνει 2x και το 32K καταναλώνει 4x. Το μεγαλύτερο πλαίσιο δίνει στο AI περισσότερο χώρο για επεξεργασία, αλλά καταναλώνει περισσότερα message credits.

Τι δείχνει ο μετρητής χρήσης πλαισίου στον επεξεργαστή ρόλων;

Όταν γράφετε έναν προσαρμοσμένο ρόλο, ένας έγχρωμος μετρητής κάτω από τον επεξεργαστή δείχνει πόσο από το πλαίσιο συνομιλίας καταναλώνουν οι οδηγίες σας και πόσο απομένει για τις οδηγίες συστήματος, τη μνήμη συνομιλίας και τη βάση γνώσεών σας. Αξιολογεί το prompt ως Optimal (Βέλτιστο), Getting large (Αυξάνεται) ή Too large (Πολύ μεγάλο).

Πώς επηρεάζει το μέγεθος πλαισίου τη ροή συνομιλίας;

Οι οδηγίες του ενεργού σταδίου προστίθενται στο prompt, επομένως οι εκτενείς οδηγίες σταδίου αφήνουν λιγότερο χώρο για γνώσεις. Με το προεπιλεγμένο πλαίσιο των 8.000 token, κάθε στάδιο δέχεται έως και 1.000 χαρακτήρες - η μετάβαση σε 16K ή 32K αυξάνει το όριο ανά στάδιο σε 6.000 χαρακτήρες και επαναφέρει χώρο για γνώσεις.

Κατανόηση του μεγέθους πλαισίου συνομιλίας

Τι είναι το μέγεθος περιβάλλοντος συνομιλίας;

Το μέγεθος περιβάλλοντος συνομιλίας (chat context size) καθορίζει πόσες πληροφορίες αποστέλλονται στο AI κάθε φορά που ένας επισκέπτης κάνει μια ερώτηση. Το περιβάλλον περιλαμβάνει τις οδηγίες ρόλου του chatbot σας (το prompt), τη συνομιλία μέχρι εκείνη τη στιγμή και τα πιο σχετικά τμήματα δεδομένων εκπαίδευσης που ανακτώνται από τη βάση γνώσεών σας. Ένα token είναι ένα μικρό κομμάτι κειμένου που διαβάζει το AI - κατά μέσο όρο 1 token αντιστοιχεί σε περίπου 4 χαρακτήρες ή περίπου στα 3/4 μιας λέξης.

Πλεονεκτήματα ενός μεγαλύτερου περιβάλλοντος:

Περισσότερος χώρος για λεπτομερείς οδηγίες ρόλου χωρίς να περιορίζεται η βάση γνώσεών σας
Καλύτερη κατανόηση εκτενέστερων συνομιλιών
Δυνατότητα απάντησης σε περίπλοκες ερωτήσεις μέσω ταυτόχρονης αναφοράς σε περισσότερα δεδομένα εκπαίδευσης
Όταν η μνήμη συνομιλίας είναι ενεργοποιημένη, περισσότερος χώρος για συνόψεις και προφίλ πελατών από προηγούμενες συνομιλίες

Πώς να αλλάξετε το μέγεθος περιβάλλοντος

Επιλέξτε το chatbot σας, κάντε κλικ στην καρτέλα Settings (Ρυθμίσεις) και, στη συνέχεια, επιλέξτε Model & Advanced (Μοντέλο και για προχωρημένους) στην αριστερή πλαϊνή γραμμή.

Εντοπίστε το αναπτυσσόμενο μενού Context size (Μέγεθος περιβάλλοντος) και επιλέξτε την προτιμώμενη ρύθμιση:

8000 tokens (default) - 1x message credits (πιστώσεις μηνυμάτων)
16000 tokens (2x message credits/message)
32000 tokens (4x message credits/message)

Οι επιλογές 16K και 32K διατίθενται ως λειτουργίες premium - εμφανίζονται στη λίστα μόνο όταν το πλάνο σας περιλαμβάνει το μεγαλύτερο περιβάλλον συνομιλίας.

Πώς κατανέμεται το παράθυρο περιβάλλοντος

Το περιβάλλον είναι ένας κοινόχρηστος προϋπολογισμός. Σε κάθε μήνυμα, κατανέμεται μεταξύ:

Του prompt σας - οι οδηγίες ρόλου και συμπεριφοράς που γράψατε (μόνο όταν χρησιμοποιείτε το Custom Role Definition)
Των οδηγιών συστήματος - ένας μικρός όγκος που προσθέτει το ChatLab ώστε το bot να συμπεριφέρεται σωστά
Των εργαλείων (Tools) - εάν το bot σας χρησιμοποιεί AI Actions ή ενσωματώσεις, οι οδηγίες τους καταλαμβάνουν ένα μερίδιο
Της μνήμης συνομιλίας - η πρόσφατη συνομιλία, καθώς και συνόψεις και προφίλ πελατών όταν είναι ενεργοποιημένη η μνήμη συνομιλίας
Του υπολοίπου για τη βάση γνώσεών σας - οτιδήποτε απομένει χρησιμοποιείται για δεδομένα εκπαίδευσης που ταιριάζουν με την ερώτηση του επισκέπτη

Το βασικό συμπέρασμα: όσο περισσότερο χώρο καταλαμβάνουν οι οδηγίες σας, τόσο λιγότερη γνώση μπορεί να αξιοποιήσει το AI για να απαντήσει. Η αύξηση του μεγέθους περιβάλλοντος μεγαλώνει ολόκληρο τον προϋπολογισμό, επομένως τόσο οι οδηγίες όσο και οι γνώσεις σας αποκτούν περισσότερο χώρο.

Ο μετρητής χρήσης περιβάλλοντος

Όταν ορίζετε έναν προσαρμοσμένο ρόλο, το ChatLab σας δείχνει σε πραγματικό χρόνο πόσο μέρος του περιβάλλοντος καταναλώνουν οι οδηγίες σας. Επιλέξτε το chatbot σας, μεταβείτε στο Settings > Role & Behavior (Ρόλος και συμπεριφορά) και, στη συνέχεια, μεταβείτε στην καρτέλα Custom Role Definition (Προσαρμοσμένος ορισμός ρόλου). Ο μετρητής εμφανίζεται ακριβώς κάτω από το πρόγραμμα επεξεργασίας οδηγιών.

Η έγχρωμη γραμμή είναι μια μικρογραφία ολόκληρου του παραθύρου περιβάλλοντος: κάθε τμήμα αντιστοιχεί σε ένα από τα μέρη που αναφέρονται παραπάνω, και το πράσινο τμήμα στα δεξιά είναι αυτό που απομένει για τη βάση γνώσεών σας. Δίπλα στη γραμμή βλέπετε τον αριθμό token του prompt σας σε σύγκριση με μια συνιστώμενη κατευθυντήρια γραμμή (για παράδειγμα "~788 / 2,400 tokens · 8k") και μια αξιολόγηση:

Optimal - το prompt σας χωράει άνετα. απομένει άφθονος χώρος για γνώσεις.
Getting large - το prompt αρχίζει να γεμίζει το περιβάλλον. εξετάστε το ενδεχόμενο να το συντομεύσετε.
Too large - το prompt υπερβαίνει τη συνιστώμενη κατευθυντήρια γραμμή ή αφήνει πολύ λίγο χώρο για γνώσεις. οι απαντήσεις ενδέχεται να επιδεινωθούν.

Κάντε κλικ στη γραμμή για να αναπτύξετε την πλήρη ανάλυση:

Ο ανεπτυγμένος πίνακας εμφανίζει τον κατά προσέγγιση αριθμό token για κάθε μέρος και ένα αναπτυσσόμενο μενού Chat context size, ώστε να μπορείτε να αυξήσετε το μέγεθος περιβάλλοντος απευθείας εκεί, χωρίς να μεταβείτε στην ενότητα Model & Advanced. Ο ακριβής διαχωρισμός ποικίλλει ανά συνομιλία - ο πίνακας αποτελεί εκτίμηση και όχι ακριβή μέτρηση.

Γύρω από το πρόγραμμα επεξεργασίας εμφανίζονται δύο όρια, τα οποία λειτουργούν διαφορετικά:

Όριο χαρακτήρων (Character limit) (για παράδειγμα "2,882 / 8,000 characters") - ένα αυστηρό όριο. το πρόγραμμα επεξεργασίας δεν δέχεται μεγαλύτερο prompt.
Κατευθυντήρια γραμμή token (Token guideline) (ο μετρητής) - μια ενδεικτική οδηγία. η υπέρβασή της δεν εμποδίζει την αποθήκευση, αλλά αφήνει λιγότερο χώρο για τη βάση γνώσεών σας και τη μνήμη συνομιλίας.

Εάν ο μετρητής γίνει κόκκινος, προτείνει δύο λύσεις: αυξήστε το μέγεθος περιβάλλοντος συνομιλίας (τότε τα μηνύματα κοστίζουν περισσότερες μονάδες - το 16K είναι 2x, το 32K είναι 4x, δείτε message credits), ή μετακινήστε τα σενάρια βήμα προς βήμα έξω από το prompt στα στάδια του Conversation Flow, όπως εξηγείται παρακάτω.

Μέγεθος περιβάλλοντος και Conversation Flow

Το Conversation Flow (Ροή συνομιλίας) σας επιτρέπει να χωρίσετε τη συμπεριφορά του bot σας σε στάδια, καθένα με τις δικές του οδηγίες. Όταν η ροή είναι ενεργοποιημένη, οι οδηγίες του ενεργού σταδίου προστίθενται στο prompt - επομένως μοιράζονται τον ίδιο προϋπολογισμό περιβάλλοντος. Οι εκτενείς οδηγίες σταδίου σε συνδυασμό με έναν εκτενή προσαρμοσμένο ρόλο αφήνουν λιγότερο χώρο για τη βάση γνώσεών σας στο ίδιο μέγεθος περιβάλλοντος.

Το μέγεθος περιβάλλοντος ελέγχει επίσης το μέγιστο μήκος των οδηγιών κάθε σταδίου:

Περιβάλλον 8.000 token - έως 1.000 χαρακτήρες ανά στάδιο
Περιβάλλον 16.000 ή 32.000 token - έως 6.000 χαρακτήρες ανά στάδιο

Επομένως, η αύξηση του μεγέθους περιβάλλοντος επιτυγχάνει δύο πράγματα ταυτόχρονα: αυξάνει το όριο οδηγιών ανά στάδιο και αποκαθιστά χώρο για γνώσεις. Ισχύει και το αντίστροφο - εάν το prompt του προσαρμοσμένου ρόλου σας είναι πολύ μεγάλο, η μετακίνηση των σεναρίων βήμα προς βήμα στα στάδια της ροής διατηρεί τον βασικό ρόλο σύντομο, επειδή οι οδηγίες κάθε σταδίου φορτώνονται μόνο όταν η συνομιλία βρίσκεται σε αυτό το στάδιο.

Κόστος πιστώσεων ανά μέγεθος περιβάλλοντος

Το προεπιλεγμένο μέγεθος περιβάλλοντος είναι 8.000 tokens. Η αύξησή του πολλαπλασιάζει το πόσες μονάδες μηνυμάτων καταναλώνει κάθε απάντηση:

8.000 tokens - 1x μονάδες μηνυμάτων (προεπιλογή)
16.000 tokens - 2x μονάδες μηνυμάτων ανά μήνυμα
32.000 tokens - 4x μονάδες μηνυμάτων ανά μήνυμα

Ο πολλαπλασιαστής συνδυάζεται με το κόστος μονάδων του μοντέλου AI που επιλέγετε - ένα μεγαλύτερο περιβάλλον καθιστά κάθε απάντηση αυτού του μοντέλου αναλογικά πιο ακριβή.