Was ist die Chat-Kontextgröße?
Die Chat-Kontextgröße bestimmt, wie viele Informationen jedes Mal an die KI gesendet werden, wenn ein Besucher eine Frage stellt. Der Kontext enthält die Rollenanweisungen Ihres Chatbots (den Prompt), den bisherigen Gesprächsverlauf und die relevantesten Teile der Trainingsdaten aus Ihrer Wissensdatenbank. Ein Token ist ein kleiner Textbaustein, den die KI liest - die genaue Anzahl variiert je nach Sprache und Modell, daher entsprechen Tokens nicht Zeichen oder Wörtern.
Vorteile eines größeren Kontexts:
- Mehr Platz für detaillierte Rollenanweisungen, ohne Ihre Wissensdatenbank zu verdrängen
- Besseres Verständnis längerer Unterhaltungen
- Fähigkeit, komplexe Fragen zu beantworten, indem auf mehr Trainingsdaten gleichzeitig zurückgegriffen wird
- Wenn das Chat-Gedächtnis aktiviert ist, mehr Speicherplatz für Zusammenfassungen und Kundenprofile aus früheren Unterhaltungen
So ändern Sie die Kontextgröße
Wählen Sie Ihren Chatbot aus, klicken Sie auf den Reiter Settings (Einstellungen) und wählen Sie dann in der linken Seitenleiste Model & Advanced (Modell & Erweitert).
Suchen Sie das Dropdown-Menü Context size (Kontextgröße) und wählen Sie Ihre bevorzugte Option:
- 8000 tokens (default) (8.000 Tokens, Standard) - 1x Nachrichten-Credits
- 16000 tokens (2x message credits/message) (16.000 Tokens, doppelte Nachrichten-Credits pro Nachricht)
- 32000 tokens (4x message credits/message) (32.000 Tokens, vierfache Nachrichten-Credits pro Nachricht)
Die Optionen 16K und 32K sind als Premium-Funktionen verfügbar - sie erscheinen nur in der Liste, wenn Ihr Plan den größeren Chat-Kontext enthält.
Warten Sie auf Saved (Gespeichert) und testen Sie dann eine neue Unterhaltung in Overview (Übersicht) mit einer Frage, die mehrere zusammenhängende Fakten erfordert. Ein größerer Kontext erhöht weder Ihr Speicherlimit für das Training noch garantiert er eine bessere Antwort; vergleichen Sie die Ergebnisse, bevor Sie die höheren Credit-Kosten beibehalten.
Wie das Kontextfenster aufgeteilt wird
Der Kontext ist ein geteiltes Budget. Bei jeder Nachricht wird er aufgeteilt zwischen:
- Ihrem Prompt - generierte vordefinierte Rollenanweisungen oder die Anweisungen, die Sie in der benutzerdefinierten Rollendefinition (Custom Role Definition) verfasst haben
- Systemanweisungen - ein kleiner Teil, den ChatLab hinzufügt, damit sich der Bot korrekt verhält
- Tools - wenn Ihr Bot AI Actions oder Integrationen nutzt, beanspruchen deren Anweisungen einen Teil
- Unterhaltungsspeicher - der jüngste Gesprächsverlauf sowie Zusammenfassungen und Kundenprofile, wenn das Chat-Gedächtnis aktiviert ist
- Übrig für Ihre Wissensdatenbank - alles, was übrig bleibt, wird für Trainingsdaten verwendet, die zur Frage des Besuchers passen
Das Wichtigste: Je mehr Platz Ihre Anweisungen einnehmen, desto weniger Wissen kann die KI für die Antwort nutzen. Das Erhöhen der Kontextgröße vergrößert das gesamte Budget, sodass sowohl Ihre Anweisungen als auch Ihr Wissen mehr Raum erhalten.
Die Anzeige für die Kontextnutzung
Wenn Sie eine benutzerdefinierte Rolle definieren, zeigt ChatLab Ihnen live an, wie viel des Kontexts Ihre Anweisungen belegen. Wählen Sie Ihren Chatbot aus und navigieren Sie zu Settings > Role & Behavior (Einstellungen > Rolle & Verhalten). Wechseln Sie dann zum Tab Custom Role Definition (Benutzerdefinierte Rollendefinition). Die Anzeige erscheint direkt unter dem Anweisungseditor.
Der farbige Balken ist ein Miniaturbild Ihres gesamten Kontextfensters: Jedes Segment entspricht einem der oben aufgeführten Teile, und das grüne Segment ganz rechts zeigt an, was für Ihre Wissensdatenbank übrig bleibt. Neben dem Balken sehen Sie die Token-Anzahl Ihres Prompts im Vergleich zu einem empfohlenen Richtwert (beispielsweise "~788 / 2.400 Tokens · 8k") sowie eine Bewertung:
- Optimal - Ihr Prompt passt problemlos; es bleibt reichlich Platz für Wissen.
- Getting large (Wird groß) - der Prompt füllt den Kontext allmählich aus; ziehen Sie in Betracht, ihn zu kürzen.
- Too large (Zu groß) - der Prompt überschreitet den empfohlenen Richtwert oder lässt zu wenig Raum für Wissen; die Antworten könnten ungenauer werden.
Klicken Sie auf den Balken, um die vollständige Aufschlüsselung auszuklappen:
Der ausgeklappte Bereich zeigt die ungefähre Token-Anzahl für jeden Teil und ein Dropdown-Menü für die Chat context size (Chat-Kontextgröße), sodass Sie die Kontextgröße direkt an dieser Stelle erhöhen können, ohne zu Model & Advanced wechseln zu müssen. Die genaue Aufteilung variiert von Gespräch zu Gespräch - die Übersicht ist eine Schätzung, keine exakte Messung.
Rund um den Editor werden zwei Beschränkungen angezeigt, die unterschiedlich funktionieren:
- Zeichenlimit - eine feste Grenze, die vom Zähler des Editors angezeigt wird und vom Abonnement des Bot-Inhabers abhängen kann; der Editor akzeptiert keinen längeren Prompt.
- Token-Richtwert (die Anzeige) - ein Richtwert; wird er überschritten, verhindert dies das Speichern nicht, lässt aber weniger Platz für Ihre Wissensdatenbank und den Gesprächsverlauf.
Färbt sich die Anzeige rot, empfiehlt sie zwei Lösungen: Erhöhen Sie die Chat-Kontextgröße (Nachrichten kosten dann mehr Credits - 16K ist 2x, 32K ist 4x, siehe Nachrichten-Credits) oder verschieben Sie schrittweise Abläufe aus dem Prompt in Phasen von Conversation Flow, wie nachfolgend beschrieben.
Kontextgröße und Conversation Flow
Mit Conversation Flow können Sie das Verhalten Ihres Bots in Phasen unterteilen, von denen jede ihre eigenen Anweisungen hat. Wenn der Ablauf aktiviert ist, werden die Anweisungen der aktiven Phase zum Prompt hinzugefügt - sie teilen sich also dasselbe Kontextbudget. Lange Phasenanweisungen zusätzlich zu einer langen benutzerdefinierten Rolle lassen bei gleicher Kontextgröße weniger Platz für Ihre Wissensdatenbank.
Die Kontextgröße bestimmt auch, wie lang die Anweisungen jeder Phase sein dürfen:
- 8.000-Token-Kontext - bis zu 1.000 Zeichen pro Phase
- 16.000- oder 32.000-Token-Kontext - bis zu 6.000 Zeichen pro Phase
Eine Erhöhung der Kontextgröße bewirkt daher zwei Dinge auf einmal: Sie hebt das Zeichenlimit pro Phase an und schafft wieder Platz für Wissen. Auch der umgekehrte Weg funktioniert - wenn Ihr Prompt für die benutzerdefinierte Rolle zu groß ist, hält das Verschieben von Schritt-für-Schritt-Szenarien in Phasen des Ablaufs die Hauptrolle kurz, da die Anweisungen jeder Phase nur geladen werden, während sich die Unterhaltung in dieser Phase befindet.
Credit-Kosten nach Kontextgröße
Die Standard-Kontextgröße beträgt 8.000 Tokens. Eine Erhöhung multipliziert den Verbrauch an Nachrichten-Credits pro Antwort:
- 8.000 Tokens - 1x Nachrichten-Credits (Standard)
- 16.000 Tokens - 2x Nachrichten-Credits pro Nachricht
- 32.000 Tokens - 4x Nachrichten-Credits pro Nachricht
Der Multiplikator wird auf die Credit-Kosten des ausgewählten KI-Modells angewendet - ein größerer Kontext macht jede Antwort dieses Modells proportional teurer.