Vad är chattens kontextstorlek?
Chattens kontextstorlek avgör hur mycket information som skickas till AI:n varje gång en besökare ställer en fråga. Kontexten rymmer din chattbots rollinstruktioner (prompten), konversationen så långt och de mest relevanta delarna av träningsdata som hämtas från din kunskapsbas. En token är en liten textdel som AI:n läser - antalet varierar beroende på språk och modell, så tokens är inte samma sak som tecken eller ord.
Fördelar med en större kontext:
- Mer utrymme för detaljerade rollinstruktioner utan att tränga undan din kunskapsbas
- Bättre förståelse för längre konversationer
- Möjlighet att besvara komplexa frågor genom att referera till mer träningsdata samtidigt
- När chat memory (chattminne) är aktiverat, mer utrymme för sammanfattningar och klientprofiler från tidigare konversationer
Hur du ändrar kontextstorleken
Välj din chattbot, klicka på fliken Settings (Inställningar) och välj sedan Model & Advanced (Modell och avancerat) i det vänstra sidofältet.
Leta reda på rullgardinsmenyn Context size (Kontextstorlek) och välj ditt önskade alternativ:
- 8000 tokens (default) - 1x message credits (meddelandekrediter)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Alternativen 16K och 32K finns tillgängliga som premiumfunktioner - de visas i listan endast när din plan inkluderar den större chattkontexten.
Vänta på Saved (Sparat) och testa sedan en ny konversation i Overview (Översikt) med en fråga som kräver flera relaterade fakta. En större kontext ökar inte ditt lagringsutrymme för träning och garanterar inte ett bättre svar; jämför resultaten innan du behåller den högre kreditkostnaden.
Hur kontextfönstret fördelas
Kontexten är en delad budget. För varje meddelande fördelas den mellan:
- Din prompt - genererade fördefinierade rollinstruktioner eller instruktionerna du skrev i Custom Role Definition
- Systeminstruktioner - en liten mängd som ChatLab lägger till för att botten ska fungera korrekt
- Verktyg - om din bot använder AI Actions eller integrationer tar deras instruktioner en del
- Konversationsminne - den senaste konversationen, plus sammanfattningar och klientprofiler när chattminne är aktiverat
- Kvar för din kunskapsbas - allt som återstår används för träningsdata som matchar besökarens fråga
Det viktigaste att ta med sig: ju mer utrymme dina instruktioner tar, desto mindre kunskap kan AI:n använda för att svara. Genom att öka kontextstorleken växer hela budgeten, så att både dina instruktioner och din kunskap får mer plats.
Mätaren för kontextanvändning
När du definierar en anpassad roll visar ChatLab i realtid hur mycket av kontexten dina instruktioner förbrukar. Välj din chattbot och navigera till Settings > Role & Behavior (Inställningar > Roll och beteende), och växla sedan till fliken Custom Role Definition (Anpassad rolldefinition). Mätaren visas direkt under instruktionsredigeraren.
Det färgade fältet är en miniatyr av hela ditt kontextfönster: varje segment motsvarar en av delarna som anges ovan, och det gröna segmentet till höger visar vad som återstår för din kunskapsbas. Bredvid fältet ser du din prompts antal tokens i förhållande till en rekommenderad riktlinje (till exempel "~788 / 2,400 tokens · 8k") och ett omdöme:
- Optimal - din prompt får plats utan problem; gott om utrymme återstår för kunskap.
- Getting large - prompten börjar ta upp för mycket av kontexten; överväg att korta ner den.
- Too large - prompten överskrider den rekommenderade riktlinjen eller lämnar för lite utrymme för kunskap; svaren kan bli sämre.
Klicka på fältet för att fälla ut hela uppdelningen:
Den utfällda panelen visar det ungefärliga antalet tokens för varje del och en rullgardinsmeny för Chat context size, så att du kan öka kontextstorleken direkt där utan att gå till Model & Advanced. Den exakta fördelningen varierar från konversation till konversation - panelen är en uppskattning, inte en exakt mätning.
Två gränser visas runt redigeraren, och de fungerar på olika sätt:
- Teckengräns - en hård gräns som visas av redigerarens räknare och som kan bero på botägarens prenumeration; redigeraren accepterar inte en längre prompt.
- Tokenriktlinje (mätaren) - en mjuk riktlinje; att överskrida den hindrar dig inte från att spara, men det lämnar mindre utrymme för din kunskapsbas och konversationsminnet.
Om mätaren blir röd föreslår den två lösningar: öka chattens kontextstorlek (meddelanden kostar då fler krediter - 16K är 2x, 32K är 4x, se message credits), eller flytta stegvisa scenarier från prompten till steg i Conversation Flow, vilket förklaras härnäst.
Kontextstorlek och Conversation Flow
Conversation Flow låter dig dela upp din bots beteende i steg, var och en med sina egna instruktioner. När flödet är aktiverat läggs det aktiva stegets instruktioner till i prompten - de delar alltså på samma kontextbudget. Långa steginstruktioner ovanpå en lång anpassad roll lämnar mindre utrymme för din kunskapsbas vid samma kontextstorlek.
Kontextstorleken styr också hur långa instruktionerna för varje steg kan vara:
- Kontext på 8 000 tokens - upp till 1 000 tecken per steg
- Kontext på 16 000 eller 32 000 tokens - upp till 6 000 tecken per steg
Att öka kontextstorleken gör därför två saker samtidigt: det höjer gränsen för instruktioner per steg och återställer utrymme för kunskap. Det omvända fungerar också - om din anpassade rollprompt är för stor håller flytten av stegvisa scenarier till flödessteg kärnrollen kort, eftersom varje stegs instruktioner endast läses in medan konversationen befinner sig i det steget.
Kreditkostnad per kontextstorlek
Standardkontextstorleken är 8 000 tokens. Att öka den multiplicerar hur många message credits varje svar förbrukar:
- 8 000 tokens - 1x meddelandekrediter (standard)
- 16 000 tokens - 2x meddelandekrediter per meddelande
- 32 000 tokens - 4x meddelandekrediter per meddelande
Multiplikatorn staplas med kreditkostnaden för den AI-modell du väljer - en större kontext gör varje svar från den modellen proportionellt dyrare.