Vad är kontextstorlek för chatt?
Kontextstorleken för en chatt avgör hur mycket information som skickas till AI:n varje gång en besökare ställer en fråga. Kontexten innehåller din chattbots rollinstruktioner (prompten), konversationen så långt och de mest relevanta delarna av träningsdatan som hämtas från din kunskapsbas. En token är en liten textbit som AI:n läser - i genomsnitt är 1 token ungefär 4 tecken, eller ungefär 3/4 av ett ord.
Fördelar med en större kontext:
- Mer utrymme för detaljerade rollinstruktioner utan att tränga undan din kunskapsbas
- Bättre förståelse av längre konversationer
- Möjlighet att svara på komplexa frågor genom att referera till mer träningsdata samtidigt
- När chattminne är aktiverat, mer plats för sammanfattningar och klientprofiler från tidigare konversationer
Hur du ändrar kontextstorleken
Välj din chattbot, klicka på fliken Settings (Inställningar) och välj sedan Model & Advanced (Modell och avancerat) i sidofältet till vänster.
Leta reda på rullgardinsmenyn Context size (Kontextstorlek) och välj det alternativ du föredrar:
- 8000 tokens (default) - 1x meddelandekrediter
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Alternativen 16K och 32K är tillgängliga som premiumfunktioner - de visas i listan endast när din plan inkluderar den större chattkontexten.
Hur kontextfönstret fördelas
Kontexten är en delad budget. Vid varje meddelande fördelas den mellan:
- Din prompt - instruktionerna för roll och beteende som du har skrivit (endast när du använder Custom Role Definition)
- Systeminstruktioner - en liten mängd som ChatLab lägger till så att botten beter sig korrekt
- Verktyg - om din bot använder AI Actions eller integrationer tar deras instruktioner en del av utrymmet
- Konversationsminne - den senaste konversationen, plus sammanfattningar och klientprofiler när chattminne är aktiverat
- Kvar till din kunskapsbas - allt som blir över används till träningsdata som matchas mot besökarens fråga
Det viktigaste att tänka på: ju mer plats dina instruktioner tar, desto mindre kunskap kan AI:n använda för att svara. Genom att öka kontextstorleken utökas hela budgeten, så att både dina instruktioner och din kunskap får mer utrymme.
Mätaren för kontextanvändning
När du definierar en anpassad roll visar ChatLab i realtid hur mycket av kontexten dina instruktioner förbrukar. Välj din chattbot och gå till Settings > Role & Behavior (Inställningar > Roll och beteende), och växla sedan till fliken Custom Role Definition (Anpassad rolldefinition). Mätaren visas direkt under instruktionsredigeraren.
Det färgade fältet är en miniatyr av hela ditt kontextfönster: varje segment motsvarar en av delarna som anges ovan, och det gröna segmentet till höger visar vad som återstår för din kunskapsbas. Bredvid fältet ser du din prompts tokenantal i förhållande till en rekommenderad riktlinje (till exempel "~788 / 2,400 tokens · 8k") och ett omdöme:
- Optimal - din prompt får plats utan problem; det finns gott om utrymme kvar för kunskap.
- Getting large - prompten börjar ta upp för mycket av kontexten; överväg att korta ner den.
- Too large - prompten överskrider den rekommenderade riktlinjen eller lämnar för lite utrymme kvar för kunskap; svaren kan bli sämre.
Klicka på fältet för att fälla ut hela fördelningen:
Den utfällda panelen visar det ungefärliga tokenantalet för varje del och en rullgardinsmeny för Chat context size (Kontextstorlek för chatt), så att du kan öka kontextstorleken direkt där utan att gå till Model & Advanced. Den exakta fördelningen varierar från konversation till konversation - panelen visar en uppskattning, inte en exakt mätning.
Två gränser visas kring redigeraren, och de fungerar på olika sätt:
- Teckengräns (till exempel "2,882 / 8,000 characters") - en hård gräns; redigeraren accepterar inte en längre prompt.
- Tokenriktlinje (mätaren) - en mjuk riktlinje; att överskrida den hindrar dig inte från att spara, men det lämnar mindre utrymme för din kunskapsbas och ditt konversationsminne.
Om mätaren blir röd föreslår den två åtgärder: öka kontextstorleken för chatten (meddelanden kostar då fler krediter - 16K är 2x, 32K är 4x, se meddelandekrediter), eller flytta stegvisa scenarier ut ur prompten till Conversation Flow-steg, vilket förklaras härnäst.
Kontextstorlek och Conversation Flow
Conversation Flow låter dig dela upp din bots beteende i faser, var och en med sina egna instruktioner. När flödet är aktiverat läggs den aktiva fasens instruktioner till i prompten - de delar alltså på samma kontextbudget. Långa fasinstruktioner ovanpå en lång anpassad roll lämnar mindre utrymme för din kunskapsbas vid samma kontextstorlek.
Kontextstorleken styr också hur långa instruktionerna för varje fas får vara:
- 8 000-tokens kontext - upp till 1 000 tecken per fas
- 16 000- eller 32 000-tokens kontext - upp till 6 000 tecken per fas
Att öka kontextstorleken gör därför två saker samtidigt: det höjer gränsen för instruktioner per fas och återställer utrymmet för kunskap. Det omvända fungerar också - om din anpassade rollprompt är för stor håller flytten av stegvisa scenarier till flödessteg kärnrollen kort, eftersom varje fas instruktioner endast läses in medan konversationen befinner sig i just den fasen.
Kreditkostnad per kontextstorlek
Standardkontextstorleken är 8 000 tokens. Genom att öka den multipliceras hur många meddelandekrediter varje svar förbrukar:
- 8 000 tokens - 1x meddelandekrediter (standard)
- 16 000 tokens - 2x meddelandekrediter per meddelande
- 32 000 tokens - 4x meddelandekrediter per meddelande
Multiplikatorn staplas på kreditkostnaden för den AI-modell du väljer - en större kontext gör varje svar från den modellen proportionellt dyrare.