Hvad er chat-kontekststørrelse?
Chat-kontekststørrelsen bestemmer, hvor meget information der sendes til AI'en, hver gang en besøgende stiller et spørgsmål. Konteksten indeholder din chatbots rolleinstruktioner (prompten), samtalen indtil videre og de mest relevante dele af træningsdataene hentet fra din vidensbase. En token er en lille bid tekst, som AI'en læser - i gennemsnit er 1 token cirka 4 tegn eller omtrent 3/4 af et ord.
Fordele ved en større kontekst:
- Mere plads til detaljerede rolleinstruktioner uden at fortrænge din vidensbase
- Bedre forståelse af længere samtaler
- Mulighed for at besvare komplekse spørgsmål ved at henvise til flere træningsdata på én gang
- Når chathukommelse er aktiveret, er der mere plads til opsummeringer og klientprofiler fra tidligere samtaler
Sådan ændrer du kontekststørrelsen
Vælg din chatbot, klik på fanen Settings (Indstillinger), og vælg derefter Model & Advanced (Model og avanceret) i venstre sidepanel.
Find rullemenuen Context size (Kontekststørrelse), og vælg din foretrukne indstilling:
- 8000 tokens (standard) - 1x besked-credits
- 16000 tokens (2x besked-credits/besked)
- 32000 tokens (4x besked-credits/besked)
Valgmulighederne med 16K og 32K er tilgængelige som premium-funktioner - de vises kun på listen, når din plan inkluderer den større chatkontekst.
Sådan deles kontekstvinduet
Konteksten er et fælles budget. For hver besked fordeles den mellem:
- Din prompt - de instruktioner om rolle og adfærd, du har skrevet (kun når du bruger Custom Role Definition)
- Systeminstruktioner - en lille mængde, ChatLab tilføjer, så botten opfører sig korrekt
- Værktøjer - hvis din bot bruger AI Actions eller integrationer, optager deres instruktioner en del
- Samtalehukommelse - den seneste samtale samt opsummeringer og klientprofiler, når chathukommelse er aktiveret
- Tilbage til din vidensbase - alt det overskydende bruges til træningsdata, der matcher den besøgendes spørgsmål
Den vigtigste pointe: Jo mere plads dine instruktioner optager, desto mindre viden kan AI'en bruge til at svare. Hvis du øger kontekststørrelsen, vokser hele budgettet, så både dine instruktioner og din viden får mere plads.
Måleren for kontekstforbrug
Når du definerer en tilpasset rolle, viser ChatLab dig i realtid, hvor meget af konteksten dine instruktioner bruger. Vælg din chatbot og gå til Settings > Role & Behavior (Indstillinger > Rolle og adfærd), og skift derefter til fanen Custom Role Definition (Tilpasset roledefinition). Måleren vises direkte under editoren til instruktioner.
Den farvede bjælke er en miniature af hele dit kontekstvindue: Hvert segment udgør en af delene nævnt ovenfor, og det grønne segment til højre er det, der er tilbage til din vidensbase. Ved siden af bjælken ser du din prompts antal af tokens holdt op mod en anbefalet retningslinje (f.eks. "~788 / 2,400 tokens · 8k") og en vurdering:
- Optimal - din prompt passer perfekt; der er masser af plads tilbage til viden.
- Getting large - prompten begynder at fylde meget i konteksten; overvej at afkorte den.
- Too large - prompten overskrider den anbefalede retningslinje eller efterlader for lidt plads til viden; svarene kan blive dårligere.
Klik på bjælken for at folde den fulde fordeling ud:
Det udvidede panel viser det omtrentlige antal tokens for hver del og en rullemenu til Chat context size (Chat-kontekststørrelse), så du kan øge kontekststørrelsen direkte her uden at gå til Model & Advanced. Den nøjagtige fordeling varierer fra samtale til samtale - panelet er et skøn, ikke en præcis måling.
Der vises to grænser omkring editoren, og de fungerer forskelligt:
- Tegngrænse (f.eks. "2,882 / 8,000 characters") - en fast grænse; editoren accepterer ikke en længere prompt.
- Token-retningslinje (måleren) - en blød retningslinje; at overskride den blokerer ikke for at gemme, men det efterlader mindre plads til din vidensbase og samtalehukommelse.
Hvis måleren bliver rød, foreslår den to løsninger: Øg chat-kontekststørrelsen (beskeder koster så flere credits - 16K koster 2x, 32K koster 4x, se besked-credits), eller flyt trinvise scenarier ud af prompten og over i Flow Editor-stadier, som forklaret nedenfor.
Kontekststørrelse og samtale-flow
Conversation Flow (Samtale-flow) lader dig opdele din bots adfærd i stadier med hver sine instruktioner. Når flowet er aktiveret, tilføjes det aktive stadies instruktioner til prompten - så de deler det samme kontekstbudget. Lange instruktioner for et stadie oven i en lang tilpasset rolle efterlader mindre plads til din vidensbase ved den samme kontekststørrelse.
Kontekststørrelsen styrer også, hvor lange instruktionerne for hvert stadie må være:
- Kontekst på 8.000 tokens - op til 1.000 tegn pr. stadie
- Kontekst på 16.000 eller 32.000 tokens - op til 6.000 tegn pr. stadie
At øge kontekststørrelsen gør derfor to ting på én gang: Det hæver grænsen for instruktioner pr. stadie og genskaber plads til viden. Det modsatte virker også - hvis din tilpassede rolle-prompt er for stor, vil det at flytte trinvise scenarier over i flow-stadier holde den overordnede rolle kort, fordi hvert stadies instruktioner kun indlæses, mens samtalen befinder sig på det pågældende stadie.
Credit-omkostning pr. kontekststørrelse
Standardstørrelsen for konteksten er 8.000 tokens. Hvis den øges, ganges det antal besked-credits, som hvert svar forbruger:
- 8.000 tokens - 1x besked-credits (standard)
- 16.000 tokens - 2x besked-credits pr. besked
- 32.000 tokens - 4x besked-credits pr. besked
Multiplikatoren lægges oven i credit-omkostningen for den AI-model, du vælger - en større kontekst gør hvert svar fra den model proportionalt dyrere.