Hvad er chatkontekststørrelse?
Chatkontekststørrelsen bestemmer, hvor mange oplysninger der sendes til AI'en, hver gang en besøgende stiller et spørgsmål. Konteksten indeholder din chatbots rolleinstruktioner (prompten), samtalen indtil nu og de mest relevante dele af dine træningsdata hentet fra din vidensbase. En token er en lille bid tekst, som AI'en læser - antallet varierer efter sprog og model, så tokens er ikke det samme som tegn eller ord.
Fordele ved en større kontekst:
- Mere plads til detaljerede rolleinstruktioner uden at fortrænge din vidensbase
- Bedre forståelse af længere samtaler
- Mulighed for at besvare komplekse spørgsmål ved at henvise til flere træningsdata på én gang
- Når chat memory (chathukommelse) er aktiveret, mere plads til opsummeringer og klientprofiler fra tidligere samtaler
Sådan ændrer du kontekststørrelsen
Vælg din chatbot, klik på fanen Settings (Indstillinger), og vælg derefter Model & Advanced (Model og avanceret) i venstre sidepanel.
Find rullemenuen Context size (Kontekststørrelse), og vælg din foretrukne indstilling:
- 8000 tokens (default) - 1x message credits
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Indstillingerne 16K og 32K er tilgængelige som premium-funktioner - de vises kun på listen, når din plan inkluderer den større chatkontekst.
Vent på Saved (Gemt), og test derefter en ny samtale i Overview (Oversigt) med et spørgsmål, der kræver flere relaterede fakta. En større kontekst øger ikke din grænse for træningslager eller garanterer et bedre svar; sammenlign resultaterne, før du beholder den højere pris i credits.
Sådan deles kontekstvinduet
Konteksten er et fælles budget. For hver besked fordeles den mellem:
- Din prompt - genererede foruddefinerede rolleinstruktioner eller de instruktioner, du har skrevet i Custom Role Definition
- Systeminstruktioner - en lille mængde, ChatLab tilføjer, så botten opfører sig korrekt
- Tools - hvis din bot bruger AI Actions eller integrationer, optager deres instruktioner en del
- Samtalehukommelse - den seneste samtale samt opsummeringer og klientprofiler, når chathukommelse er aktiveret
- Tilbage til din vidensbase - alt, hvad der er tilbage, bruges til træningsdata, der matcher den besøgendes spørgsmål
Den vigtigste konklusion: Jo mere plads dine instruktioner optager, desto mindre viden kan AI'en bruge til at svare. Hvis du øger kontekststørrelsen, vokser hele budgettet, så både dine instruktioner og din viden får mere plads.
Måleren for kontekstforbrug
Når du definerer en tilpasset rolle, viser ChatLab dig live, hvor meget af konteksten dine instruktioner bruger. Vælg din chatbot, og gå til Settings > Role & Behavior (Indstillinger > Rolle og adfærd), og skift derefter til fanen Custom Role Definition (Tilpasset roldefinition). Måleren vises direkte under editoren til instruktioner.
Den farvede bjælke er en miniature af hele dit kontekstvindue: Hvert segment er en af de dele, der er anført ovenfor, og det grønne segment til højre er det, der er tilbage til din vidensbase. Ved siden af bjælken ser du din prompts tokenantal i forhold til en anbefalet retningslinje (f.eks. "~788 / 2,400 tokens · 8k") og en vurdering:
- Optimal - din prompt passer fint; der er masser af plads tilbage til viden.
- Getting large - prompten begynder at fylde konteksten op; overvej at afkorte den.
- Too large - prompten overskrider den anbefalede retningslinje eller efterlader for lidt plads til viden; svarene kan blive dårligere.
Klik på bjælken for at udvide den fulde fordeling:
Det udvidede panel viser det omtrentlige tokenantal for hver del samt en rullemenu til Chat context size (Chatkontekststørrelse), så du kan øge kontekststørrelsen direkte der uden at gå til Model & Advanced. Den nøjagtige fordeling varierer fra samtale til samtale - panelet er et skøn, ikke en præcis måling.
Der vises to grænser omkring editoren, og de fungerer forskelligt:
- Tegngrænse - en fast grænse, der vises af editorens tæller, og som kan afhænge af bot-ejerens abonnement; editoren accepterer ikke en længere prompt.
- Tokenretningslinje (måleren) - en blød retningslinje; hvis den overskrides, forhindrer det ikke lagring, men det efterlader mindre plads til din vidensbase og samtalehukommelse.
Hvis måleren bliver rød, foreslår den to løsninger: Øg chatkontekststørrelsen (beskeder koster så flere credits - 16K koster 2x, 32K koster 4x, se message credits), eller flyt trinvise scenarier ud af prompten og over i Conversation Flow-trin, som forklaret nedenfor.
Kontekststørrelse og Conversation Flow
Conversation Flow lader dig opdele din bots adfærd i trin, hver med sine egne instruktioner. Når flowet er aktiveret, føjes instruktionerne for det aktive trin til prompten - så de deler det samme kontekstbudget. Lange trininstruktioner oven på en lang tilpasset rolle efterlader mindre plads til din vidensbase ved samme kontekststørrelse.
Kontekststørrelsen styrer også, hvor lange hvert trins instruktioner må være:
- 8.000-token-kontekst - op til 1.000 tegn pr. trin
- 16.000- eller 32.000-token-kontekst - op til 6.000 tegn pr. trin
En forøgelse af kontekststørrelsen gør derfor to ting på én gang: Den hæver grænsen for instruktioner pr. trin og giver mere plads til viden igen. Det omvendte gælder også - hvis din tilpassede rolleprompt er for stor, holder det kernerollen kort, hvis du flytter trinvise scenarier over i flow-trin, fordi hvert trins instruktioner kun indlæses, mens samtalen befinder sig på det pågældende trin.
Pris i credits pr. kontekststørrelse
Standardkontekststørrelsen er 8.000 tokens. Hvis den øges, multipliceres antallet af message credits, som hvert svar forbruger:
- 8.000 tokens - 1x message credits (standard)
- 16.000 tokens - 2x message credits pr. besked
- 32.000 tokens - 4x message credits pr. besked
Multiplikatoren lægges oven i prisen i credits for den AI-model, du vælger - en større kontekst gør hvert svar fra den pågældende model proportionelt dyrere.