Hva er kontekststørrelse for chat?
Kontekststørrelsen for chat avgjør hvor mye informasjon som sendes til AI-en hver gang en besøkende stiller et spørsmål. Konteksten inneholder chatbotens rolleinstruksjoner (ledeteksten), samtalen så langt og de mest relevante delene av treningsdataene hentet fra kunnskapsbasen din. En token er en liten tekstbit som AI-en leser - antallet varierer etter språk og modell, så tokens er ikke det samme som tegn eller ord.
Fordeler med en større kontekst:
- Mer plass til detaljerte rolleinstruksjoner uten å fortrenge kunnskapsbasen din
- Bedre forståelse av lengre samtaler
- Evne til å svare på komplekse spørsmål ved å henvise til mer treningsdata samtidig
- Når chat memory (samtaleminne) er aktivert, blir det mer plass til sammendrag og klientprofiler fra tidligere samtaler
Hvordan endre kontekststørrelsen
Velg chatboten din, klikk på fanen Settings (Innstillinger), og velg deretter Model & Advanced (Modell og avansert) i venstre sidemeny.
Finn rullegardinmenyen Context size (Kontekststørrelse) og velg ønsket alternativ:
- 8000 tokens (default) - 1x message credits (meldingskreditter)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Alternativene for 16K og 32K er tilgjengelige som premiumfunksjoner - de vises bare i listen når abonnementet ditt inkluderer den større chat-konteksten.
Vent på Saved (Lagret), og test deretter en ny samtale i Overview (Oversikt) med et spørsmål som krever flere relaterte fakta. En større kontekst øker ikke lagringsgrensen for trening eller garanterer et bedre svar; sammenlign resultatene før du beholder den høyere kredittkostnaden.
Hvordan kontekstvinduet deles
Konteksten er et felles budsjett. For hver melding fordeles den mellom:
- Din prompt - genererte forhåndsdefinerte rolleinstruksjoner eller instruksjonene du skrev i Custom Role Definition
- Systeminstruksjoner - en liten mengde ChatLab legger til for at boten skal fungere riktig
- Verktøy - hvis boten din bruker AI Actions eller integrasjoner, tar instruksjonene deres en andel
- Samtaleminne - den nylige samtalen, pluss sammendrag og klientprofiler når chat memory er aktivert
- Igjen til kunnskapsbasen din - alt som gjenstår brukes til treningsdata som samsvarer med den besøkendes spørsmål
Hovedpoenget: jo mer plass instruksjonene dine tar, desto mindre kunnskap kan AI-en bruke til å svare. Ved å øke kontekststørrelsen utvides hele budsjettet, slik at både instruksjonene og kunnskapen din får mer plass.
Måleren for kontekstbruk
Når du definerer en tilpasset rolle, viser ChatLab deg i sanntid hvor mye av konteksten instruksjonene dine bruker. Velg chatboten din og naviger til Settings > Role & Behavior (Innstillinger > Rolle og atferd), og bytt deretter til fanen Custom Role Definition (Egendefinert rolledefinisjon). Måleren vises rett under teksteditoren for instruksjoner.
Det fargede feltet er et miniatyrbilde av hele kontekstvinduet ditt: hvert segment representerer en av delene som er oppført ovenfor, og det grønne segmentet til høyre er det som gjenstår for kunnskapsbasen din. Ved siden av feltet ser du ledetekstens tokenantall sammenlignet med en anbefalt retningslinje (for eksempel "~788 / 2,400 tokens · 8k") og en vurdering:
- Optimal - ledeteksten din passer fint inn; det gjenstår rikelig med plass til kunnskap.
- Getting large - ledeteksten begynner å ta mye av konteksten; vurder å korte den ned.
- Too large - ledeteksten overskrider den anbefalte retningslinjen eller gir for lite rom for kunnskap; svarene kan bli dårligere.
Klikk på feltet for å utvide hele oversikten:
Det utvidede panelet viser det omtrentlige tokenantallet for hver del og en rullegardinmeny for Chat context size (Kontekststørrelse for chat), slik at du kan øke kontekststørrelsen direkte der uten å gå til Model & Advanced. Den nøyaktige fordelingen varierer fra samtale til samtale - panelet gir et anslag, ikke en eksakt måling.
To grenser vises rundt editoren, og de fungerer forskjellig:
- Tegngrense - en fast grense som vises av editorens teller, som kan avhenge av boteierens abonnement; editoren godtar ikke en lengre ledetekst.
- Tokenretningslinje (måleren) - en myk retningslinje; overskridelse hindrer ikke lagring, men det gir mindre plass til kunnskapsbasen og samtaleminnet ditt.
Hvis måleren blir rød, foreslår den to løsninger: øk kontekststørrelsen for chat (meldinger koster da flere kreditter - 16K er 2x, 32K er 4x, se message credits), eller flytt trinnvise scenarier ut av ledeteksten og over i Conversation Flow-stadier, forklart nedenfor.
Kontekststørrelse og Conversation Flow
Conversation Flow (Samtaleflyt) lar deg dele opp botens atferd i stadier, hver med sine egne instruksjoner. Når flyten er aktivert, legges det aktive stadiets instruksjoner til i ledeteksten - slik at de deler det samme kontekstbudsjettet. Lange stadieinstruksjoner i tillegg til en lang egendefinert rolle gir mindre plass til kunnskapsbasen din ved samme kontekststørrelse.
Kontekststørrelsen styrer også hvor lange instruksjonene for hvert stadium kan være:
- 8 000-token kontekst - opptil 1 000 tegn per stadium
- 16 000- eller 32 000-token kontekst - opptil 6 000 tegn per stadium
Å øke kontekststørrelsen gjør derfor to ting samtidig: det øker instruksjonsgrensen per stadium og gjenoretter plass til kunnskap. Det motsatte fungerer også - hvis den tilpassede rolleledeteksten din er for stor, vil flytting av trinnvise scenarier over i flytstadier holde kjernerollen kort, fordi hvert stadiums instruksjoner bare lastes inn mens samtalen befinner seg på det aktuelle stadiet.
Kredittkostnad per kontekststørrelse
Standard kontekststørrelse er 8 000 tokens. Å øke den multipliserer hvor mange message credits hvert svar bruker:
- 8 000 tokens - 1x meldingskreditter (standard)
- 16 000 tokens - 2x meldingskreditter per melding
- 32 000 tokens - 4x meldingskreditter per melding
Multiplikatoren legges sammen med kredittkostnaden for den AI-modellen du velger - en større kontekst gjør hvert svar fra den modellen proporsjonalt dyrere.