Hva er kontekststørrelse for chat?
Kontekststørrelsen for chat avgjør hvor mye informasjon som sendes til AI-en hver gang en besøkende stiller et spørsmål. Konteksten inneholder chatbotens rolleinstruksjoner (ledeteksten, eller prompten), samtalen så langt og de mest relevante delene med treningsdata hentet fra kunnskapsbasen din. En token er en liten del av teksten som AI-en leser - i gjennomsnitt tilsvarer 1 token omtrent 4 tegn, eller grovt regnet 3/4 av et ord.
Fordeler med en større kontekst:
- Mer plass til detaljerte rolleinstruksjoner uten å fortrenge kunnskapsbasen din
- Bedre forståelse av lengre samtaler
- Mulighet til å besvare komplekse spørsmål ved å henvise til mer treningsdata samtidig
- Mer plass til sammendrag og klientprofiler fra tidligere samtaler når chat memory (samtaleminne) er aktivert
Slik endrer du kontekststørrelsen
Velg chatboten din, klikk på fanen Settings (Innstillinger), og velg deretter Model & Advanced (Modell og avansert) i sidemenyen til venstre.
Finn rullegardinmenyen Context size (Kontekststørrelse) og velg ønsket alternativ:
- 8000 tokens (default) - 1x message credits (meldingskreditter)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Alternativene for 16K og 32K er tilgjengelige som premiumfunksjoner - de vises bare i listen når abonnementet ditt inkluderer den større chatkonteksten.
Hvordan kontekstvinduet deles
Konteksten er et felles budsjett. For hver melding fordeles den mellom:
- Prompten din - instruksjonene for rolle og atferd som du har skrevet (bare når du bruker Custom Role Definition)
- Systeminstruksjoner - en liten mengde ChatLab legger til for at boten skal fungere riktig
- Verktøy - hvis boten din bruker AI Actions eller integrasjoner, tar instruksjonene deres en del av budsjettet
- Samtaleminne - den nylige samtalen, pluss sammendrag og klientprofiler når samtaleminne er aktivert
- Gjenværende til kunnskapsbasen din - alt som gjenstår, brukes til treningsdata som matcher den besøkendes spørsmål
Hovedpoenget: Jo mer plass instruksjonene dine tar, desto mindre kunnskap kan AI-en bruke til å svare. Ved å øke kontekststørrelsen utvider du hele budsjettet, slik at både instruksjonene og kunnskapen din får bedre plass.
Måleren for kontekstbruk
Når du definerer en tilpasset rolle, viser ChatLab deg i sanntid hvor mye av konteksten instruksjonene dine bruker. Velg chatboten din og naviger til Settings > Role & Behavior (Innstillinger > Rolle og atferd), og gå deretter til fanen Custom Role Definition (Tilpasset rolledefinisjon). Måleren vises rett under redigeringsfeltet for instruksjoner.
Det fargede feltet er et miniatyrbilde av hele kontekstvinduet ditt: Hvert segment representerer en av delene som er oppført ovenfor, og det grønne segmentet til høyre er det som er igjen til kunnskapsbasen din. Ved siden av linjen ser du promptens antall tokens sammenlignet med en anbefalt retningslinje (for eksempel «~788 / 2,400 tokens · 8k») og en vurdering:
- Optimal (Optimalt) - prompten din passer fint; det er rikelig med plass igjen til kunnskap.
- Getting large (Begynner å bli stor) - prompten begynner å ta opp mye av konteksten; vurder å forkorte den.
- Too large (For stor) - prompten overskrider den anbefalte retningslinjen eller etterlater for lite plass til kunnskap; svarene kan bli dårligere.
Klikk på linjen for å åpne den fullstendige oversikten:
Det utvidede panelet viser det omtrentlige antallet tokens for hver del samt en rullegardinmeny for Chat context size (Kontekststørrelse for chat), slik at du kan øke kontekststørrelsen direkte der uten å gå til Model & Advanced. Den nøyaktige fordelingen varierer fra samtale til samtale - panelet er et estimat, ikke en nøyaktig måling.
To grenser vises rundt redigeringsfeltet, og de fungerer forskjellig:
- Tegngrense (for eksempel «2,882 / 8,000 characters») - en fast grense; redigeringsfeltet godtar ikke en lengre prompt.
- Token-retningslinje (måleren) - en veiledende anbefaling; overskridelse blokkerer ikke lagring, men det gir mindre plass til kunnskapsbasen og samtaleminnet ditt.
Hvis måleren blir rød, foreslår den to løsninger: Øk kontekststørrelsen for chat (meldinger koster da flere kreditter - 16K er 2x, 32K er 4x, se message credits), eller flytt trinnvise scenarioer ut av prompten og over i Conversation Flow-faser, som forklart nedenfor.
Kontekststørrelse og Conversation Flow
Conversation Flow (Samtaleflyt) lar deg dele opp botens atferd i faser, hver med sine egne instruksjoner. Når flyten er aktivert, legges instruksjonene for den aktive fasen til i prompten - de deler altså det samme kontekstbudsjettet. Lange faseinstruksjoner på toppen av en lang tilpasset rolle gir mindre plass til kunnskapsbasen din ved samme kontekststørrelse.
Kontekststørrelsen styrer også hvor lange instruksjonene for hver fase kan være:
- Kontekst på 8 000 tokens - opptil 1 000 tegn per fase
- Kontekst på 16 000 eller 32 000 tokens - opptil 6 000 tegn per fase
Å øke kontekststørrelsen gjør derfor to ting samtidig: Det hever instruksjonsgrensen per fase og frigjør plass til kunnskap igjen. Det motsatte fungerer også - hvis den tilpassede rolleprompten din er for stor, vil det å flytte trinnvise scenarioer over i flytfaser holde kjernerollen kort, ettersom instruksjonene for hver fase bare lastes inn mens samtalen befinner seg i den fasen.
Kredittkostnad per kontekststørrelse
Standard kontekststørrelse er 8 000 tokens. Å øke den multipliserer hvor mange message credits (meldingskreditter) hvert svar bruker:
- 8 000 tokens - 1x meldingskreditter (standard)
- 16 000 tokens - 2x meldingskreditter per melding
- 32 000 tokens - 4x meldingskreditter per melding
Multiplikatoren legges sammen med kredittkostnaden for den AI-modellen du velger - en større kontekst gjør hvert svar fra den modellen proporsjonalt dyrere.