Šta je veličina konteksta ćaskanja?
Veličina konteksta ćaskanja određuje koliko se informacija šalje AI modelu svaki put kada posetilac postavi pitanje. Kontekst sadrži uputstva za ulogu vašeg bota (prompt), dosadašnji tok razgovora i najrelevantnije delove podataka za treniranje preuzete iz vaše baze znanja. Token je mali deo teksta koji AI čita - njihov broj varira u zavisnosti od jezika i modela, tako da tokeni nisu isto što i znakovi ili reči.
Prednosti većeg konteksta:
- Više prostora za detaljna uputstva za ulogu bez potiskivanja vaše baze znanja
- Bolje razumevanje dužih razgovora
- Mogućnost odgovaranja na složena pitanja korišćenjem više podataka za treniranje odjednom
- Kada je omogućena memorija ćaskanja, više prostora za rezimee i profile klijenata iz prethodnih razgovora
Kako promeniti veličinu konteksta
Izaberite svog chatbota, kliknite na karticu Settings (Podešavanja), a zatim izaberite Model & Advanced (Model i napredno) u levoj bočnoj traci.
Pronađite padajući meni Context size (Veličina konteksta) i izaberite željenu opciju:
- 8000 tokens (default) - 1x message credits (krediti za poruke)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Opcije od 16K i 32K dostupne su kao premijum funkcije - pojavljuju se na listi samo kada vaš plan uključuje veći kontekst ćaskanja.
Sačekajte status Saved (Sačuvano), a zatim testirajte novi razgovor u delu Overview (Pregled) pomoću pitanja koje zahteva nekoliko povezanih činjenica. Veći kontekst ne povećava vaše ograničenje skladišta za treniranje niti garantuje bolji odgovor; uporedite rezultate pre nego što zadržite višu cenu u kreditima.
Kako se deli prozor konteksta
Kontekst je zajednički budžet. Prilikom svake poruke, on se deli između:
- Vašeg prompta - generisana unapred definisana uputstva za ulogu ili uputstva koja ste sami napisali u Custom Role Definition (Prilagođena definicija uloge)
- Sistemskih uputstava - mala količina koju ChatLab dodaje kako bi se bot ponašao ispravno
- Alata - ako vaš bot koristi AI Actions ili integracije, njihova uputstva zauzimaju deo
- Memorije razgovora - nedavni razgovor, plus rezimei i profili klijenata kada je memorija ćaskanja omogućena
- Preostalog prostora za vašu bazu znanja - sve što preostane koristi se za podatke za treniranje koji odgovaraju pitanju posetioca
Glavni zaključak: što više prostora vaša uputstva zauzimaju, to manje znanja AI može da iskoristi za odgovor. Povećanje veličine konteksta povećava ceo budžet, tako da i vaša uputstva i vaše znanje dobijaju više prostora.
Merač iskorišćenosti konteksta
Kada definišete prilagođenu ulogu, ChatLab vam u realnom vremenu prikazuje koliko konteksta troše vaša uputstva. Izaberite svog chatbota i idite na Settings > Role & Behavior (Podešavanja > Uloga i ponašanje), a zatim pređite na karticu Custom Role Definition (Prilagođena definicija uloge). Merač se pojavljuje direktno ispod polja za unos uputstava.
Obojena traka je minijatura vašeg celog prozora konteksta: svaki segment predstavlja jedan od gore navedenih delova, a zeleni segment sa desne strane je ono što preostaje za vašu bazu znanja. Pored trake vidite broj tokena vašeg prompta u odnosu na preporučenu smernicu (na primer "~788 / 2,400 tokens · 8k") i ocenu:
- Optimal (Optimalno) - vaš prompt se bez problema uklapa; ostaje dovoljno prostora za znanje.
- Getting large (Postaje veliko) - prompt počinje da preopterećuje kontekst; razmislite o tome da ga skratite.
- Too large (Preveliko) - prompt premašuje preporučenu smernicu ili ostavlja premalo prostora za znanje; odgovori mogu postati lošiji.
Kliknite na traku da biste proširili detaljan pregled:
Prošireni panel prikazuje približan broj tokena za svaki deo i padajući meni Chat context size (Veličina konteksta ćaskanja), tako da možete povećati veličinu konteksta direktno na tom mestu bez odlaska na Model & Advanced. Tačna raspodela varira po razgovoru - panel je procena, a ne precizno merenje.
Oko polja za unos prikazana su dva ograničenja i ona funkcionišu različito:
- Ograničenje znakova - fiksno ograničenje koje prikazuje brojač u polju za unos, a koje može zavisiti od pretplate vlasnika bota; polje ne prihvata duži prompt.
- Smernica za tokene (merač) - okvirna smernica; njeno prekoračenje ne blokira čuvanje, ali ostavlja manje prostora za vašu bazu znanja i memoriju razgovora.
Ako merač postane crven, predlaže dva rešenja: povećajte veličinu konteksta ćaskanja (poruke tada koštaju više kredita - 16K je 2x, 32K je 4x, pogledajte kredite za poruke), ili premestite scenarije korak-po-korak iz prompta u faze u okviru funkcije Conversation Flow, što je objašnjeno u nastavku.
Veličina konteksta i Conversation Flow
Conversation Flow vam omogućava da podelite ponašanje svog bota na faze, pri čemu svaka ima svoja uputstva. Kada je tok omogućen, uputstva aktivne faze se dodaju u prompt - tako da dele isti budžet konteksta. Duga uputstva za fazu povrh dugačke prilagođene uloge ostavljaju manje prostora za vašu bazu znanja pri istoj veličini konteksta.
Veličina konteksta takođe kontroliše koliko dugačka mogu biti uputstva za svaku fazu:
- Kontekst od 8.000 tokena - do 1.000 znakova po fazi
- Kontekst od 16.000 ili 32.000 tokena - do 6.000 znakova po fazi
Povećanje veličine konteksta stoga radi dve stvari istovremeno: povećava ograničenje uputstava po fazi i vraća prostor za znanje. Važi i obrnuto - ako je vaš prompt prilagođene uloge prevelik, premeštanje scenarija korak-po-korak u faze toka održava osnovnu ulogu kratkom, jer se uputstva za svaku fazu učitavaju samo dok je razgovor u toj fazi.
Cena u kreditima prema veličini konteksta
Podrazumevana veličina konteksta je 8.000 tokena. Njeno povećanje uvećava broj kredita za poruke koje svaki odgovor troši:
- 8.000 tokena - 1x krediti za poruke (podrazumevano)
- 16.000 tokena - 2x kredita za poruke po poruci
- 32.000 tokena - 4x kredita za poruke po poruci
Množilac se kombinuje sa cenom u kreditima za AI model koji izaberete - veći kontekst čini svaki odgovor tog modela proporcionalno skupljim.