Šta je veličina konteksta ćaskanja?
Veličina konteksta ćaskanja određuje koliko se informacija šalje veštačkoj inteligenciji svaki put kada posetilac postavi pitanje. Kontekst sadrži uputstva za ulogu vašeg chatbota (prompt), dosadašnji tok razgovora i najrelevantnije delove podataka za treniranje preuzete iz vaše baze znanja. Token je mali deo teksta koji AI čita - u proseku 1 token ima oko 4 znaka, ili približno 3/4 reči.
Prednosti većeg konteksta:
- Više prostora za detaljna uputstva o ulozi bez istiskivanja vaše baze znanja
- Bolje razumevanje dužih razgovora
- Mogućnost odgovaranja na složena pitanja korišćenjem više podataka za treniranje odjednom
- Kada je omogućena memorija ćaskanja, više prostora za rezimee i profile klijenata iz prethodnih razgovora
Kako promeniti veličinu konteksta
Izaberite svog chatbota, kliknite na karticu Settings (Podešavanja), a zatim izaberite Model & Advanced (Model i napredna podešavanja) u levoj bočnoj traci.
Pronađite padajući meni Context size (Veličina konteksta) i izaberite željenu opciju:
- 8000 tokens (default) - 1x krediti za poruke
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Opcije od 16K i 32K dostupne su kao premijum funkcije - pojavljuju se na listi samo kada vaš plan uključuje veći kontekst ćaskanja.
Kako se deli prozor konteksta
Kontekst je zajednički budžet. Prilikom svake poruke, on se deli između:
- Vašeg prompta - uputstva za ulogu i ponašanje koja ste napisali (samo kada koristite Custom Role Definition)
- Sistemskih uputstava - mala količina koju ChatLab dodaje kako bi se bot ponašao ispravno
- Alatki - ako vaš bot koristi AI Actions ili integracije, njihova uputstva zauzimaju deo
- Memorije razgovora - nedavni razgovor, plus rezimei i profili klijenata kada je omogućena memorija ćaskanja
- Preostalog dela za vašu bazu znanja - sve što preostane koristi se za podatke za treniranje koji odgovaraju pitanju posetioca
Glavni zaključak: što više prostora vaša uputstva zauzimaju, to manje znanja AI može da iskoristi za odgovor. Povećanje veličine konteksta uvećava ceo budžet, tako da i vaša uputstva i vaše znanje dobijaju više prostora.
Merač iskorišćenosti konteksta
Kada definišete prilagođenu ulogu, ChatLab vam uživo prikazuje koliko konteksta vaša uputstva troše. Izaberite svog chatbota i idite na Settings > Role & Behavior (Podešavanja > Uloga i ponašanje), a zatim pređite na karticu Custom Role Definition (Prilagođena definicija uloge). Merač se pojavljuje direktno ispod editora uputstava.
Obojena traka je minijatura vašeg celog prozora konteksta: svaki segment predstavlja jedan od gore navedenih delova, a zeleni segment sa desne strane jeste ono što preostaje za vašu bazu znanja. Pored trake vidite broj tokena vašeg prompta u odnosu na preporučenu smernicu (na primer "~788 / 2,400 tokens · 8k") i ocenu:
- Optimal (Optimalno) - vaš prompt se bez problema uklapa; ostaje dovoljno prostora za znanje.
- Getting large (Postaje veliko) - prompt počinje da preopterećuje kontekst; razmislite o tome da ga skratite.
- Too large (Preveliko) - prompt premašuje preporučenu smernicu ili ostavlja premalo prostora za znanje; odgovori mogu postati lošiji.
Kliknite na traku da biste otvorili detaljan prikaz:
Prošireni panel prikazuje približan broj tokena svakog dela i padajući meni Chat context size (Veličina konteksta ćaskanja), tako da možete povećati veličinu konteksta direktno na tom mestu bez odlaska na Model & Advanced. Tačna raspodela varira od razgovora do razgovora - panel predstavlja procenu, a ne egzaktno merenje.
Oko editora su prikazana dva ograničenja i ona funkcionišu različito:
- Ograničenje broja znakova (na primer "2,882 / 8,000 characters") - fiksno ograničenje; editor ne prihvata duži prompt.
- Smernica za tokene (merač) - okvirna smernica; njeno prekoračenje ne blokira čuvanje, ali ostavlja manje prostora za vašu bazu znanja i memoriju razgovora.
Ako merač postane crven, predlaže dva rešenja: povećajte veličinu konteksta ćaskanja (poruke tada troše više kredita - 16K je 2x, 32K je 4x, pogledajte krediti za poruke), ili premestite postupne scenarije iz prompta u faze za Conversation Flow, što je objašnjeno u nastavku.
Veličina konteksta i Conversation Flow
Conversation Flow vam omogućava da ponašanje svog bota podelite na faze, od kojih svaka ima svoja uputstva. Kada je tok omogućen, uputstva aktivne faze se dodaju u prompt - tako da dele isti budžet konteksta. Duga uputstva za fazu povrh dugačke prilagođene uloge ostavljaju manje prostora za vašu bazu znanja pri istoj veličini konteksta.
Veličina konteksta takođe određuje koliko duga mogu biti uputstva za svaku fazu:
- Kontekst od 8.000 tokena - do 1.000 znakova po fazi
- Kontekst od 16.000 ili 32.000 tokena - do 6.000 znakova po fazi
Povećanje veličine konteksta stoga radi dve stvari istovremeno: podiže ograničenje uputstava po fazi i vraća prostor za znanje. Obrnuti pristup takođe funkcioniše - ako je vaš prompt za prilagođenu ulogu prevelik, premeštanje postupnih scenarija u faze toka održava osnovnu ulogu kratkom, jer se uputstva svake faze učitavaju samo dok je razgovor u toj fazi.
Cena u kreditima prema veličini konteksta
Podrazumevana veličina konteksta je 8.000 tokena. Njeno povećanje množi količinu kredita za poruke koju svaki odgovor troši:
- 8.000 tokena - 1x krediti za poruke (podrazumevano)
- 16.000 tokena - 2x krediti za poruke po poruci
- 32.000 tokena - 4x krediti za poruke po poruci
Množilac se kombinuje sa cenom u kreditima za AI model koji izaberete - veći kontekst čini svaki odgovor tog modela proporcionalno skupljim.