Kas yra pokalbio konteksto dydis?
Pokalbio konteksto dydis nustato, kiek informacijos siunčiama DI kaskart, kai lankytojas užduoda klausimą. Kontekste saugomos Jūsų pokalbių roboto vaidmens instrukcijos (angl. prompt), iki šiol vykęs pokalbis ir aktualiausi apmokymo duomenys, gauti iš Jūsų žinių bazės. Tokenas (žetonas) yra nedidelis teksto fragmentas, kurį skaito DI - jų skaičius skiriasi priklausomai nuo kalbos ir modelio, todėl tokenai nėra tas pats, kas simboliai ar žodžiai.
Didesnio konteksto privalumai:
- Daugiau vietos išsamioms vaidmens instrukcijoms neapribojant žinių bazės
- Geresnis ilgesnių pokalbių supratimas
- Galimybė atsakyti į sudėtingus klausimus vienu metu remiantis didesniu apmokymo duomenų kiekiu
- Įjungus pokalbių atmintį, daugiau vietos ankstesnių pokalbių santraukoms ir klientų profiliams
Kaip pakeisti konteksto dydį
Pasirinkite savo pokalbių robotą, spustelėkite skirtuką Settings (nustatymai), tada kairėje šoninėje juostoje pasirinkite Model & Advanced (modelis ir išplėstiniai nustatymai).
Raskite išskleidžiamąjį sąrašą Context size (konteksto dydis) ir pasirinkite pageidaujamą parinktį:
- 8000 tokens (default) - 1x žinučių kreditai
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K ir 32K parinktys pasiekiamos kaip papildomos funkcijos - sąraše jos rodomos tik tada, kai Jūsų planas apima didesnį pokalbio kontekstą.
Palaukite, kol pasirodys Saved (išsaugota), tada išbandykite naują pokalbį skiltyje Overview (apžvalga), užduodami klausimą, kuriam reikia kelių susijusių faktų. Didesnis kontekstas nepadidina Jūsų apmokymo saugyklos limito ir negarantuoja geresnio atsakymo; prieš pasilikdami didesnes kredito sąnaudas, palyginkite rezultatus.
Kaip dalijamas konteksto langas
Kontekstas yra bendras biudžetas. Kiekvienos žinutės metu jis padalijamas tarp:
- Jūsų prompto - sugeneruotų iš anksto nustatytų vaidmens instrukcijų arba instrukcijų, kurias įrašėte skiltyje Custom Role Definition (tinkintas vaidmens apibrėžimas)
- Sistemos instrukcijų - nedidelės dalies, kurią prideda ChatLab, kad robotas elgtųsi teisingai
- Įrankių - jei Jūsų robotas naudoja AI Actions arba integracijas, jų instrukcijos užima dalį vietos
- Pokalbio atminties - pastarojo meto pokalbio bei santraukų ir klientų profilių, kai pokalbių atmintis yra įjungta
- Likęs kiekis žinių bazei - visa kita, kas lieka, naudojama apmokymo duomenims, atitinkantiems lankytojo klausimą
Svarbiausia taisyklė: kuo daugiau vietos užima Jūsų instrukcijos, tuo mažiau žinių DI gali panaudoti atsakydamas. Padidinus konteksto dydį, padidėja visas biudžetas, todėl daugiau vietos atsiranda ir Jūsų instrukcijoms, ir žinioms.
Konteksto naudojimo matuoklis
Kai nustatote tinkintą vaidmenį, ChatLab realiuoju laiku rodo, kiek konteksto sunaudoja Jūsų instrukcijos. Pasirinkite savo pokalbių robotą ir eikite į Settings > Role & Behavior, tada atidarykite skirtuką Custom Role Definition. Matuoklis rodomas tiesiai po instrukcijų redaktoriumi.
Spalvota juosta yra viso Jūsų konteksto lango miniatiūra: kiekvienas segmentas žymi vieną iš aukščiau išvardytų dalių, o žalias segmentas dešinėje rodo, kas lieka Jūsų žinių bazei. Šalia juostos matote savo prompto tokenų skaičių, palyginti su rekomenduojama gaire (pavyzdžiui, „~788 / 2,400 tokens · 8k“), ir įvertinimą:
- Optimal (optimalu) - Jūsų promptas telpa be sunkumų; lieka daug vietos žinioms.
- Getting large (didėja) - promptas pradeda užpildyti kontekstą; apsvarstykite galimybę jį sutrumpinti.
- Too large (per didelis) - promptas viršija rekomenduojamą ribą arba palieka per mažai vietos žinioms; atsakymai gali pablogėti.
Spustelėkite juostą, kad išskleistumėte išsamų suskirstymą:
Išplėstame skydelyje rodomas apytikslis kiekvienos dalies tokenų skaičius ir išskleidžiamasis meniu Chat context size (pokalbio konteksto dydis), todėl galite padidinti konteksto dydį čia pat, neatverdami Model & Advanced. Tikslus pasiskirstymas skiriasi kiekvieno pokalbio metu - skydelyje pateikiamas apytikslis įvertis, o ne tikslus matavimas.
Aplink redaktorių rodomi du limitai, ir jie veikia skirtingai:
- Simbolių limitas - griežtas limitas, kurį rodo redaktoriaus skaitiklis; jis gali priklausyti nuo roboto savininko prenumeratos; redaktorius nepriima ilgesnio prompto.
- Tokenų gairė (matuoklis) - orientacinė rekomendacija; jos viršijimas neužkerta kelio išsaugojimui, tačiau palieka mažiau vietos Jūsų žinių bazei ir pokalbių atminčiai.
Jei matuoklis tampa raudonas, siūlomi du sprendimai: padidinti pokalbio konteksto dydį (tada žinutės kainuoja daugiau kreditų - 16K kainuoja 2x, 32K - 4x, žr. žinučių kreditai) arba perkelti nuoseklius scenarijus iš prompto į Conversation Flow etapus, kaip paaiškinta toliau.
Konteksto dydis ir Conversation Flow
Conversation Flow leidžia padalyti Jūsų roboto elgseną į etapus, kurių kiekvienas turi savo instrukcijas. Kai eigos seka įjungta, aktyvaus etapo instrukcijos pridedamos prie prompto, todėl jos dalijasi tą patį konteksto biudžetą. Ilgos etapo instrukcijos kartu su ilgu tinkintu vaidmeniu palieka mažiau vietos Jūsų žinių bazei esant tam pačiam konteksto dydžiui.
Konteksto dydis taip pat valdo, kokio ilgio gali būti kiekvieno etapo instrukcijos:
- 8 000 tokenų kontekstas - iki 1 000 simbolių vienam etapui
- 16 000 arba 32 000 tokenų kontekstas - iki 6 000 simbolių vienam etapui
Todėl konteksto dydžio padidinimas atlieka du dalykus vienu metu: padidina vieno etapo instrukcijų limitą ir atkuria erdvę žinioms. Galioja ir atvirkštinis variantas - jei Jūsų tinkinto vaidmens promptas per didelis, žingsnis po žingsnio vykdomų scenarijų perkėlimas į srauto etapus padeda išlaikyti pagrindinį vaidmenį trumpą, nes kiekvieno etapo instrukcijos įkeliamos tik tada, kai pokalbis pasiekia tą etapą.
Kredito kaina pagal konteksto dydį
Numatytasis konteksto dydis yra 8 000 tokenų. Jį padidinus, padauginama, kiek žinučių kreditų sunaudoja kiekvienas atsakymas:
- 8 000 tokenų - 1x žinučių kreditai (numatytasis)
- 16 000 tokenų - 2x žinučių kreditai už žinutę
- 32 000 tokenų - 4x žinučių kreditai už žinutę
Dauginimo koeficientas sumuojamas su Jūsų pasirinkto DI modelio kredito kaina - didesnis kontekstas kiekvieną to modelio atsakymą padaro proporcingai brangesnį.