Kas yra pokalbio konteksto dydis?
Pokalbio konteksto dydis nustato, kiek informacijos siunčiama DI kaskart, kai lankytojas užduoda klausimą. Kontekste saugomos jūsų pokalbių roboto vaidmens instrukcijos (prompt), iki tol vykęs pokalbis ir aktualiausia apmokymo duomenų dalis, paimta iš jūsų žinių bazės. Tokenas yra nedidelis teksto fragmentas, kurį skaito DI - vidutiniškai 1 tokeną sudaro apie 4 simboliai, arba maždaug 3/4 žodžio.
Didesnio konteksto privalumai:
- Daugiau vietos išsamioms vaidmens instrukcijoms neišstumiant jūsų žinių bazės
- Geresnis ilgesnių pokalbių supratimas
- Galimybė atsakyti į sudėtingus klausimus vienu metu remiantis didesniu apmokymo duomenų kiekiu
- Įjungus pokalbių atmintį - daugiau vietos ankstesnių pokalbių santraukoms ir klientų profiliams
Kaip pakeisti konteksto dydį
Pasirinkite savo pokalbių robotą, spustelėkite skirtuką Settings (Nustatymai), tada kairėje šoninėje juostoje pasirinkite Model & Advanced (Modelis ir išplėstiniai nustatymai).
Raskite išskleidžiamąjį meniu Context size (Konteksto dydis) ir pasirinkite pageidaujamą parinktį:
- 8000 tokens (default) - 1x pranešimų kreditai
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K ir 32K parinktys pasiekiamos kaip „premium“ funkcijos - sąraše jos rodomos tik tada, kai jūsų planas apima didesnį pokalbio kontekstą.
Kaip padalijamas konteksto langas
Kontekstas yra bendras biudžetas. Kiekvienos žinutės metu jis padalijamas tarp:
- Jūsų prompt - jūsų parašytų vaidmens ir elgsenos instrukcijų (tik tada, kai naudojate Custom Role Definition)
- Sistemos instrukcijų - nedidelio kiekio duomenų, kuriuos prideda ChatLab, kad robotas veiktų teisingai
- Įrankių - jei jūsų robotas naudoja AI Actions arba integracijas, jų instrukcijos užima dalį vietos
- Pokalbio atminties - pastarojo pokalbio, taip pat santraukų ir klientų profilių, kai įjungta pokalbių atmintis
- Vietos, likusios jūsų žinių bazei - viskas, kas lieka, naudojama apmokymo duomenims, atitinkantiems lankytojo klausimą
Svarbiausia taisyklė: kuo daugiau vietos užima jūsų instrukcijos, tuo mažiau žinių DI gali panaudoti atsakymui. Padidinus konteksto dydį išauga visas biudžetas, todėl daugiau vietos lieka ir jūsų instrukcijoms, ir žinioms.
Konteksto naudojimo matuoklis
Kai nustatote pasirinktinį vaidmenį, ChatLab realiuoju laiku rodo, kiek konteksto suvartoja jūsų instrukcijos. Pasirinkite savo pokalbių robotą ir eikite į Settings > Role & Behavior (Nustatymai > Vaidmuo ir elgsena), tada perjunkite į skirtuką Custom Role Definition (Pasirinktinis vaidmens apibrėžimas). Matuoklis rodomas tiesiai po instrukcijų redaktoriumi.
Spalvota juosta yra viso jūsų konteksto lango miniatiūra: kiekvienas segmentas atitinka vieną iš aukščiau išvardytų dalių, o žalias segmentas dešinėje rodo, kiek vietos lieka jūsų žinių bazei. Šalia juostos matote savo prompt tokenų skaičių, palyginti su rekomenduojama gaire (pavyzdžiui, „~788 / 2,400 tokens · 8k“), ir įvertinimą:
- Optimal - jūsų prompt telpa be vargo; lieka daug vietos žinioms.
- Getting large - prompt pradeda užpildyti kontekstą; apsvarstykite galimybę jį sutrumpinti.
- Too large - prompt viršija rekomenduojamą ribą arba palieka per mažai vietos žinioms; atsakymai gali pablogėti.
Spustelėkite juostą, kad išskleistumėte išsamų suskirstymą:
Išplėstame skydelyje rodomas apytikslis kiekvienos dalies tokenų skaičius ir išskleidžiamasis meniu Chat context size (Pokalbio konteksto dydis), todėl konteksto dydį galite padidinti tiesiog čia, neperėję į Model & Advanced. Tikslus padalijimas kiekvieno pokalbio metu skiriasi - skydelyje pateikiamas apytikslis įvertis, o ne tikslus matavimas.
Aplink redaktorių rodomos dvi ribos, ir jos veikia skirtingai:
- Simbolių riba (pavyzdžiui, „2,882 / 8,000 characters“) - griežta riba; redaktorius nepriima ilgesnio prompt.
- Tokenų rekomendacija (matuoklis) - orientacinė rekomendacija; jos viršijimas neužkerta kelio išsaugojimui, tačiau palieka mažiau vietos jūsų žinių bazei ir pokalbio atminčiai.
Jei matuoklis tampa raudonas, siūlomi du sprendimai: padidinti pokalbio konteksto dydį (tuomet žinutės kainuoja daugiau kreditų - 16K kainuoja 2x, 32K - 4x, žr. pranešimų kreditai) arba perkelti nuoseklius scenarijus iš prompt į Conversation Flow etapus, kaip paaiškinta toliau.
Konteksto dydis ir Conversation Flow
Conversation Flow leidžia padalyti jūsų roboto elgseną į etapus, kurių kiekvienas turi savo instrukcijas. Kai ši eiga įjungta, aktyvaus etapo instrukcijos pridedamos prie prompt - taigi jos dalijasi tą patį konteksto biudžetą. Ilgos etapo instrukcijos kartu su ilgu pasirinktiniu vaidmeniu palieka mažiau vietos jūsų žinių bazei esant tam pačiam konteksto dydžiui.
Konteksto dydis taip pat lemia, kokio ilgio gali būti kiekvieno etapo instrukcijos:
- 8 000 tokenų kontekstas - iki 1 000 simbolių vienam etapui
- 16 000 arba 32 000 tokenų kontekstas - iki 6 000 simbolių vienam etapui
Todėl padidinus konteksto dydį pasiekiami du dalykai vienu metu: padidinama vieno etapo instrukcijų riba ir atlaisvinama vietos žinioms. Galimas ir atvirkštinis variantas - jei jūsų pasirinktinio vaidmens prompt yra per didelis, perkėlus nuoseklius scenarijus į eigos etapus pagrindinis vaidmuo lieka trumpas, nes kiekvieno etapo instrukcijos įkeliamos tik tada, kai pokalbis pasiekia tą etapą.
Kredito kaina pagal konteksto dydį
Numatytasis konteksto dydis yra 8 000 tokenų. Jį padidinus, padauginamas kiekvienam atsakymui sunaudojamų pranešimų kreditų skaičius:
- 8 000 tokenų - 1x pranešimų kreditai (numatytasis)
- 16 000 tokenų - 2x pranešimų kreditai už žinutę
- 32 000 tokenų - 4x pranešimų kreditai už žinutę
Daugiklis sumuojamas su jūsų pasirinkto DI modelio kredito kaina - didesnis kontekstas atitinkamai pabrangina kiekvieną to modelio atsakymą.