Mis on vestluse konteksti maht?
Vestluse konteksti maht määrab, kui palju teavet saadetakse tehisintellektile iga kord, kui külastaja esitab küsimuse. Kontekst sisaldab teie chatboti rollijuhiseid (viipa ehk prompt'i), senist vestlust ja teie teadmusbaasist hangitud kõige asjakohasemaid treeningandmete osi. Token on väike tekstiosa, mida tehisintellekt loeb - keskmiselt on 1 token umbes 4 tähemärki ehk ligikaudu 3/4 sõnast.
Suurema konteksti eelised:
- Rohkem ruumi üksikasjalikele rollijuhistele, ilma et see suruks välja teie teadmusbaasi
- Pikemate vestluste parem mõistmine
- Võime vastata keerulistele küsimustele, viidates korraga suuremale hulgale treeningandmetele
- Kui funktsioon chat memory (vestluse mälu) on sisse lülitatud, jääb rohkem ruumi varasemate vestluste kokkuvõtetele ja kliendiprofiilidele
Kuidas konteksti mahtu muuta
Valige oma chatbot, klõpsake vahekaardil Settings (Seaded) ja seejärel valige vasakpoolsest külgribast Model & Advanced (Mudel ja täpsemad seaded).
Leidke rippmenüü Context size (Konteksti maht) ja valige soovitud variant:
- 8000 tokens (default) - 1x message credits (sõnumikrediidid)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K ja 32K variandid on saadaval tasuliste lisafunktsioonidena - need kuvatakse loendis ainult siis, kui teie pakett sisaldab suuremat vestluse konteksti.
Kuidas kontekstiakent jagatakse
Kontekst on ühine ressurss. Iga sõnumi puhul jaguneb see järgmiste osade vahel:
- Teie viip - teie kirjutatud rolli- ja käitumisjuhised (ainult siis, kui kasutate funktsiooni Custom Role Definition)
- Süsteemijuhised - väike maht, mille lisab ChatLab, et bot käituks korrektselt
- Tööriistad - kui teie bot kasutab AI Actions (tehisintellekti toimingud) funktsioone või integratsioone, võtavad nende juhised oma osa
- Vestluse mälu - viimane vestlus ning kokkuvõtted ja kliendiprofiilid, kui vestluse mälu on lubatud
- Ülejääk teadmusbaasi jaoks - kõik, mis üle jääb, kasutatakse külastaja küsimusega sobivate treeningandmete jaoks
Põhiline järeldus: mida rohkem ruumi võtavad teie juhised, seda vähem teadmisi saab tehisintellekt vastamiseks kasutada. Konteksti mahu suurendamine kasvatab kogu eelarvet, nii et nii teie juhised kui ka teadmised saavad rohkem ruumi.
Konteksti kasutuse mõõdik
Kui määratlete kohandatud rolli, kuvab ChatLab reaalajas, kui palju kontekstist teie juhised ära kasutavad. Valige oma chatbot ja liikuge jaotisse Settings > Role & Behavior, seejärel lülituge vahekaardile Custom Role Definition (Kohandatud rolli määratlus). Mõõdik asub otse juhiste redaktori all.
Värviline riba kujutab miniatuurselt kogu teie kontekstiakent: iga segment tähistab ühte ülaltoodud osadest ja parempoolne roheline segment näitab, mis jääb alles teie teadmusbaasi jaoks. Riba kõrval näete oma viiba tokenite arvu võrreldes soovitusliku suunisega (näiteks "~788 / 2,400 tokens · 8k") ning hinnangut:
- Optimal (Optimaalne) - teie viip mahub mugavalt ära; teadmiste jaoks jääb rohkelt ruumi.
- Getting large (Hakkab suureks minema) - viip hakkab konteksti kitsaks muutma; kaaluge selle kärpimist.
- Too large (Liiga suur) - viip ületab soovitusliku suunise või jätab teadmiste jaoks liiga vähe ruumi; vastuste kvaliteet võib langeda.
Klõpsake ribal, et avada täielik jaotus:
Laiendatud paneel kuvab iga osa ligikaudse tokenite arvu ning rippmenüü Chat context size, mis võimaldab teil konteksti mahtu sealsamas suurendada ilma lehele Model & Advanced minemata. Täpne jaotus varieerub vestluste lõikes - paneel esitab hinnangu, mitte absoluutset mõõtmistulemust.
Redaktori ümber kuvatakse kaks limiiti ja need toimivad erinevalt:
- Tähemärkide limiit (näiteks "2,882 / 8,000 characters") - range piirang; redaktor ei võta vastu pikemat viipa.
- Tokenite suunis (mõõdik) - paindlik suunis; selle ületamine ei takista salvestamist, kuid jätab vähem ruumi teie teadmusbaasile ja vestluse mälule.
Kui mõõdik muutub punaseks, soovitab see kahte lahendust: suurendage vestluse konteksti mahtu (sõnumid kulutavad siis rohkem krediite - 16K puhul 2x, 32K puhul 4x, vaadake jaotist sõnumikrediidid) või viige samm-sammulised stsenaariumid viibast üle funktsiooni Conversation Flow etappidesse, mida selgitatakse järgmisena.
Konteksti maht ja Conversation Flow
Conversation Flow (vestluse voog) võimaldab teil jagada boti käitumise etappideks, millest igaühel on oma juhised. Kui voog on lubatud, lisatakse aktiivse etapi juhised viibale - need jagavad seega sama konteksti eelarvet. Pikad etapi juhised koos pika kohandatud rolliga jätavad sama konteksti mahu juures teie teadmusbaasile vähem ruumi.
Konteksti maht määrab ka selle, kui pikad võivad olla iga etapi juhised:
- 8 000-tokeniline kontekst - kuni 1 000 tähemärki etapi kohta
- 16 000- või 32 000-tokeniline kontekst - kuni 6 000 tähemärki etapi kohta
Konteksti mahu suurendamine teeb seega korraga kahte asja: tõstab etapi juhiste limiiti ja taastab ruumi teadmistele. Toimib ka vastupidine - kui teie kohandatud rolli viip on liiga pikk, aitab samm-sammuliste stsenaariumide viimine voo etappidesse hoida põhirolli lühikesena, sest iga etapi juhised laaditakse ainult siis, kui vestlus on vastavas etapis.
Krediidikulu konteksti mahu kohta
Vaikimisi konteksti maht on 8 000 tokenit. Selle suurendamine korrutab läbi määra, kui palju sõnumikrediite iga vastus kulutab:
- 8 000 tokenit - 1x sõnumikrediiti (vaikimisi)
- 16 000 tokenit - 2x sõnumikrediiti sõnumi kohta
- 32 000 tokenit - 4x sõnumikrediiti sõnumi kohta
Kordaja lisandub teie valitud AI-mudeli krediidikulule - suurem kontekst muudab selle mudeli iga vastuse proportsionaalselt kulukamaks.