Mis on vestluse konteksti maht?
Vestluse konteksti maht määrab, kui palju teavet saadetakse tehisintellektile iga kord, kui külastaja esitab küsimuse. Kontekst sisaldab teie chatboti rollijuhiseid (prompt), senist vestlust ja teie teadmusbaasist hangitud kõige asjakohasemaid treeningandmete osi. Token on väike tekstiosa, mida tehisintellekt loeb - selle suurus varieerub keele ja mudeli lõikes, seega ei ole tokenid samaväärsed tähemärkide ega sõnadega.
Suurema konteksti eelised:
- Rohkem ruumi üksikasjalikele rollijuhistele ilma teie teadmusbaasi välja tõrjumata
- Pikemate vestluste parem mõistmine
- Võime vastata keerukatele küsimustele, viidates korraga suuremale hulgale treeningandmetele
- Kui vestlusmälu on sisse lülitatud, on rohkem ruumi varasemate vestluste kokkuvõtetele ja kliendiprofiilidele
Kuidas konteksti mahtu muuta
Valige oma chatbot, klõpsake vahekaardil Settings (Seaded) ja seejärel valige vasakult külgribalt Model & Advanced (Mudel ja täpsemad seaded).
Leidke rippmenüü Context size (Konteksti maht) ja valige soovitud variant:
- 8000 tokens (default) - 1x sõnumikrediiti
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K ja 32K variandid on saadaval lisafunktsioonidena - need ilmuvad loendisse ainult siis, kui teie pakett sisaldab suuremat vestluse konteksti.
Oodake teadet Saved (Salvestatud), seejärel testige uut vestlust jaotises Overview (Ülevaade) küsimusega, mis nõuab mitut seotud fakti. Suurem kontekst ei suurenda teie treeningandmete salvestusmahtu ega taga automaatselt paremat vastust; enne suurema krediidikulu juurde jäämist võrrelge tulemusi.
Kuidas kontekstiakent jagatakse
Kontekst on ühine ressurss. Iga sõnumi puhul jagatakse see järgmiste osade vahel:
- Teie prompt - genereeritud eelmääratletud rollijuhised või juhised, mille kirjutasite jaotises Custom Role Definition
- Süsteemijuhised - väike maht, mille ChatLab lisab boti korrektseks toimimiseks
- Tööriistad - kui teie bot kasutab funktsiooni AI Actions või integratsioone, võtavad nende juhised oma osa
- Vestlusmälu - viimane vestlus ning sisselülitatud vestlusmälu korral ka kokkuvõtted ja kliendiprofiilid
- Ülejääk teie teadmusbaasile - kõik ülejäänu kasutatakse külastaja küsimusega kattuvate treeningandmete jaoks
Kõige olulisem järeldus: mida rohkem ruumi võtavad teie juhised, seda vähem teadmisi saab tehisintellekt vastamiseks kasutada. Konteksti mahu suurendamine kasvatab kogu ressurssi, nii et nii teie juhised kui ka teadmised saavad rohkem ruumi.
Kontekstikasutuse mõõdik
Kui määratlete kohandatud rolli, kuvab ChatLab teile reaalajas, kui palju konteksti teie juhised ära kasutavad. Valige oma chatbot ja liikuge jaotisse Settings > Role & Behavior, seejärel lülituge vahekaardile Custom Role Definition (Kohandatud rolli määratlus). Mõõdik asub otse juhiste redaktori all.
Värviline riba on kogu teie kontekstiakna miniatuur: iga segment tähistab ühte eespool loetletud osadest ja roheline segment paremal on see, mis jääb üle teie teadmusbaasile. Riba kõrval näete oma prompti tokenite arvu võrrelduna soovitusliku suunisega (näiteks "~788 / 2,400 tokens · 8k") ning hinnangut:
- Optimal - teie prompt mahub mugavalt; teadmistele jääb rohkelt ruumi.
- Getting large - prompt hakkab konteksti kitsaks muutma; kaaluge selle kärpimist.
- Too large - prompt ületab soovituslikku suunist või jätab teadmistele liiga vähe ruumi; vastuste kvaliteet võib langeda.
Klõpsake ribal, et avada täielik jaotus:
Laiendatud paneel kuvab iga osa ligikaudse tokenite arvu ja rippmenüü Chat context size (Vestluse konteksti maht), et saaksite konteksti mahtu sealsamas suurendada ilma jaotisesse Model & Advanced minemata. Täpne jaotus varieerub vestluste lõikes - paneel kuvab hinnangut, mitte täpset mõõtmistulemust.
Redaktori ümber kuvatakse kahte limiiti ja need toimivad erinevalt:
- Tähemärkide limiit - range piirang, mida näitab redaktori loendur ja mis võib sõltuda boti omaniku tellimusest; pikemat prompti redaktor vastu ei võta.
- Tokenite suunis (mõõdik) - paindlik soovitus; selle ületamine ei takista salvestamist, kuid jätab vähem ruumi teie teadmusbaasile ja vestlusmälule.
Kui mõõdik muutub punaseks, soovitab see kahte lahendust: suurendage vestluse konteksti mahtu (sõnumid maksavad sel juhul rohkem krediiti - 16K puhul 2x, 32K puhul 4x, vaadake jaotist sõnumikrediit) või viige sammsammulised stsenaariumid promptist üle funktsiooni Conversation Flow etappidesse, millest räägitakse järgmisena.
Konteksti maht ja Conversation Flow
Conversation Flow võimaldab jagada boti käitumise etappideks, millest igaühel on oma juhised. Kui töövoog on sisse lülitatud, lisatakse aktiivse etapi juhised promptile - seega jagavad need sama konteksti ressurssi. Pikad etapi juhised koos pika kohandatud rolliga jätavad sama konteksti mahu juures teie teadmusbaasile vähem ruumi.
Konteksti maht määrab ka selle, kui pikad võivad olla iga etapi juhised:
- 8 000 tokeniga kontekst - kuni 1 000 tähemärki etapi kohta
- 16 000 või 32 000 tokeniga kontekst - kuni 6 000 tähemärki etapi kohta
Konteksti mahu suurendamine teeb seega korraga kahte asja: tõstab etapi juhiste limiiti ja taastab ruumi teadmistele. Toimib ka vastupidine - kui teie kohandatud rolli prompt on liiga suur, hoiab sammsammuliste stsenaariumide viimine etappidesse põhirolli lühikesena, sest iga etapi juhised laaditakse alles siis, kui vestlus jõuab sellesse etappi.
Krediidikulu konteksti mahu kohta
Vaikimisi on konteksti maht 8 000 tokenit. Selle suurendamine korrutab läbi, kui palju sõnumikrediiti iga vastus tarbib:
- 8 000 tokenit - 1x sõnumikrediiti (vaikimisi)
- 16 000 tokenit - 2x sõnumikrediiti sõnumi kohta
- 32 000 tokenit - 4x sõnumikrediiti sõnumi kohta
Kordaja lisandub teie valitud tehisintellekti mudeli krediidikulule - suurem kontekst teeb selle mudeli iga vastuse proportsionaalselt kallimaks.