Kas ir tērzēšanas konteksta izmērs?
Tērzēšanas konteksta izmērs nosaka, cik daudz informācijas tiek nosūtīts mākslīgajam intelektam katru reizi, kad apmeklētājs uzdod jautājumu. Konteksts ietver Jūsu tērzēšanas bota lomas norādījumus (uzvedni), līdzšinējo sarunu un visatbilstošākos apmācības datu fragmentus, kas iegūti no Jūsu zināšanu bāzes. Tokens ir neliela teksta daļa, ko nolasa mākslīgais intelekts - vidēji 1 tokens ir aptuveni 4 rakstzīmes jeb aptuveni 3/4 vārda.
Lielāka konteksta priekšrocības:
- Vairāk vietas detalizētiem lomas norādījumiem, neierobežojot zināšanu bāzi
- Labāka garāku sarunu izpratne
- Spēja atbildēt uz sarežģītiem jautājumiem, vienlaikus izmantojot vairāk apmācības datu
- Ja ir iespējota tērzēšanas atmiņa, vairāk vietas kopsavilkumiem un klientu profiliem no iepriekšējām sarunām
Kā mainīt konteksta izmēru
Izvēlieties savu tērzēšanas botu, noklikšķiniet uz cilnes Settings (Iestatījumi) un kreisajā sānjoslā izvēlieties Model & Advanced (Modelis un papildu iestatījumi).
Atrodiet nolaižamo izvēlni Context size (Konteksta izmērs) un izvēlieties vēlamo opciju:
- 8000 tokens (default) - 1x ziņojumu kredīti
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K un 32K opcijas ir pieejamas kā maksas funkcijas - tās sarakstā parādās tikai tad, ja Jūsu plāns ietver lielāku tērzēšanas kontekstu.
Kā tiek sadalīts konteksta logs
Konteksts ir kopīgs resurss. Katrā ziņojumā tas tiek sadalīts starp:
- Jūsu uzvedni - Jūsu uzrakstītajiem lomas un uzvedības norādījumiem (tikai tad, ja izmantojat Custom Role Definition)
- Sistēmas norādījumiem - nelielu apjomu, ko pievieno ChatLab, lai bots darbotos pareizi
- Rīkiem - ja Jūsu bots izmanto AI Actions vai integrācijas, to norādījumi aizņem daļu vietas
- Sarunas atmiņu - neseno sarunu, kā arī kopsavilkumiem un klientu profiliem, ja ir iespējota tērzēšanas atmiņa
- Atlikumu Jūsu zināšanu bāzei - viss pārējais tiek izmantots apmācības datiem, kas atbilst apmeklētāja jautājumam
Galvenais secinājums: jo vairāk vietas aizņem Jūsu norādījumi, jo mazāk zināšanu mākslīgais intelekts var izmantot atbildēšanai. Palielinot konteksta izmēru, palielinās kopējais apjoms, tādējādi gan Jūsu norādījumiem, gan zināšanām tiek atvēlēts vairāk vietas.
Konteksta lietojuma mērītājs
Kad definējat pielāgotu lomu, ChatLab reāllaikā parāda, cik daudz konteksta patērē Jūsu norādījumi. Izvēlieties savu tērzēšanas botu, dodieties uz Settings > Role & Behavior (Iestatījumi > Loma un uzvedība) un pārslēdzieties uz cilni Custom Role Definition (Pielāgotas lomas definīcija). Mērītājs parādās tieši zem norādījumu redaktora.
Krāsainā josla ir visa Jūsu konteksta loga miniatūra: katrs segments ir viena no iepriekš minētajām daļām, un zaļais segments labajā pusē ir tas, kas atliek Jūsu zināšanu bāzei. Blakus joslai redzams Jūsu uzvednes tokenu skaits salīdzinājumā ar ieteicamo vadlīniju (piemēram, "~788 / 2,400 tokens · 8k") un novērtējums:
- Optimal - uzvedne ērti iekļaujas limitā; paliek pietiekami daudz vietas zināšanām.
- Getting large - uzvedne sāk aizpildīt kontekstu; apsveriet iespēju to saīsināt.
- Too large - uzvedne pārsniedz ieteicamo vadlīniju vai atstāj pārāk maz vietas zināšanām; atbilžu kvalitāte var pasliktināties.
Noklikšķiniet uz joslas, lai atvērtu pilnu sadalījumu:
Izvērstajā panelī redzams katras daļas aptuvenais tokenu skaits un nolaižamā izvēlne Chat context size (Tērzēšanas konteksta izmērs), lai Jūs varētu palielināt konteksta izmēru tieši tur, neatverot sadaļu Model & Advanced. Precīzs sadalījums katrā sarunā atšķiras - panelī ir sniegts aprēķins, nevis precīzs mērījums.
Ap redaktoru ir redzami divi ierobežojumi, un tie darbojas atšķirīgi:
- Rakstzīmju ierobežojums (piemēram, "2,882 / 8,000 characters") - stingrs ierobežojums; redaktors nepieņem garāku uzvedni.
- Tokenu vadlīnija (mērītājs) - elastīga vadlīnija; tās pārsniegšana neliedz saglabāt izmaiņas, taču tā atstāj mazāk vietas Jūsu zināšanu bāzei un sarunas atmiņai.
Ja mērītājs kļūst sarkans, tas iesaka divus risinājumus: palielināt tērzēšanas konteksta izmēru (tādā gadījumā ziņojumi maksā vairāk kredītu - 16K ir 2x, 32K ir 4x, skatiet sadaļu ziņojumu kredīti) vai pārvietot secīgos scenārijus no uzvednes uz Conversation Flow posmiem, kā aprakstīts tālāk.
Konteksta izmērs un Conversation Flow
Conversation Flow ļauj sadalīt bota uzvedību posmos, katram no tiem piešķirot savus norādījumus. Kad plūsma ir iespējota, aktīvā posma norādījumi tiek pievienoti uzvednei - tādējādi tie dala vienu un to pašu konteksta budžetu. Gari posma norādījumi apvienojumā ar garu pielāgoto lomu pie tāda paša konteksta izmēra atstāj mazāk vietas Jūsu zināšanu bāzei.
Konteksta izmērs nosaka arī to, cik gari var būt katra posma norādījumi:
- 8000 tokenu konteksts - līdz 1000 rakstzīmēm katrā posmā
- 16000 vai 32000 tokenu konteksts - līdz 6000 rakstzīmēm katrā posmā
Tādējādi konteksta izmēra palielināšana vienlaikus sniedz divus ieguvumus: palielina viena posma norādījumu ierobežojumu un atbrīvo vietu zināšanām. Tas darbojas arī pretēji - ja Jūsu pielāgotās lomas uzvedne ir pārāk liela, secīgo scenāriju pārvietošana uz plūsmas posmiem saglabā pamata lomu īsu, jo katra posma norādījumi tiek ielādēti tikai tad, kad saruna atrodas attiecīgajā posmā.
Kredītu izmaksas atkarībā no konteksta izmēra
Noklusējuma konteksta izmērs ir 8000 tokenu. Tā palielināšana reizina to, cik ziņojumu kredītus patērē katra atbilde:
- 8000 tokens - 1x ziņojumu kredīti (noklusējums)
- 16000 tokens - 2x ziņojumu kredīti par katru ziņojumu
- 32000 tokens - 4x ziņojumu kredīti par katru ziņojumu
Reizinātājs tiek piemērots papildus Jūsu izvēlētā mākslīgā intelekta modeļa kredītu izmaksām - lielāks konteksts padara katru šī modeļa atbildi proporcionāli dārgāku.