Kas ir tērzēšanas konteksta izmērs?
Tērzēšanas konteksta izmērs nosaka, cik daudz informācijas tiek nosūtīts mākslīgajam intelektam katru reizi, kad apmeklētājs uzdod jautājumu. Konteksts ietver Jūsu bota lomas instrukcijas (uzvedni), līdzšinējo sarunu un visatbilstošākos apmācības datu fragmentus, kas iegūti no Jūsu zināšanu bāzes. Tokens ir neliela teksta daļa, ko nolasa mākslīgais intelekts - to skaits atšķiras atkarībā no valodas un modeļa, tāpēc tokeni nav tas pats, kas rakstzīmes vai vārdi.
Lielāka konteksta priekšrocības:
- Vairāk vietas detalizētām lomas instrukcijām, neierobežojot zināšanu bāzi
- Labāka garāku sarunu izpratne
- Spēja atbildēt uz sarežģītiem jautājumiem, vienlaikus izmantojot vairāk apmācības datu
- Ja ir iespējota tērzēšanas atmiņa, vairāk vietas kopsavilkumiem un klientu profiliem no iepriekšējām sarunām
Kā mainīt konteksta izmēru
Izvēlieties savu botu, noklikšķiniet uz cilnes Settings (Iestatījumi) un pēc tam kreisajā sānjoslā atlasiet Model & Advanced (Modelis un papildu iestatījumi).
Atrodiet nolaižamo izvēlni Context size (Konteksta izmērs) un izvēlieties vēlamo opciju:
- 8000 tokens (default) - 1x ziņojumu kredīti
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
16K un 32K opcijas ir pieejamas kā maksas funkcijas - tās sarakstā parādās tikai tad, ja Jūsu plāns ietver lielāku tērzēšanas kontekstu.
Pagaidiet, līdz parādās Saved (Saglabāts), un pēc tam sadaļā Overview (Pārskats) pārbaudiet jaunu sarunu ar jautājumu, kura atbildei nepieciešami vairāki saistīti fakti. Lielāks konteksts nepalielina Jūsu apmācības krātuves limitu un negarantē labāku atbildi; salīdziniet rezultātus, pirms saglabājat augstākas kredītu izmaksas.
Kā tiek sadalīts konteksta logs
Konteksts ir kopīgs resurss. Katrā ziņojumā tas tiek sadalīts starp šādām daļām:
- Jūsu uzvedne - ģenerētās iepriekš definētās lomas instrukcijas vai instrukcijas, ko ierakstījāt sadaļā Custom Role Definition (Pielāgota lomas definīcija)
- Sistēmas instrukcijas - neliels apjoms, ko pievieno ChatLab, lai bots darbotos pareizi
- Rīki - ja Jūsu bots izmanto AI Actions vai integrācijas, to instrukcijas aizņem daļu no apjoma
- Sarunas atmiņa - nesenā saruna, kā arī kopsavilkumi un klientu profili, ja ir iespējota tērzēšanas atmiņa
- Atlikusī vieta Jūsu zināšanu bāzei - viss atlikušais tiek izmantots apmācības datiem, kas atbilst apmeklētāja jautājumam
Galvenā atziņa: jo vairāk vietas aizņem Jūsu instrukcijas, jo mazāk zināšanu mākslīgais intelekts var izmantot atbildē. Palielinot konteksta izmēru, pieaug kopējais apjoms, tāpēc vairāk vietas iegūst gan Jūsu instrukcijas, gan zināšanas.
Konteksta lietojuma mērītājs
Kad definējat pielāgotu lomu, ChatLab reāllaikā parāda, cik daudz no konteksta aizņem Jūsu instrukcijas. Izvēlieties savu botu un dodieties uz Settings > Role & Behavior, pēc tam pārslēdzieties uz cilni Custom Role Definition (Pielāgota lomas definīcija). Mērītājs parādās tieši zem instrukciju redaktora.
Krāsainā josla ir visa Jūsu konteksta loga miniatūra: katrs segments ir viena no iepriekš minētajām daļām, un zaļais segments labajā pusē ir tas, kas atlicis Jūsu zināšanu bāzei. Blakus joslai ir redzams Jūsu uzvednes tokenu skaits attiecībā pret ieteicamo vadlīniju (piemēram, "~788 / 2 400 tokens · 8k") un vērtējums:
- Optimal (Optimāls) - Jūsu uzvedne ērti iekļaujas limitā; paliek pietiekami daudz vietas zināšanām.
- Getting large (Kļūst par lielu) - uzvedne sāk pārslogot kontekstu; apsveriet iespēju to saīsināt.
- Too large (Pārāk liels) - uzvedne pārsniedz ieteicamo vadlīniju vai atstāj pārāk maz vietas zināšanām; atbildes var pasliktināties.
Noklikšķiniet uz joslas, lai atvērtu pilnu sadalījumu:
Izvērstajā panelī ir redzams aptuvenais tokenu skaits katrai daļai un nolaižamā izvēlne Chat context size (Tērzēšanas konteksta izmērs), lai Jūs varētu palielināt konteksta izmēru tepat, nepārejot uz sadaļu Model & Advanced. Precīzs sadalījums katrā sarunā atšķiras - panelī ir sniegts aprēķins, nevis precīzs mērījums.
Ap redaktoru tiek parādīti divi limiti, un tie darbojas atšķirīgi:
- Rakstzīmju limits - stingrs limits, ko rāda redaktora skaitītājs un kas var būt atkarīgs no bota īpašnieka abonementa; redaktors nepieņem garāku uzvedni.
- Tokenu vadlīnija (mērītājs) - elastīga vadlīnija; tās pārsniegšana neliedz saglabāšanu, taču tā atstāj mazāk vietas Jūsu zināšanu bāzei un sarunas atmiņai.
Ja mērītājs kļūst sarkans, tas iesaka divus risinājumus: palielināt tērzēšanas konteksta izmēru (tad ziņojumi maksā vairāk kredītu - 16K prasa 2x, 32K prasa 4x, skatiet ziņojumu kredīti) vai pārvietot pakāpeniskos scenārijus no uzvednes uz Conversation Flow posmiem, kā aprakstīts tālāk.
Konteksta izmērs un Conversation Flow
Conversation Flow ļauj sadalīt bota uzvedību posmos, katram no tiem paredzot atsevišķas instrukcijas. Kad plūsma ir iespējota, aktīvā posma instrukcijas tiek pievienotas uzvednei - tādējādi tās dala vienu un to pašu konteksta resursu. Garas posmu instrukcijas papildus garai pielāgotajai lomai pie tāda paša konteksta izmēra atstāj mazāk vietas Jūsu zināšanu bāzei.
Konteksta izmērs nosaka arī to, cik garas var būt katra posma instrukcijas:
- 8 000 tokenu konteksts - līdz 1 000 rakstzīmēm vienā posmā
- 16 000 vai 32 000 tokenu konteksts - līdz 6 000 rakstzīmēm vienā posmā
Tādējādi konteksta izmēra palielināšana vienlaikus paveic divas lietas: tā palielina posma instrukciju limitu un atbrīvo vietu zināšanām. Pareizs ir arī pretējais - ja Jūsu pielāgotās lomas uzvedne ir pārāk liela, pakāpenisku scenāriju pārvietošana uz plūsmas posmiem palīdz saglabāt pamata lomu īsu, jo katra posma instrukcijas tiek ielādētas tikai tad, kad saruna atrodas attiecīgajā posmā.
Kredītu izmaksas atkarībā no konteksta izmēra
Noklusējuma konteksta izmērs ir 8 000 tokenu. Tā palielināšana reizina to, cik ziņojumu kredītus patērē katra atbilde:
- 8 000 tokenu - 1x ziņojumu kredīti (noklusējums)
- 16 000 tokenu - 2x ziņojumu kredīti par ziņojumu
- 32 000 tokenu - 4x ziņojumu kredīti par ziņojumu
Reizinātājs summējas ar Jūsu izvēlētā mākslīgā intelekta modeļa kredītu izmaksām - lielāks konteksts padara katru šī modeļa atbildi proporcionāli dārgāku.