Mi az a chat kontextusméret?
A chat kontextusmérete határozza meg, hogy mennyi információ kerül elküldésre az MI-nek minden alkalommal, amikor egy látogató kérdést tesz fel. A kontextus tartalmazza a chatbot szerepkörére vonatkozó utasításokat (a promptot), az eddigi beszélgetést, valamint a tudásbázisból előkeresett legrelevánsabb betanítási adatokat. A token egy apró szövegrészlet, amelyet az MI olvas - 1 token átlagosan körülbelül 4 karakter, vagyis nagyjából egy szó 3/4 része.
A nagyobb kontextus előnyei:
- Több hely a részletes szerepkör-utasításoknak anélkül, hogy kiszorítanák a tudásbázist
- A hosszabb beszélgetések jobb megértése
- Képesség összetett kérdések megválaszolására egyszerre több betanítási adat figyelembevételével
- Bekapcsolt chatmemória esetén több hely a korábbi beszélgetésekből származó összegzéseknek és ügyfélprofiloknak
Hogyan módosítható a kontextusméret
Válassza ki a chatbotját, kattintson a Settings (Beállítások) fülre, majd a bal oldali sávban válassza a Model & Advanced (Modell és haladó beállítások) lehetőséget.
Keresse meg a Context size (Kontextusméret) legördülő menüt, és válassza ki a kívánt opciót:
- 8000 tokens (default) - 1x üzenetkredit
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
A 16K és a 32K opció prémium funkcióként érhető el - csak akkor jelennek meg a listában, ha az Ön csomagja tartalmazza a nagyobb chat kontextust.
Hogyan oszlik meg a kontextusablak
A kontextus egy megosztott keret. Minden egyes üzenetnél az alábbi részek között oszlik meg:
- Az Ön promptja - a megírt szerepkör- és viselkedési utasítások (csak az Egyéni szerepkör-meghatározás használata esetén)
- Rendszerutasítások - egy kis mennyiségű adat, amelyet a ChatLab ad hozzá a bot megfelelő működése érdekében
- Eszközök - ha a bot AI Actions funkciót vagy integrációkat használ, azok utasításai is lefoglalnak egy részt
- Beszélgetési memória - a legutóbbi beszélgetés, valamint bekapcsolt chatmemória esetén az összegzések és ügyfélprofilok
- A tudásbázis számára fennmaradó rész - minden egyéb fennmaradó kapacitás a látogató kérdéséhez illeszkedő betanítási adatokra fordítódik
A legfontosabb tanulság: minél több helyet foglalnak el az utasítások, annál kevesebb tudást tud felhasználni az MI a válaszadáshoz. A kontextusméret növelése a teljes keretet megnöveli, így mind az utasításoknak, mind a tudásanyagnak több hely jut.
A kontextushasználat mérője
Egyéni szerepkör meghatározásakor a ChatLab élőben mutatja, hogy az utasítások a kontextus mekkora részét emésztik fel. Válassza ki a chatbotját, lépjen a Settings > Role & Behavior (Beállítások > Szerepkör és viselkedés) menüpontra, majd váltson a Custom Role Definition (Egyéni szerepkör-meghatározás) fülre. A mérő közvetlenül az utasításszerkesztő alatt jelenik meg.
A színes sáv a teljes kontextusablak kicsinyített mása: mindegyik szegmens a fent felsorolt részek egyikének felel meg, a jobb oldali zöld szegmens pedig a tudásbázis számára fennmaradó részt jelzi. A sáv mellett látható a prompt tokendarabszáma egy ajánlott irányértékhez képest (például "~788 / 2 400 tokens · 8k"), valamint egy értékelés:
- Optimal (Optimális) - a prompt kényelmesen elfér; bőségesen marad hely a tudásbázisnak.
- Getting large (Kezd nagy lenni) - a prompt kezdi kiszorítani a kontextust; érdemes lehet lerövidíteni.
- Too large (Túl nagy) - a prompt meghaladja az ajánlott irányértéket, vagy túl kevés helyet hagy a tudásbázisnak; a válaszok minősége romolhat.
Kattintson a sávra a részletes felbontás kibontásához:
A kibontott panel megjeleníti az egyes részek hozzávetőleges tokenszámát és egy Chat context size (Chat kontextusméret) legördülő menüt, így közvetlenül ott is megnövelheti a kontextusméretet anélkül, hogy át kellene lépnie a Model & Advanced menübe. A pontos megoszlás beszélgetésenként változik - a panel egy becslést mutat, nem pedig pontos mérést.
A szerkesztő körül két korlát látható, amelyek eltérően működnek:
- Karakterkorlát (például "2 882 / 8 000 characters") - szigorú korlát; a szerkesztő nem fogad el ennél hosszabb promptot.
- Token-irányérték (a mérő) - rugalmas iránymutatás; ennek túllépése nem akadályozza meg a mentést, de kevesebb helyet hagy a tudásbázisnak és a beszélgetési memóriának.
Ha a mérő pirosra vált, két megoldást javasol: növelje a chat kontextusméretét (az üzenetek ekkor több kreditbe kerülnek - a 16K kétszeres, a 32K négyszeres szorzót jelent, lásd: üzenetkreditek), vagy helyezze át a lépésről lépésre követendő forgatókönyveket a promptból a Conversation Flow szakaszaiba, ahogyan a következő részben bemutatjuk.
Kontextusméret és a Conversation Flow
A Conversation Flow lehetővé teszi a bot viselkedésének szakaszokra bontását, amelyek mindegyike saját utasításokkal rendelkezik. Ha a folyamat aktív, az aktuális szakasz utasításai hozzáadódnak a prompthoz - így ugyanazon a kontextuskereten osztoznak. A hosszú szakaszutasítások egy hosszú egyéni szerepkörrel kombinálva kevesebb helyet hagynak a tudásbázisnak azonos kontextusméret mellett.
A kontextusméret azt is szabályozza, hogy milyen hosszúak lehetnek az egyes szakaszok utasításai:
- 8 000 tokenes kontextus - szakaszonként legfeljebb 1 000 karakter
- 16 000 vagy 32 000 tokenes kontextus - szakaszonként legfeljebb 6 000 karakter
A kontextusméret növelése tehát egyszerre két dolgot eredményez: megemeli a szakaszonkénti utasításkorlátot, és helyet szabadít fel a tudásbázis számára. A fordítottja is működik - ha az egyéni szerepkör promptja túl nagy, a lépésről lépésre követendő forgatókönyvek folyamatszakaszokba mozgatásával az alapszerepkör röviden tartható, mivel az egyes szakaszok utasításai csak akkor töltődnek be, amikor a beszélgetés éppen az adott szakaszban tart.
Kreditköltség kontextusméretenként
Az alapértelmezett kontextusméret 8 000 token. Ennek növelése megsokszorozza, hogy az egyes válaszok hány üzenetkreditet fogyasztanak:
- 8 000 token - 1x üzenetkredit (alapértelmezett)
- 16 000 token - 2x üzenetkredit üzenetenként
- 32 000 token - 4x üzenetkredit üzenetenként
A szorzó összeadódik a kiválasztott MI-modell kreditköltségével - a nagyobb kontextus az adott modell minden válaszát arányosan drágábbá teszi.