Mi az a chat környezeti méret?
A chat környezeti méret határozza meg, hogy mennyi információ kerül elküldésre a mesterséges intelligenciának minden alkalommal, amikor egy látogató kérdést tesz fel. A környezet tartalmazza a chatbot szerepkörére vonatkozó utasításait (a promptot), az eddigi beszélgetést, valamint a tudásbázisból előkeresett legrelevánsabb betanítási adatokat. A token egy kis szövegrészlet, amelyet a mesterséges intelligencia olvas - a darabszám nyelvenként és modellenként eltérő, így a tokenek nem azonosak a karakterekkel vagy a szavakkal.
A nagyobb környezet előnyei:
- Több hely a részletes szerepkör-utasításoknak anélkül, hogy kiszorítanák a tudásbázist
- A hosszabb beszélgetések jobb megértése
- Képesség az összetett kérdések megválaszolására több betanítási adat egyidejű figyelembevételével
- Ha a chatmemória engedélyezve van, több hely jut a korábbi beszélgetésekből származó összefoglalóknak és ügyfélprofiloknak
Hogyan módosítható a környezeti méret
Válassza ki a chatbotját, kattintson a Settings (Beállítások) fülre, majd a bal oldali sávban válassza a Model & Advanced (Modell és haladó beállítások) lehetőséget.
Keresse meg a Context size (Környezeti méret) legördülő menüt, és válassza ki a kívánt opciót:
- 8000 tokens (default) - 1x üzenetkredit
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
A 16K és 32K opciók prémium funkcióként érhetők el - csak akkor jelennek meg a listában, ha az Ön csomagja tartalmazza a nagyobb chat környezetet.
Várja meg a Saved (Mentve) visszajelzést, majd teszteljen egy új beszélgetést az Overview (Áttekintés) menüpontban egy olyan kérdéssel, amely több kapcsolódó tényt igényel. A nagyobb környezet nem növeli a betanítási tárhelykorlátot, és nem garantál jobb választ; hasonlítsa össze az eredményeket, mielőtt megtartaná a magasabb kreditköltséget.
Hogyan oszlik meg a környezeti ablak
A környezet egy közös keret. Minden üzenetnél megoszlik a következők között:
- Az Ön promptja - a generált, előre meghatározott szerepkör-utasítások vagy az Ön által a Custom Role Definition felületén megírt utasítások
- Rendszerutasítások - egy kis mennyiség, amelyet a ChatLab ad hozzá, hogy a bot megfelelően viselkedjen
- Eszközök - ha a bot AI Actions funkciót vagy integrációkat használ, ezek utasításai is részt vesznek a keretből
- Beszélgetési memória - a legutóbbi beszélgetés, valamint összefoglalók és ügyfélprofilok, ha a chatmemória engedélyezve van
- A tudásbázis számára fenntartott rész - minden, ami megmarad, a látogató kérdéséhez illeszkedő betanítási adatokra használható fel
A legfontosabb tanulság: minél több helyet foglalnak el az utasításai, annál kevesebb tudást használhat fel az AI a válaszadáshoz. A környezeti méret növelése az egész keretet növeli, így mind az utasítások, mind a tudásbázis több helyet kapnak.
A környezethasználat mérője
Amikor egyéni szerepkört határoz meg, a ChatLab élőben mutatja, hogy az utasításai a környezet mekkora részét fogyasztják el. Válassza ki a chatbotját, és navigáljon a Settings > Role & Behavior (Beállítások > Szerepkör és viselkedés) menüpontra, majd váltson a Custom Role Definition (Egyéni szerepkör-meghatározás) fülre. A mérő közvetlenül az utasításszerkesztő alatt jelenik meg.
A színes sáv a teljes környezeti ablak miniatűrje: minden szegmens a fent felsorolt részek egyike, a jobb oldalon lévő zöld szegmens pedig az, ami a tudásbázis számára megmarad. A sáv mellett látható a prompt tokendarabszáma egy ajánlott iránymutatáshoz képest (például "~788 / 2 400 tokens · 8k"), valamint egy értékelés:
- Optimal - a prompt kényelmesen elfér; bőséges hely marad a tudásbázis számára.
- Getting large - a prompt kezdi zsúfolttá tenni a környezetet; fontolja meg a lerövidítését.
- Too large - a prompt meghaladja az ajánlott iránymutatást, vagy túl kevés helyet hagy a tudásbázisnak; a válaszok minősége romolhat.
Kattintson a sávra a teljes részletezés kibontásához:
A kibontott panel mutatja az egyes részek hozzávetőleges tokendarabszámát és egy Chat context size legördülő menüt, így a környezeti méretet közvetlenül ott növelheti anélkül, hogy a Model & Advanced menüpontra kellene lépnie. A pontos megoszlás beszélgetésenként változik - a panel becslés, nem pontos mérés.
A szerkesztő körül két korlát látható, és ezek eltérően működnek:
- Karakterkorlát - egy szigorú korlát, amelyet a szerkesztő számlálója mutat, és amely a bot tulajdonosának előfizetésétől függhet; a szerkesztő nem fogad el hosszabb promptot.
- Token-iránymutatás (a mérő) - egy rugalmas iránymutatás; a túllépése nem akadályozza meg a mentést, de kevesebb helyet hagy a tudásbázisnak és a beszélgetési memóriának.
Ha a mérő pirosra vált, két megoldást javasol: növelje a chat környezeti méretét (az üzenetek ekkor több kreditbe kerülnek - a 16K kétszeres, a 32K négyszerező szorzójú, lásd az üzenetkreditekről szóló részt), vagy helyezze át a lépésről lépésre követendő forgatókönyveket a promptból a Conversation Flow szakaszaiba, amelyet a következőkben ismertetünk.
Környezeti méret és a Conversation Flow
A Conversation Flow lehetővé teszi, hogy a bot viselkedését szakaszokra bontsa, mindegyiket saját utasításokkal ellátva. Amikor a folyamat engedélyezve van, az aktív szakasz utasításai hozzáadódnak a prompthoz - így ugyanazon a környezeti kereten osztoznak. A hosszú szakaszutasítások a hosszú egyéni szerepkörön felül azonos környezeti méret mellett kevesebb helyet hagynak a tudásbázisnak.
A környezeti méret azt is szabályozza, hogy milyen hosszúak lehetnek az egyes szakaszok utasításai:
- 8 000 tokenes környezet - szakaszonként legfeljebb 1 000 karakter
- 16 000 vagy 32 000 tokenes környezet - szakaszonként legfeljebb 6 000 karakter
A környezeti méret növelése ezért egyszerre két dolgot tesz: növeli a szakaszonkénti utasításkorlátot, és helyet szabadít fel a tudásbázis számára. A fordítottja is működik - ha az egyéni szerepkör promptja túl nagy, a lépésről lépésre haladó forgatókönyvek folyamatszakaszokba történő áthelyezése röviden tartja az alapszerepkört, mivel az egyes szakaszok utasításai csak akkor töltődnek be, amikor a beszélgetés az adott szakaszban jár.
Kreditköltség környezeti méretenként
Az alapértelmezett környezeti méret 8 000 token. Ennek növelése megsokszorozza, hogy az egyes válaszok hány üzenetkreditet fogyasztanak:
- 8 000 token - 1x üzenetkredit (alapértelmezett)
- 16 000 token - 2x üzenetkredit üzenetenként
- 32 000 token - 4x üzenetkredit üzenetenként
A szorzó halmozódik a kiválasztott AI-modell kreditköltségével - a nagyobb környezet arányosan drágábbá teszi az adott modell minden válaszát.