Mitä keskustelun kontekstin koko tarkoittaa?
Keskustelun kontekstin koko määrittää, kuinka paljon tietoa tekoälylle lähetetään aina, kun kävijä esittää kysymyksen. Konteksti sisältää chatbotisi rooliohjeet (promptin), tähänastisen keskustelun sekä tietokannastasi haetut oleellisimmat koulutusdatan osat. Token on pieni tekstinpätkä, jota tekoäly lukee - niiden määrä vaihtelee kielen ja mallin mukaan, joten tokenit eivät ole sama asia kuin merkit tai sanat.
Suuremman kontekstin hyödyt:
- Enemmän tilaa yksityiskohtaisille rooliohjeille ilman, että tietokantasi tiedot karsiutuvat pois
- Pidemmän keskustelun parempi ymmärtäminen
- Kyky vastata monimutkaisiin kysymyksiin viittaamalla useampaan koulutusdatan kohtaan kerralla
- Kun keskustelumuisti (chat memory) on käytössä, enemmän tilaa aiemmista keskusteluista kertyneille yhteenvedoille ja asiakasprofiileille
Miten kontekstin kokoa muutetaan
Valitse chatbotisi, napsauta Settings (Asetukset) -välilehteä ja valitse sitten vasemmasta sivupalkista Model & Advanced (Malli ja lisäasetukset).
Etsi Context size (Kontekstin koko) -pudotusvalikko ja valitse haluamasi vaihtoehto:
- 8000 tokens (default) (8000 tokenia (oletus)) - 1x viestisaldoa (message credits)
- 16000 tokens (2x message credits/message) (16 000 tokenia (2x viestisaldot/viesti))
- 32000 tokens (4x message credits/message) (32 000 tokenia (4x viestisaldot/viesti))
Vaihtoehdot 16K ja 32K ovat saatavilla premium-ominaisuuksina - ne näkyvät luettelossa vain silloin, kun tilaukseesi sisältyy suurempi keskustelukonteksti.
Odota ilmoitusta Saved (Tallennettu) ja testaa sitten uutta keskustelua Overview (Yleiskatsaus) -näkymässä kysymyksellä, joka vaatii useita toisiinsa liittyviä tietoja. Suurempi konteksti ei kasvata koulutustallennustilasi rajaa eikä takaa parempaa vastausta; vertaile tuloksia ennen kuin jätät korkeamman saldokustannuksen voimaan.
Miten konteksti-ikkuna jaetaan
Konteksti on jaettu budjetti. Jokaisella viestillä se jaetaan seuraavien osien kesken:
- Promptisi - luodut ennalta määritetyt rooliohjeet tai ohjeet, jotka kirjoitit mukautettuun roolimäärittelyyn (Custom Role Definition)
- Järjestelmäohjeet - pieni määrä tekstiä, jonka ChatLab lisää, jotta botti toimii oikein
- Työkalut - jos bottisi käyttää AI Actions -toimintoja tai integraatioita, niiden ohjeet vievät oman osuutensa
- Keskustelumuisti - viimeaikainen keskustelu sekä yhteenvedot ja asiakasprofiilit, kun keskustelumuisti on käytössä
- Tietokannallesi jäävä osuus - kaikki jäljelle jäävä tila käytetään koulutusdatalle, joka vastaa kävijän kysymykseen
Tärkein nyrkkisääntö: mitä enemmän tilaa ohjeesi vievät, sitä vähemmän tietoa tekoäly voi käyttää vastaamiseen. Kontekstin koon kasvattaminen kasvattaa koko budjettia, joten sekä ohjeesi että tietosi saavat enemmän tilaa.
Kontekstin käyttömittari
Kun määrität mukautetun roolin, ChatLab näyttää reaaliajassa, kuinka suuren osan kontekstista ohjeesi kuluttavat. Valitse chatbotisi ja siirry kohtaan Settings > Role & Behavior (Asetukset > Rooli ja käyttäytyminen), ja vaihda sitten Custom Role Definition (Mukautettu roolimäärittely) -välilehdelle. Mittari näkyy suoraan ohje-editorin alapuolella.
Värillinen palkki on pienoismalli koko konteksti-ikkunastasi: jokainen lohko edustaa yhtä yllä luetelluista osista, ja oikealla oleva vihreä lohko on tietokannallesi jäljelle jäävä tila. Palkin vieressä näet promptisi token-määrän suhteessa suositeltuun ohjeistukseen (esimerkiksi "~788 / 2,400 tokens · 8k") sekä arvion:
- Optimal (Optimaalinen) - promptisi mahtuu vaivatta; tietokannalle jää runsaasti tilaa.
- Getting large (Alkaa olla suuri) - prompti alkaa viedä liikaa tilaa kontekstista; harkitse sen tiivistämistä.
- Too large (Liian suuri) - prompti ylittää suosituksen tai jättää liian vähän tilaa tiedoille; vastaukset saattavat huonontua.
Napsauta palkkia avataksesi tarkan erittelyn:
Laajennettu paneeli näyttää kunkin osan arvioidun token-määrän sekä Chat context size (Keskustelun kontekstin koko) -pudotusvalikon, jotta voit kasvattaa kontekstin kokoa suoraan siitä siirtymättä Model & Advanced -osioon. Tarkka jakautuma vaihtelee keskustelukohtaisesti - paneeli näyttää arvion, ei täsmällistä mittausta.
Editorin ympärillä näkyy kaksi rajaa, ja ne toimivat eri tavoin:
- Merkkiraja - editorin laskurin näyttämä ehdoton raja, joka voi riippua botin omistajan tilauksesta; editori ei hyväksy pidempää promptia.
- Token-suositus (mittari) - ohjeellinen suositus; sen ylittäminen ei estä tallennusta, mutta se jättää vähemmän tilaa tietokannallesi ja keskustelumuistille.
Jos mittari muuttuu punaiseksi, se ehdottaa kahta korjauskeinoa: kasvata keskustelun kontekstin kokoa (viestit maksavat tällöin enemmän saldoa - 16K on 2x, 32K on 4x, katso viestisaldot) tai siirrä vaiheittaiset toimintamallit pois promptista Conversation Flow -vaiheisiin, mikä selitetään seuraavaksi.
Kontekstin koko ja Conversation Flow
Conversation Flow mahdollistaa botin käyttäytymisen jakamisen vaiheisiin, joilla jokaisella on omat ohjeensa. Kun työnkulku on käytössä, aktiivisen vaiheen ohjeet lisätään promptiin - ne siis jakavat saman kontekstibudjetin. Pitkät vaihekohtaiset ohjeet pitkän mukautetun roolin lisänä jättävät samassa kontekstikoossa vähemmän tilaa tietokannallesi.
Kontekstin koko määrittää myös sen, kuinka pitkiä kunkin vaiheen ohjeet voivat olla:
- 8 000 tokenin konteksti - enintään 1 000 merkkiä vaihetta kohti
- 16 000 tai 32 000 tokenin konteksti - enintään 6 000 merkkiä vaihetta kohti
Kontekstin koon kasvattaminen tekee siten kaksi asiaa samanaikaisesti: se nostaa vaihekohtaista ohjerajaa ja palauttaa tilaa tiedoille. Myös päinvastainen toimii - jos mukautetun roolin prompti on liian suuri, vaiheittaisten toimintamallien siirtäminen työnkulun vaiheisiin pitää pääroolin lyhyenä, koska kunkin vaiheen ohjeet ladataan vain silloin, kun keskustelu on kyseisessä vaiheessa.
Saldokustannus kontekstin koon mukaan
Kontekstin oletuskoko on 8 000 tokenia. Sen kasvattaminen moninkertaistaa sen, kuinka paljon viestisaldot (message credits) kuluvat kunkin vastauksen kohdalla:
- 8 000 tokenia - 1x viestisaldot (oletus)
- 16 000 tokenia - 2x viestisaldot viestiä kohden
- 32 000 tokenia - 4x viestisaldot viestiä kohden
Kerroin kertautuu valitsemasi tekoälymallin saldokustannuksen kanssa - suurempi konteksti tekee kyseisen mallin jokaisesta vastauksesta suhteessa kalliimman.