Mitä chatin kontekstin koko tarkoittaa?
Chatin kontekstin koko määrittää, kuinka paljon tietoa tekoälylle lähetetään joka kerta, kun kävijä esittää kysymyksen. Konteksti sisältää chatbotisi rooliohjeet (promptin), tähänastisen keskustelun sekä tietopohjastasi haetut oleellisimmat koulutusdatan osat. Token on pieni tekstinpätkä, jota tekoäly lukee - keskimäärin 1 token on noin 4 merkkiä eli karkeasti 3/4 sanasta.
Suuremman kontekstin edut:
- Enemmän tilaa yksityiskohtaisille rooliohjeille ilman, että tietopohjasi karsiutuu pois
- Pidemmän keskustelun parempi ymmärtäminen
- Kyky vastata monimutkaisiin kysymyksiin viittaamalla useampaan koulutusdatan osaan samanaikaisesti
- Kun chat-muisti on käytössä, enemmän tilaa aiempien keskustelujen tiivistelmille ja asiakasprofiileille
Miten kontekstin kokoa muutetaan
Valitse chatbotisi, napsauta välilehteä Settings (Asetukset) ja valitse sitten vasemmasta sivupalkista Model & Advanced (Malli ja lisäasetukset).
Etsi pudotusvalikko Context size (Kontekstin koko) ja valitse haluamasi vaihtoehto:
- 8000 tokens (default) - 1x viesticreditit
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Vaihtoehdot 16K ja 32K ovat saatavilla premium-ominaisuuksina - ne näkyvät luettelossa vain silloin, kun tilaukseesi kuuluu suurempi chatin konteksti.
Miten konteksti-ikkuna jaetaan
Konteksti on jaettu budjetti. Jokaisen viestin kohdalla se jakautuu seuraavien osien kesken:
- Sinun promptisi - kirjoittamasi rooli- ja toimintaohjeet (vain kun käytät Custom Role Definitionia)
- Järjestelmäohjeet - pieni määrä tietoa, jonka ChatLab lisää, jotta botti toimii oikein
- Työkalut - jos bottisi käyttää AI Actions -toimintoja tai integraatioita, niiden ohjeet vievät oman osuutensa
- Keskustelumuisti - äskettäinen keskustelu sekä tiivistelmät ja asiakasprofiilit, kun chat-muisti on käytössä
- Tietopohjallesi jäävä osuus - kaikki mitä jää jäljelle, käytetään kävijän kysymykseen täsmäävään koulutusdataan
Tärkein nyrkkisääntö: mitä enemmän tilaa ohjeesi vievät, sitä vähemmän tietoa tekoäly voi käyttää vastatessaan. Kontekstin koon kasvattaminen kasvattaa koko budjettia, jolloin sekä ohjeesi että tietopohjasi saavat enemmän tilaa.
Kontekstin käytön mittari
Kun määrität mukautetun roolin, ChatLab näyttää reaaliaikaisesti, kuinka paljon kontekstia ohjeesi kuluttavat. Valitse chatbotisi ja siirry kohtaan Settings > Role & Behavior (Asetukset > Rooli ja toiminta), ja vaihda sitten välilehdelle Custom Role Definition (Mukautettu roolin määrittely). Mittari ilmestyy suoraan ohje-editorin alapuolelle.
Värillinen palkki on miniatyyriversio koko konteksti-ikkunastasi: jokainen lohko vastaa yhtä edellä luetelluista osista, ja oikealla oleva vihreä lohko osoittaa tietopohjallesi jäljelle jäävän tilan. Palkin vieressä näet promptisi token-määrän suhteessa suositukseen (esimerkiksi "~788 / 2 400 tokens · 8k") sekä arvioinnin:
- Optimal - promptisi mahtuu vaivatta; tietopohjalle jää runsaasti tilaa.
- Getting large - prompti alkaa täyttää kontekstia; harkitse sen tiivistämistä.
- Too large - prompti ylittää suosituksen tai jättää liian vähän tilaa tietopohjalle; vastausten laatu saattaa heikentyä.
Napsauta palkkia avataksesi täyden erittelyn:
Laajennettu paneeli näyttää kunkin osan arvioidun token-määrän sekä Chat context size (Chatin kontekstin koko) -pudotusvalikon, jotta voit kasvattaa kontekstin kokoa suoraan siinä siirtymättä Model & Advanced -osioon. Tarkka jakautuminen vaihtelee keskustelukohtaisesti - paneeli tarjoaa arvion, ei tarkkaa mittaustulosta.
Editorin ympärillä näkyy kaksi erilaista rajoitusta, ja ne toimivat eri tavoin:
- Merkkirajoitus (esimerkiksi "2 882 / 8 000 characters") - ehdoton raja; editori ei hyväksy pidempää promptia.
- Token-suositus (mittari) - ohjeellinen suositus; sen ylittäminen ei estä tallentamista, mutta se jättää vähemmän tilaa tietopohjallesi ja keskustelumuistille.
Jos mittari muuttuu punaiseksi, se ehdottaa kahta ratkaisua: kasvata chatin kontekstin kokoa (viestit kuluttavat tällöin enemmän creditejä - 16K kuluttaa 2x, 32K kuluttaa 4x, katso viesticreditit), tai siirrä vaiheittaiset skenaariot pois promptista Conversation Flow -vaiheisiin, joista kerrotaan seuraavaksi.
Kontekstin koko ja Conversation Flow
Conversation Flow antaa sinun jakaa bottisi toiminnan eri vaiheisiin, joilla jokaisella on omat ohjeensa. Kun flow on käytössä, aktiivisen vaiheen ohjeet lisätään promptiin - ne siis jakavat saman kontekstibudjetin. Pitkät vaiheen ohjeet yhdessä pitkän mukautetun roolin kanssa jättävät samalla kontekstin koolla vähemmän tilaa tietopohjallesi.
Kontekstin koko määrittää myös sen, kuinka pitkiä kunkin vaiheen ohjeet voivat olla:
- 8 000 tokenin konteksti - enintään 1 000 merkkiä vaihetta kohden
- 16 000 tai 32 000 tokenin konteksti - enintään 6 000 merkkiä vaihetta kohden
Kontekstin koon kasvattaminen tekee siten kaksi asiaa samanaikaisesti: se nostaa vaihekohtaista ohjeiden pituusrajaa ja palauttaa tilaa tietopohjalle. Sama toimii myös toisinpäin - jos mukautetun roolin promptisi on liian suuri, vaiheittaisten skenaarioiden siirtäminen flow-vaiheisiin pitää ydinroolin lyhyenä, koska kunkin vaiheen ohjeet ladataan vain silloin, kun keskustelu on kyseisessä vaiheessa.
Credit-kustannus kontekstin koon mukaan
Kontekstin oletuskoko on 8 000 tokenia. Sen kasvattaminen moninkertaistaa sen, kuinka monta viesticreditiä kukin vastaus kuluttaa:
- 8 000 tokenia - 1x viesticreditit (oletus)
- 16 000 tokenia - 2x viesticreditiä viestiä kohden
- 32 000 tokenia - 4x viesticreditiä viestiä kohden
Kerroin kertautuu valitsemasi tekoälymallin credit-kustannuksen kanssa - suurempi konteksti tekee kyseisen mallin jokaisesta vastauksesta suhteessa kalliimman.