Какво представлява размерът на контекста на чата?
Размерът на контекста на чата определя колко информация се изпраща към AI всеки път, когато посетител зададе въпрос. Контекстът съдържа инструкциите за ролята на Вашия чатбот (промпта), проведения до момента разговор и най-подходящите части от данните за обучение, извлечени от Вашата база от знания. Токенът е малък откъс от текст, който AI чете - броят им варира според езика и модела, така че токените не са същото като символите или думите.
Предимства на по-големия контекст:
- Повече място за подробни инструкции за ролята, без да се изтласква съдържанието от Вашата база от знания
- По-добро разбиране на по-дълги разговори
- Възможност за отговор на сложни въпроси чрез едновременно позоваване на повече данни за обучение
- Когато е активирана функцията за памет на чата (chat memory), осигурява повече пространство за обобщения и клиентски профили от предишни разговори
Как да промените размера на контекста
Изберете Вашия чатбот, кликнете върху раздела Settings (Настройки), след което изберете Model & Advanced (Модел и разширени) в лявата странична лента.
Намерете падащото меню Context size (Размер на контекста) и изберете предпочитаната от Вас опция:
- 8 000 токена (по подразбиране) - 1x кредити за съобщения
- 16 000 токена (2x кредити за съобщения/съобщение)
- 32 000 токена (4x кредити за съобщения/съобщение)
Опциите за 16K и 32K се предлагат като платени функции - те се показват в списъка само ако Вашият план включва по-големия размер на чат контекста.
Изчакайте съобщението Saved (Запазено), след което тествайте нов разговор в Overview (Преглед) с въпрос, който изисква няколко свързани факта. По-големият контекст не увеличава лимита за съхранение на данни за обучение и не гарантира по-добър отговор; сравнете резултатите, преди да запазите по-високия разход на кредити.
Как се разпределя прозорецът на контекста
Контекстът е споделен бюджет. При всяко съобщение той се разделя между:
- Вашия промпт - генерираните предварително зададени инструкции за роля или инструкциите, които сте въвели в Custom Role Definition
- Системните инструкции - малка част, която ChatLab добавя, за да работи ботът правилно
- Инструментите - ако Вашият бот използва AI действия (AI Actions) или интеграции, техните инструкции заемат част от бюджета
- Паметта на разговора - скорошният разговор, както и обобщенията и клиентските профили, когато паметта на чата е активирана
- Останалото за Вашата база от знания - всичко, което остане, се използва за данни за обучение, съответстващи на въпроса на посетителя
Основният извод: колкото повече място заемат Вашите инструкции, толкова по-малко знания може да използва изкуственият интелект, за да отговори. Увеличаването на размера на контекста разширява целия бюджет, така че както Вашите инструкции, така и знанията Ви получават повече пространство.
Индикатор за използване на контекста
Когато дефинирате персонализирана роля, ChatLab Ви показва в реално време каква част от контекста изразходват Вашите инструкции. Изберете Вашия чатбот и отидете на Settings > Role & Behavior (Настройки > Роля и поведение), след което преминете към раздела Custom Role Definition (Дефиниране на персонализирана роля). Индикаторът се появява точно под редактора на инструкции.
Цветната лента представлява миниатюра на целия Ви контекстен прозорец: всеки сегмент съответства на една от посочените по-горе части, а зеленият сегмент вдясно е оставащото пространство за Вашата база от знания. До лентата виждате броя токени на Вашия промпт спрямо препоръчителния лимит (например „~788 / 2,400 tokens · 8k“) и оценка:
- Optimal (Оптимално) - Вашият промпт се побира без проблем; остава достатъчно място за базата от знания.
- Getting large (Започва да става голям) - промптът започва да запълва твърде много от контекста; обмислете съкращаването му.
- Too large (Твърде голям) - промптът надвишава препоръчителния лимит или оставя твърде малко място за базата от знания; отговорите могат да се влошат.
Кликнете върху лентата, за да разгънете пълната разбивка:
Разгънатият панел показва приблизителния брой токени за всяка част и падащо меню Chat context size (Размер на контекста на чата), за да можете да увеличите размера на контекста директно оттам, без да се налага да ходите в Model & Advanced. Точното разпределение варира при всеки разговор - панелът дава прогнозна оценка, а не абсолютно точно измерване.
Около редактора се показват два лимита, които функционират различно:
- Лимит на символите - твърд лимит, отчитан от брояча на редактора, който може да зависи от абонамента на собственика на бота; редакторът не приема по-дълъг промпт.
- Ориентир за токени (индикаторът) - мек ориентир; надвишаването му не блокира запазването, но оставя по-малко място за Вашата база от знания и паметта на разговора.
Ако индикаторът стане червен, той предлага две решения: да увеличите размера на контекста на чата (тогава съобщенията струват повече кредити - 16K е 2x, 32K е 4x, вижте кредити за съобщения) или да преместите поетапните сценарии от промпта в етапи на Conversation Flow, които са обяснени по-нататък.
Размер на контекста и Conversation Flow
Conversation Flow Ви позволява да разделите поведението на бота на етапи, всеки със свои собствени инструкции. Когато работният процес е активиран, инструкциите на активния етап се добавят към промпта - така те споделят един и същ бюджет на контекста. Дългите инструкции за етапи в допълнение към дълга персонализирана роля оставят по-малко място за Вашата база от знания при същия размер на контекста.
Размерът на контекста управлява и колко дълги могат да бъдат инструкциите за всеки етап:
- Контекст от 8 000 токена - до 1 000 знака на етап
- Контекст от 16 000 или 32 000 токена - до 6 000 знака на етап
Следователно увеличаването на размера на контекста прави две неща едновременно: вдига лимита за инструкции за всеки етап и възстановява свободното място за знания. Обратният подход също работи - ако промптът за персонализирана роля е твърде голям, преместването на поетапните сценарии в етапите на работния процес запазва основната роля кратка, тъй като инструкциите за всеки етап се зареждат само докато разговорът е на този етап.
Цена в кредити според размера на контекста
Размерът на контекста по подразбиране е 8 000 токена. Увеличаването му умножава броя на кредитите за съобщения, които всеки отговор изразходва:
- 8 000 токена - 1x кредити за съобщения (по подразбиране)
- 16 000 токена - 2x кредити за съобщения на съобщение
- 32 000 токена - 4x кредити за съобщения на съобщение
Множителят се наслагва върху цената в кредити на избрания от Вас AI модел - по-големият контекст прави всеки отговор от този модел пропорционално по-скъп.