Що таке розмір контексту чату?
Розмір контексту чату визначає, який обсяг інформації надсилається штучному інтелекту щоразу, коли відвідувач ставить запитання. Контекст містить інструкції щодо ролі вашого чатбота (промпт), поточну розмову та найбільш релевантні фрагменти навчальних даних, отримані з вашої бази знань. Токен - це невелика частина тексту, яку зчитує ШІ; їхня кількість залежить від мови та моделі, тому токени не є еквівалентом символів або слів.
Переваги більшого контексту:
- Більше місця для детальних інструкцій щодо ролі без витіснення вашої бази знань
- Краще розуміння тривалих розмов
- Можливість відповідати на складні запитання, звертаючись до більшої кількості навчальних даних одночасно
- Якщо увімкнено пам'ять чату, залишається більше простору для підсумків і профілів клієнтів із попередніх розмов
Як змінити розмір контексту
Виберіть свого чатбота, натисніть вкладку Settings (Налаштування), а потім виберіть Model & Advanced (Модель та додаткові параметри) на бічній панелі ліворуч.
Знайдіть випадний список Context size (Розмір контексту) та виберіть бажаний варіант:
- 8000 tokens (default) - 1x message credits (кредитів на повідомлення)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Варіанти 16K та 32K доступні як преміумфункції - вони з'являються у списку лише тоді, коли ваш тарифний план підтримує збільшений контекст чату.
Зачекайте на повідомлення Saved (Збережено), після чого протестуйте нову розмову в розділі Overview (Огляд), поставивши запитання, яке потребує кількох пов'язаних фактів. Більший контекст не збільшує ліміт сховища для навчання і не гарантує кращої відповіді; порівняйте результати, перш ніж залишати вищу вартість у кредитах.
Як розподіляється вікно контексту
Контекст - це спільний бюджет. У кожному повідомленні він розподіляється між такими складовими:
- Ваш промпт - згенеровані попередньо визначені інструкції ролі або інструкції, які ви написали в Custom Role Definition (Користувацьке визначення ролі)
- Системні інструкції - невеликий обсяг, який ChatLab додає для коректної роботи бота
- Інструменти - якщо ваш бот використовує AI Actions або інтеграції, їхні інструкції займають частину місця
- Пам'ять розмови - нещодавній діалог, а також підсумки та профілі клієнтів, якщо пам'ять чату увімкнено
- Залишок для вашої бази знань - усе, що залишається, використовується для навчальних даних, зіставлених із запитанням відвідувача
Головний висновок: що більше місця займають ваші інструкції, то менше знань ШІ може використати для відповіді. Збільшення розміру контексту збільшує весь бюджет, тому як ваші інструкції, так і ваші знання отримують більше простору.
Індикатор використання контексту
Коли ви задаєте власну роль, ChatLab показує в реальному часі, скільки контексту використовують ваші інструкції. Виберіть чатбота, перейдіть до Settings > Role & Behavior (Налаштування > Роль і поведінка), а потім перейдіть на вкладку Custom Role Definition. Індикатор відображається безпосередньо під редактором інструкцій.
Кольорова смуга - це мініатюра всього вашого вікна контексту: кожен сегмент відповідає одній із перелічених вище частин, а зелений сегмент праворуч показує, що залишилося для вашої бази знань. Поряд зі смугою ви бачите кількість токенів вашого промпту порівняно з рекомендованим значенням (наприклад, "~788 / 2,400 tokens · 8k") та оцінку:
- Optimal (Оптимально) - ваш промпт розміщується без проблем; для знань залишається достатньо місця.
- Getting large (Збільшується) - промпт починає переповнювати контекст; подумайте про його скорочення.
- Too large (Завеликий) - промпт перевищує рекомендовані межі або залишає замало місця для знань; якість відповідей може погіршитися.
Натисніть на смугу, щоб розгорнути повну деталізацію:
Розгорнута панель показує приблизну кількість токенів для кожної частини та містить випадний список Chat context size (Розмір контексту чату), тому ви можете збільшити контекст безпосередньо тут, не переходячи до Model & Advanced. Точний розподіл варіюється від розмови до розмови - дані на панелі є приблизною оцінкою, а не точним вимірюванням.
Біля редактора відображаються два ліміти, і вони діють по-різному:
- Ліміт символів - жорстке обмеження, яке показує лічильник редактора; воно може залежати від підписки власника бота. Редактор не прийме довший промпт.
- Рекомендована кількість токенів (індикатор) - гнучка порада; її перевищення не блокує збереження, але залишає менше місця для бази знань і пам'яті розмови.
Якщо індикатор стає червоним, пропонуються два рішення: збільшити розмір контексту чату (повідомлення коштуватимуть більше кредитів - 16K у 2 рази, 32K у 4 рази, див. розділ кредити на повідомлення) або винести покрокові сценарії з промпту в етапи Conversation Flow, про що йдеться далі.
Розмір контексту та Conversation Flow
Conversation Flow дозволяє розділити поведінку бота на етапи, кожен зі своїми інструкціями. Коли сценарій увімкнено, інструкції активного етапу додаються до промпту - тобто вони ділять той самий бюджет контексту. Довгі інструкції етапу на додачу до довгої власної ролі залишають менше місця для вашої бази знань за того самого розміру контексту.
Розмір контексту також визначає максимальну довжину інструкцій для кожного етапу:
- Контекст 8 000 токенів - до 1 000 символів на етап
- Контекст 16 000 або 32 000 токенів - до 6 000 символів на етап
Таким чином, збільшення розміру контексту вирішує відразу два завдання: підвищує ліміт інструкцій для окремого етапу та повертає простір для знань. Працює і зворотний принцип - якщо промпт вашої власної ролі завеликий, перенесення покрокових сценаріїв до етапів сценарію дозволяє зберігати основну роль короткою, оскільки інструкції кожного етапу завантажуються лише тоді, коли розмова перебуває на ньому.
Вартість у кредитах залежно від розміру контексту
Стандартний розмір контексту становить 8 000 токенів. Його збільшення примножує кількість кредитів на повідомлення, яку споживає кожна відповідь:
- 8 000 токенів - 1x кредитів на повідомлення (за замовчуванням)
- 16 000 токенів - 2x кредитів на повідомлення за кожне повідомлення
- 32 000 токенів - 4x кредитів на повідомлення за кожне повідомлення
Цей множник поєднується з вартістю в кредитах обраної вами моделі ШІ - більший контекст робить кожну відповідь цієї моделі пропорційно дорожчою.