Чому AI-бот вигадує відповіді — і як це виправити
Найгірша помилка бота — не «не знаю», а впевнена неправда. Клієнт отримує ціну, якої немає, приїжджає по товар, якого немає, і претензія прилітає вам.
Чому це стається
Мовна модель влаштована так, що завжди дає відповідь. Якщо потрібного немає в базі знань, вона не мовчить — вона добудовує відповідь із того, що виглядає правдоподібно. Для неї «не знаю» — така сама відповідь, як будь-яка інша, і вона обере її лише якщо їй прямо це дозволити.
Тобто вигадування — не поламка моделі. Це наслідок того, що ми не сказали, чого робити не можна.
Три справжні причини
Порожня або дірява база знань. Найчастіше. Питання ставлять щодня, відповіді в базі немає — модель заповнює прогалину сама. Ознака: вигадки купчаться навколо однієї теми.
Пошук по базі не знаходить те, що є. Відповідь у базі лежить, але не піднімається за запитом клієнта — бо він питає іншими словами. Модель бачить порожнечу й вигадує, хоча дані були.
Ми на цьому вже обпікались: у клієнта база була наповнена, а пошук по ній фактично не працював, і агент кілька тижнів відповідав «з голови». Зовні виглядало як «погана модель», а річ була в пошуку.
Немає дозволу не знати. Якщо в інструкції не написано прямо «якщо даних немає — скажи, що уточниш у менеджера», модель вважає, що зобов'язана відповісти.
Як помітити вчасно
Читайте діалоги перший тиждень. Не звіт, а саму переписку. Вигадки видно одразу, і майже завжди вони повторюються.
Питайте бота самі як клієнт. Особливо про те, чого у вас немає: неіснуючий товар, нереальний строк, знижку, якої не буває. Здоровий бот скаже, що уточнить. Хворий — вигадає.
Дивіться на переходи до менеджера. Якщо їх майже нема — це не привід радіти. Швидше за все, бот відповідає й там, де мав би передати.
Що змінити
Дозволити не знати. Пряма інструкція: даних немає — не вигадуй, передай людині. Це один рядок, який прибирає більшість вигадок.
Звузити компетенцію. Бот, який відповідає на все, вигадує. Бот, який відповідає на десять тем, але точно, — корисний.
Наповнити базу тим, що реально питають. Не тим, що вам здається важливим. Візьміть п'ятдесят останніх діалогів і випишіть повторювані питання — це і є ваша база.
Перевірити, чи пошук знаходить. Задайте боту питання, відповідь на яке точно є в базі, але іншими словами. Якщо не знайшов — проблема не в моделі.
Чого не варто робити
Не намагайтесь вилікувати вигадки суворішим тоном інструкції. «Ніколи не вигадуй» без наповненої бази не працює: модель усе одно мусить щось відповісти. Спершу дані, потім правила.
Далі
Про те, як зібрати базу знань, щоб не було дірок, — окрема стаття. Про передачу складних питань людині — тут.