Консультация или разбор диалога

1

Проверяйте, что агент записал, а не что он сказал

Агент может ответить «записала вас на субботу» и сохранить среду. Вердикт выносите по состоянию системы: бронь, заявка, заказ. Мнению другой модели о диалоге итог не доверяйте.

Завтрадля каждого тестового разговора выгрузите итоговую запись и сравните её с тем, что человек просил.

2

Тестируйте живым клиентом, а не удобным

Удобный тестировщик пишет всё сразу и чётко. Живой человек называет факты по одному, пишет в своём стиле, передумывает и не повторяет формулировки агента. На нашем учебном агенте короткий набор за десять прогонов на 20 октября дал: удобный клиент прошёл 52 диалога из 60 (95% интервал: 76-93%), живой 35 из 60 (46-70%). На полном наборе из 20 сценариев удобный прошёл 18 (70-97%), живой 15 (53-89%).

Завтраперепишите три тестовых сценария так, чтобы первая реплика была без даты, времени и имени.

3

Один прогон ничего не доказывает

Модели отвечают по-разному на одну и ту же фразу. Гоняйте каждый сценарий несколько раз и засчитывайте его, только если пройдены все повторы (pass^k). Рядом с каждой долей ставьте интервал: на 20 сценариях он легко бывает шире ±15 пунктов. Одна из наших репетиций показала «живой лучше удобного», хотя на накопленных данных всё наоборот.

Завтрапрогоните свой набор трижды и посмотрите, сколько сценариев проходят не каждый раз.

4

Что можно проверить кодом, проверяйте кодом

Даты, дни недели, рабочее время и суммы проверяются точно, без модели. В 51 диалоге агент назвал день недели не той дате. Жюри из трёх моделей пропустило ошибку целиком в 9 из них. Календарь поймал все 51.

Завтрадобавьте одну проверку кодом на самую частую ошибку вашего агента.

5

Где нужен судья-модель, сначала проверьте самого судью

Берите три модели разных вендоров и задавайте вопросы «да / нет / неприменимо». Единогласие считайте вердиктом, расхождение отдавайте человеку. Пока не измерено, как часто жюри совпадает с людьми (каппа Коэна на 50-100 размеченных случаях), его вердикт остаётся сигналом, а не оценкой.

Завтраразметьте сами 30 ответов судьи и посчитайте, в скольких вы с ним согласны.

Перед каждым релизом агента

• Сценарии взяты из реальных провалов, а не придуманы.
• Есть ловушки, где правильный исход: ничего не записывать. Выходной, нет услуги, нерабочее время.
• Саму починку тоже проверяют: у нас проверка перед выпуском дважды остановила починку, которая чинила одно и ломала другое.
• «До» и «после» сравниваются на одних и тех же сценариях, тем же симулятором и тем же судьёй.
• Видно, какие сценарии починились и какие сломались, а не только общий процент.
• Каждая цифра в отчёте указана с числом прогонов и интервалом.
• Тестовые клиенты вымышлены. Реальные диалоги перед отправкой в облачную модель очищены от телефонов, почты, номеров карт и документов.