Перед подключением аналитики звонков проверьте, насколько точно система распознаёт речь именно в ваших разговорах. Для этого соберите тестовые записи, вручную подготовьте эталонные расшифровки и сравните их с результатом программы. Отдельно оцените имена, суммы, адреса и договорённости: ошибка в таком фрагменте важнее пропущенного междометия. Ниже — порядок проверки, который поможет понять, подходит ли распознавание для работы отдела продаж и поддержки.
Зачем проверять распознавание до аналитики звонков?
Система аналитики опирается на расшифровку разговора. Если она неверно записала ключевую фразу, следующий этап тоже может дать неправильный результат: например, не отметить вопрос клиента или ошибочно определить договорённость. Поэтому проверка распознавания — отдельный этап, даже если поставщик обещает анализировать звонки автоматически.
Сначала определите, какие задачи вы хотите решать. Например, находить в разговоре упоминание нужной услуги, проверять, назвал ли сотрудник цену, или видеть, договорились ли стороны о следующем контакте. Затем выпишите слова и фразы, от которых зависит результат. Для магазина это могут быть названия товаров и артикулы, для сервиса — виды работ, модели техники и даты записи.
Если компания уже работает в CRM, заранее проверьте, где будут храниться расшифровка и отметки аналитики и как сотрудник найдёт их в карточке клиента. Связь с CRM не исправит ошибки распознавания, но поможет оценить полный рабочий сценарий. О выборе подходящего сервиса и связи с CRM подробнее рассказывает материал о транскрибации звонков для малого бизнеса.
Какие звонки включить в тестовую выборку?
Возьмите записи, похожие на обычную рабочую нагрузку. Не ограничивайтесь одним коротким разговором, где сотрудник говорит чётко и спокойно: такой пример мало что скажет о качестве на практике. В выборку включите звонки разных сотрудников, обращения с разными целями и записи с разным качеством звука.
Добавьте разговоры, где клиент перебивает, говорит быстро, использует профессиональные слова или называет несколько чисел подряд. Если сотрудники и клиенты часто используют термины на иностранном языке, включите такие записи тоже. Отдельно проверьте разговоры с паузами, фоновым шумом и несколькими участниками, если они встречаются в вашей работе.
Не отбирайте только удачные звонки. Сохраните и записи, которые сотрудники считают сложными. При этом для теста используйте разговоры, которые компания вправе обрабатывать по своим внутренним правилам. Не публикуйте аудио и не передавайте его посторонним ради проверки.
До запуска подготовьте таблицу: укажите номер записи, условия разговора, важные для задачи фразы и найденные ошибки. Так команда сможет сравнить результаты разных сервисов на одном наборе данных, а не опираться на впечатления от случайного примера.
Как сравнить расшифровку с записью?
Подготовьте эталонную расшифровку вручную. Один сотрудник слушает запись и отмечает слова так, как они прозвучали, включая имена, числа и термины. Потом сравните её с машинным текстом. Для сложных фрагментов можно попросить второго сотрудника проверить запись, чтобы случайная ошибка при подготовке эталона не повлияла на вывод.
Не оценивайте результат только по тому, насколько легко читать готовый текст. Сглаженная формулировка может выглядеть аккуратно, но потерять смысл. Для поиска договорённостей проверьте, сохранила ли система отрицания, даты и условия. Разница между «перезвоните завтра» и «не перезванивайте завтра» принципиальна.
Разделите найденные ошибки на две группы:
- Критичные для вашей задачи: искажение отрицания, суммы, срока, имени или договорённости.
- Некритичные: пропуск слов-паразитов, знаков препинания или повторов, если они не мешают анализу разговора.
Затем проверьте каждую задачу отдельно. Если сервис должен находить названия товаров, подсчитайте, сколько названий он пропустил или заменил. Если нужно выявлять договорённости, прослушайте все фрагменты, где сотрудник назначает следующий контакт, и сравните их с текстом. Единая оценка «в целом точно» здесь мало что проясняет.
При необходимости посчитайте долю фрагментов с ошибками в выбранной выборке. Результат относится только к этим записям и не гарантирует такое же качество на всех звонках. Запишите условия теста рядом с результатом: типы разговоров, качество звука и используемые термины.
Как решить, подходит ли качество для работы?
Перед тестом согласуйте с руководителем и сотрудниками, какие ошибки мешают конкретной задаче. Например, для общего поиска тем разговора пропуск слов-паразитов несущественен, а для фиксации суммы заказа даже одна неверная цифра требует ручной проверки. Универсального порога для всех компаний нет: допустимая ошибка зависит от того, как команда использует расшифровку.
Если результат выглядит приемлемым, проведите короткий рабочий запуск. Попросите сотрудников сверять расшифровки с исходными звонками и отмечать ошибки, которые повлияли на работу. Проверьте, какие разговоры система распознаёт хуже, и повторите сравнение после настройки словаря, если сервис позволяет добавлять названия товаров или терминов.
Аналитику не стоит включать для сценария, в котором критичные слова регулярно распознаются неверно. Сначала уточните настройки или проверьте другой сервис на тех же записях. Если качество достаточно для одной задачи, но не для другой, начните с менее чувствительного сценария, например с поиска тем обращений, а договорённости оставьте на ручную проверку.
Каких ошибок избегать при проверке?
- Судить о качестве по одной записи. Сложные звонки могут дать совсем другой результат.
- Сравнивать сервисы на разных аудиофайлах. Для честного сравнения используйте одну и ту же выборку.
- Считать красивый текст точным. Сверяйте спорные места с аудио, особенно отрицания, числа и сроки.
- Игнорировать лексику компании. Добавьте в тест названия товаров, услуг и термины, которые реально звучат в разговорах.
- Оценивать транскрибацию и аналитику как один результат. Сначала проверьте текст, затем — выводы, которые система делает на его основе.
Начните с таблицы задач и тестовых звонков. Подготовьте эталонные расшифровки для нескольких типичных и сложных записей, отметьте критичные ошибки и решите, для каких операций результат можно использовать без постоянной ручной сверки.
