Измеряйте и улучшайте эффективность агентов с помощью KPI и аналитики

Понимание эффективности агента важно для улучшения пользовательского опыта и достижения бизнес-целей. Агенты Copilot Studio включают встроенную аналитику и ключевые показатели эффективности, а также возможность создавать индивидуальную аналитику и отчёты. Вы можете постоянно оптимизировать работу агентов со временем, регулярно пересматривая эти показатели и выявляя пробелы.

Измеряйте уровень вовлечённости

Уровень вовлечённости разговорных агентов показывает, какой процент аналитических сессий классифицируется как вовлечённые. Сессия начинается в неактивном состоянии, когда пользователь взаимодействует с агентом или агент отправляет первое сообщение пользователю. Сессия становится активной , когда запускается кастомная тема или когда разговор переходит в одну из следующих системных тем: Boosting Conversational Boosting, Escalate или Fallback.

Высокий уровень вовлечённости означает, что агент успешно направляет пользователей к темам. Низкий уровень вовлечённости указывает на пробелы в охвате темы или о том, что пользователи не понимают возможности агентов. Вы можете отслеживать уровень вовлечённости на аналитической панели агента.

Узнайте больше в разделе Measure Engagement с агентами.

Отслеживание результатов сессий

Результаты сессии определяют, в каком состоянии закончился разговор. Результат вовлечённой сессии можно урегулировать, отменить или обострить.

  • Разрешённые сессии успешно заканчиваются.

    • Подтверждённый разрешённый результат возникает, когда срабатывает тема «Конец разговора» и пользователь подтверждает, что его запрос был отвечен. Пользователь может заполнить оценку удовлетворенности клиентов (CSAT). По этим причинам рекомендуется разрабатывать разговоры так, чтобы они завершались темой «Конец разговора».

    • Подразумеваемый разрешённый исход возникает, когда сессия заканчивается без подтверждения пользователем, но логика агента определяет, что он был разрешен.

  • Эскалированные сессии происходят, когда агент входит в тему Escalate или использует узел Transfer Conversation.

  • Заброшенные сессии происходят, когда сессия заканчивается без разрешения или эскалации.

Результаты разговоров можно найти на панели аналитики агента.

Узнайте больше в разделе «Измерение результатов агентов».

Выберите аналитическую стратегию

Copilot Studio предоставляет подробную аналитику для каждого агента, предоставляя информацию о моделях использования и других ключевых показателях эффективности. Узнайте больше в обзоре аналитики. Вы можете использовать аналитические данные, сгенерированные Copilot Studio, в пользовательских отчётах. При создании индивидуальных отчётов планируйте, как и где хранить данные. Узнайте больше в разделе «Разработайте индивидуальную аналитическую стратегию».

Определите стратегию оптимизации

Со временем улучшайте агента, созданного вместе с Copilot Studio, чтобы увеличить отдачу от инвестиций и удовлетворённость клиентов.

Оценивайте работу агентов ежемесячно и сосредоточьтесь на следующих аспектах:

  • Коэффициент отклонения: процент выполненных запросов через самообслуживание.
  • Процент разрешения: Процент сессий, завершившихся решённым исходом.
  • Уровень вовлечённости: Процент вовлечённых сессий.
  • Темы с низким разрешением: Процент разрешения по отдельной теме.
  • Нераспознанные высказывания: фразы, которые не вызывали какую-либо пользовательскую тему.
  • Анализ по каналам: метрики для выявления различий в производительности между каналами.

Узнайте больше в обзоре Deflection.

Собирайте отзывы и комментарии пользователей с одобрением и минусом

Пользователи могут отреагировать на любое сообщение, отправленное агентом, используя кнопки «вверх» и «палец вниз». Когда пользователь выбирает кнопку реакции, попросите его оставить более подробную обратную связь в комментарии. Все реакции и комментарии за последние 28 дней вы можете посмотреть во вкладке аналитики агента внутри Copilot Studio.

Узнайте больше в разделе «Реакции».

Анализируйте вопросы пользователей по темам

Copilot Studio анализирует все пользовательские вопросы, вызывающие реакцию генеративного ИИ, и группирует их по общим темам. Темы помогают создателям понять, какие вопросы задают пользователи и как работает агент. Вы можете просмотреть все связанные вопросы и показатели качества ответов по каждой теме.

Узнайте больше в разделе «Анализируйте вопросы пользователей по темам».

Просмотр ключевых показателей для разговоров в наборе Copilot Studio

Ключевые показатели эффективности диалога (KPI) для отслеживания эффективности агента также предоставляются в составе Copilot Studio Kit.

Copilot Studio Kit предлагает следующие преимущества:

  • Храните агрегированные метрики для агентов в Dataverse
  • Сохранять данные KPI для долгосрочного отслеживания
  • Определите конкретные переменные для отслеживания в рамках KPI, например, Net Promoter Score (NPS)
  • Сохраните полные расшифровки разговоров вместе с записями KPI
  • Расширьте примерные отчёты Power BI для создания пользовательских отчётов

Узнайте больше в Отслеживайте эффективность агентов с помощью ключевых показателей для разговоров в Copilot Studio Kit.

Следующий шаг

Узнайте, как интерпретировать сигналы, такие как громкость разговора, качество сессии и паттерны возврата-использования, чтобы понять, как пользователи взаимодействуют с вашим агентом.

Измерение вовлечённости

  • Last updated on