Пакетное тестирование запросов (предварительная версия)

[Данный раздел посвящен предварительному выпуску и может быть изменен.]

Запросы позволяют создавать пользовательские генеративные инструменты ИИ для автоматизации бизнес-процессов и работы агентов. Обеспечение точности, надежности и эффективности этих средств является критически важным. Пакетное тестирование запросов предназначено для проверки и улучшения запросов, используемых в средствах искусственного интеллекта на платформе.

Основные функции пакетного тестирования

Пакетное тестирование обеспечивает систематический подход для проверки запросов на различные наборы данных. Вы можете:

• Отправка или создание тестовых наборов данных для комплексной оценки.
• Определите критерии оценки для оценки результатов теста.
• Выполнение пакетных тестов для оценки поведения запроса в тестовом наборе данных.
• Сравните результаты с течением времени, чтобы обеспечить непрерывное улучшение.
• Просмотрите и настройте автоматические оценки, чтобы обеспечить соответствие конкретным потребностям.

Оценка точности вычисляется на основе результатов теста, предоставляя эмпирические данные для доверия к средствам искусственного интеллекта.

Использование пакетного тестирования

Выполните следующие действия, чтобы настроить и запустить пакетные тесты для запросов.

Определение тестовых вариантов

1. Войдите в Copilot Studio, Power Apps или Power Automate.

2. Доступ к списку запросов:

   • В Copilot Studio выберите "Сервис" и отфильтруйте запросы.
   • В Power Apps и Power Automate выберите центр ИИ.

3. Рядом с именем запроса выберите три точки (...).

4. Выберите центр тестирования (предварительная версия).

   Ниже приведен пример экрана "Сервис" в Copilot Studio:

   

   В Copilot Studio тестовый центр выглядит следующим образом:

   

5. Добавьте тестовые варианты с помощью одного из доступных вариантов:

   • Отправка: позволяет отправлять тестовые случаи с помощью CSV-файла. Если вы хотите проверить формат файла, который необходимо отправить, выберите "Скачать схему тестовых данных".
   • Генерация ИИ: позволяет сгенерировать тестовые случаи с помощью ИИ на основе вашего запроса.
   • Использование данных действий. Позволяет извлечь последнее действие запроса, чтобы помочь приступить к работе.
   • Добавление вручную. Позволяет создавать тестовые случаи вручную.

   Любой из вариантов поможет вам создать список тестовых вариантов, которые можно запустить:

   

Установка критериев оценки

1. После создания тестовых вариантов выберите "Настроить условия " в разделе конфигурации справа:

   

2. Определите проходной балл, который является минимальной оценкой, необходимой для прохождения ответа.

3. Выберите один из следующих предварительно созданных условий:

   • Качество ответа: тестирует ответы на ясность, полезность и тон
   • Совпадения ответов: тестирует ответы для определенных слов и значений
   • Правильность JSON: проверяет, что ответы соответствуют схеме данных

   

   Эти критерии и проходной балл определяют, как результаты тестовых примеров оцениваются во время процесса оценки.

Выполнение пакетных тестов

1. На экране тестовых случаев выберите Выполнить все, чтобы выполнить оценку всех тестов, или выберите тесты для выполнения и нажмите Выполнить выбранные.

   

   Центр тестирования оценивает результаты по определенным критериям, предоставляя аналитические сведения о производительности запроса.

2. После завершения оценки тестовых случаев появится экран результатов:

   

3. Чтобы получить доступ к предыдущим запускам оценки, выберите имя запроса в верхней части экрана в Copilot Studio или выберите журнал выполнения в Power Apps или Power Automate.

   

4. Чтобы просмотреть подробности, выберите запуск оценки.

Журнал выполнения позволяет отслеживать и анализировать результаты тестирования с течением времени, в том числе:

• Отслеживание изменения оценки точности на протяжении нескольких тестовых запусков.
• Сравнивайте результаты от различных запусков для выявления тенденций или регрессий.
• Доступ к сведениям о том, почему определенный результат теста был классифицирован как прошедший или провальный, что позволяет получить более подробные сведения для диагностики.

Выполните итерацию оценки тестовых случаев и отслеживайте любые существенные изменения между запусками оценки.

Связанная информация

• Часто задаваемые вопросы о запросах и возможностях создания текста