Платформа автоматического тестирования

Цель этого документа — предоставить техническим группам, управляющим корпоративными платформами веб-трансляции инструкции о том, как использовать средство автоматического тестирования Microsoft eCDN для аудита своих корпоративных сетей в рамках подготовки к фактическим событиям.

Платформа автоматического тестирования Microsoft eCDN позволяет легко выполнять симуляции на нескольких устройствах, чтобы эмулировать и анализировать поведение определенной сети под нагрузкой видеосодержимого.

Автоматический тест — это реальный видеосеанс, который выполняется в фоновом режиме (отключается) на устройстве конечного пользователя. Пользователь может продолжать работать на своем компьютере, не зная, что тест запущен, хотя может произойти замедление сетевого подключения, соответствующего пропускной способности видео.

Платформа состоит из трех основных компонентов:

• Устройства средства выполнения
• Панель мониторинга управления
• Аналитика

Эти компоненты описываются по одному в следующих разделах.

Устройства средства выполнения

Каждое устройство, которое подключается к платформе, считается "средство выполнения". Каждое средство выполнения имитирует одно средство просмотра и взаимодействует с серверной частью Microsoft eCDN, чтобы получить инструкции по выполнению теста. В большинстве случаев тесты не выполняются. В этом случае средство выполнения ожидает простоя, пока не начнется тест. Вместо того, чтобы развертывать назначенное приложение агента на каждом компьютере в качестве средства выполнения, eCDN Майкрософт использует существующее программное обеспечение, которое обычно устанавливается на компьютерах конечных пользователей для запуска средств выполнения в фоновом режиме.

Так как средство выполнения по сути является веб-страницей, его можно открыть в любом браузере или в браузерной среде. Существует два способа создания экземпляра средства выполнения.

Средство прямого выполнения

Открытие страницы средства выполнения вручную со следующим URL-адресом и замена заполнителя TENANT_ID_HERE идентификатором вашего клиента в браузере считается "прямым модулем выполнения".

https://st-sdk.ecdn.teams.microsoft.com/?customerId=TENANT_ID_HERE&adapterId=Direct

Средство автоматического выполнения

Мы предоставляем сценарии PowerShell & Bash, которые запускают браузер без головного Chromium в фоновом режиме со страницей средства выполнения, которая считается "автоматическим средством выполнения". Затем скрипт можно выполнить в группе пользователей, чтобы подключить их к платформе.

Дополнительные сведения см. в приложении B. Интеграция средств выполнения с помощью браузера без головы

Панель мониторинга управления

Панель мониторинга управления позволяет планировать, изменять и отменять тесты, а также показывает количество подключенных средств выполнения. В главном окне перечислены ожидающие тесты, текущие тесты и прошедшие тесты, которые уже завершились. Завершенные тесты отображаются в течение 24 часов, а затем скрываются из списка.

Аналитика

Когда тест запланирован, он устанавливается в режим ожидания. По достижении времени начала тест активируется и все средства выполнения в сети отправляют сигнал активации. Затем целевая страница запускается каждым средством выполнения, и видео (отключается) в скрытом окне. Microsoft eCDN SDK собирает метрики сети и пользовательского интерфейса, представленные на различных диаграммах и диаграммах, доступных на панели мониторинга Аналитики. Аналитика сообщается во время выполнения теста, поэтому администраторы могут проверка состояние еще до завершения теста.

Параллелизма

На графике параллелизма показано количество активных пользователей с течением времени. Чтобы считаться активным, пользователь должен воспроизводить видео.

Скорость HTTP+P2P

На диаграмме пропускной способности сети показана разбивка потребления сети по протоколам HTTP и P2P.

Например, соотношение P2P в 90 % означает, что только 10 % трафика было загружено по протоколу HTTP, а остальное было пирингово между пользователями.

Если P2P ниже, чем ожидалось, это означает, что либо параллелизм пользователя не был достаточно высок, либо сеть требует большей оптимизации. Сведения об устранении неполадок см. в документации по устранению неполадок с низкой эффективностью пиринга .

Взаимодействие с пользователем

На графике взаимодействия с пользователем отображается объединенное время, затраченное на воспроизведение, и время, затраченное на отпор (замороженное видео).

Например, коэффициент отпора 2% означает, что видео воспроизводилось правильно в течение 98 % времени, в то время как в течение 2 % времени видео зависло.

В идеале отпор должен быть ниже 1%. Высокие числа или пики в отказе могут свидетельствовать о перегрузке сети, перегрузке сервера или неправильно настроенном содержимом.

Требования к сети

Платформа автоматического тестирования использует следующие домены и порты:

Безопасность

Платформа автоматического тестирования работает путем назначения тестов средствам выполнения. Хотя средство выполнения является статической страницей, которая подключается к серверной части Microsoft eCDN, выполняемый тест является динамическим и может выполнять любую целевую страницу. По этой причине средства выполнения выполняются на веб-странице, изолированной браузером и использующее механизмы безопасности, встроенные в современные браузеры. Независимо от интеграции (за исключением пользовательских интеграций), целевая страница всегда выполняется в безопасном и чистом контексте с помощью iframe.

Сетевые разрешения также ограничены браузером и ограничены общими веб-API, включая HTTP, WebSocket, WebRTC и т. д.

Ожидая выполнения тестов, средства выполнения поддерживают постоянное подключение WebSocket через безопасное подключение TLS (WSS).

Приложение

Приложение А. Планирование автоматического теста

1. Перейдите на панель мониторинга автоматического тестирования.

2. Выберите символ +.

   

3. Заполните обязательные поля

   

   • Имя — произвольное имя по вашему выбору.

   • Время & дата — конкретное время начала теста.

   • Duration — длительность теста. Рекомендуется не менее 20 минут, чтобы обеспечить надлежащее моделирование.

   • Целевой URL-адрес — общедоступный URL-адрес страницы события, которая воспроизводит видео во время имитации события. Вы можете использовать нашу встроенную страницу или создать собственную.

     • Встроенная Stream . ECDN Майкрософт включает уже интегрированную встроенную страницу с потоковой трансляцией, которая включает несколько представлений и настраиваемые протоколы потоковой передачи.

     • Настраиваемая Stream. Может потребоваться предоставить только собственный поток трансляции и использовать автоматическую страницу eCDN Майкрософт. Поток должен быть общедоступным и содержать заголовки CORS, чтобы средства выполнения могли загрузить его. Поток автоматически воспроизводится при запуске теста.

     • Настраиваемая страница — настраиваемая страница. Страница должна содержать проигрыватель и трансляцию и интегрироваться с eCDN Майкрософт. Проигрыватель ДОЛЖЕН начать воспроизведение видео автоматически, так как во время теста взаимодействие с пользователем не выполняется. Некоторые браузеры ограничивают возможность автозапуска видео. По этой причине рекомендуется отключить звук, что упрощает ограничение. Встроенные страницы по умолчанию отключаются.

   • Фильтры устройств . Ограничьте тест определенной группой устройств. В некоторых случаях может потребоваться выполнить тест на подмножестве подключенных устройств. Например, для запуска теста только в офисах в США или только на устройствах direct runner.

     • Фильтр стран — включают только устройства из определенных стран или регионов (GeoIP).

     • Фильтр интеграции . Включает только устройства, подключенные через определенную интеграцию.

     • Фильтр идентификаторов устройств — выполнение теста только для определенных идентификаторов устройств. Этот фильтр используется в основном для локальной отладки.

4. Выберите Расписание , и тест будет создан.

5. По достижении времени начала автоматического теста тест будет выполнен на назначенных подключенных устройствах.

Приложение Б. Интеграция средств выполнения с помощью браузера без головы

Microsoft eCDN предоставляет скрипт автоматического средства выполнения тестировщика без установки.

Этот скрипт запускает браузер на основе chromium (Microsoft Edge или Google Chrome) в фоновом режиме на определенной странице в течение указанного времени, а затем закрывает фоновый процесс браузера.

Кроме того, microsoft eCDN предоставляет скрипт вызова для запуска скрипта автоматического средства выполнения тестера на удаленных компьютерах, перечисленных в Active Directory.

Инструкции для среды Windows

1. Скачайте сценарий PowerShellsilent-tester-runner-windows.ps1 .

2. В скрипте измените следующее:

   • $TenantID— замените TENANT_ID идентификатором клиента Майкрософт.

   • $TestID— замените TEST_ID уникальной строкой идентификатора. Эта строка используется при создании файлов журнала, позволяя администраторам автоматического тестирования однозначно идентифицировать результаты теста.

   Важно!

   Каждый тест должен иметь уникальный $TestID. Если скрипт обнаруживает, что он ранее выполнялся с тем же $TestID, что и текущий экземпляр, он завершит работу без создания экземпляра средства автоматического выполнения.

   • (Необязательно) $scenarioDuration . Задайте для браузера требуемое значение в секундах. Вы можете выполнять автоматические тесты на целевых компьютерах в течение этого времени. Так как браузер бездействует, нет никаких проблем с увеличением этого значения до нескольких дней, чтобы обеспечить большую гибкость при выполнении тестов. Этот процесс не выживет после перезагрузки системы. По умолчанию — 86 400 секунд (24 часа).

   • (Необязательно) $customChromePath . Если Microsoft Edge или Google Chrome не установлен по пути по умолчанию (C:\Program Files или C:\Program Files (x86)), задайте для этой переменной путь к исполняемому файлу браузера. Например: C:\Custom Path\Edge\msedge.exe

3. Выполните сценарий на целевых компьютерах, используя выбранный вами метод, например один из следующих параметров.

   • Использование объекта групповой политики

   • Использование SCCM

   • Или вручную из контроллера домена. Для вашего удобства мы предлагаем пример скрипта вызова.

     1. Скачать remote-invocation.ps1 — скрипт PowerShell, который выполняет сценарий средства выполнения на всех компьютерах в Active Directory.

     2. (необязательно) Измените скрипт, чтобы ограничить область запросе Active Directory ограниченной группой компьютеров в зависимости от ваших потребностей. Дополнительные сведения о фильтрации см. в Get-ADComputerдокументации по командлетам.

     Примечание.

     Убедитесь, что скрипт средства выполнения находится в том же каталоге, из чего выполняется скрипт вызова.

   Предостережение

   Для достижения наилучших результатов выполните сценарий средства выполнения в контексте пользователя. Не рекомендуется выполнять сценарий средства выполнения под учетной записью SYSTEM.

4. Перейдите на панель мониторинга автоматического тестирования и убедитесь, что целевые компьютеры теперь отображаются как средства выполнения в сети.

   

Инструкции по выполнению для среды Mac

1. Скачать silent-tester-runner-mac.sh — скрипт Bash, который запускает Google Chrome в фоновом режиме в течение 24 часов.

2. Изменить silent-tester-runner-mac.sh:

   1. ecdnCustomerId — замените CUSTOMER_ID идентификатором клиента Майкрософт.

   2. (Необязательно) scenarioDuration — задайте для браузера требуемое значение в секундах. Вы можете выполнять автоматические тесты на целевых компьютерах в течение этого времени. Так как браузер бездействует, нет никаких проблем с увеличением этого значения до нескольких дней, чтобы обеспечить большую гибкость при выполнении тестов. По умолчанию — 86 400 секунд (24 часа).

3. В зависимости от средства, используемого для управления устройствами на сайте, например Jamf Pro, существуют различные способы выполнения скрипта на разных компьютерах.