Потоки данных потоковой передачи (предварительная версия)

Организации хотят работать с данными, как это происходит, а не через несколько дней или недель. Видение Power BI просто: различия между пакетом, режимом реального времени и потоковой передачей должны исчезнуть. Пользователи должны иметь возможность работать со всеми данными сразу после его доступности. Аналитики обычно нуждаются в технической помощи для работы с источниками данных потоковой передачи, подготовкой данных, сложными операциями на основе времени и визуализацией данных в режиме реального времени. ИТ-отделы часто полагаются на пользовательские системы, а также сочетание технологий от различных поставщиков для своевременного анализа данных. Без этой сложности они не могут предоставлять лицам, принимающим решения, информацию практически в режиме реального времени.

Потоковые потоки данных позволяют авторам подключаться, принимать, объединять, моделировать и создавать отчеты на основе потоковых данных, поступающих почти в реальном времени, непосредственно в службе Power BI. Сервис обеспечивает работу в режиме перетаскивания без написания кода. Вы можете при необходимости комбинировать потоковые и пакетные данные с помощью пользовательского интерфейса (UI), который включает представление в виде схемы для удобного объединения данных. Окончательный элемент — это поток данных, который можно использовать в режиме реального времени для создания интерактивных отчетов практически в режиме реального времени. Все возможности визуализации данных в Power BI работают с потоковыми данными так же, как и с пакетными данными.

• Принимать уверенные решения практически в режиме реального времени. Организации могут быть более гибкими и принимать значимые действия на основе самых актуальных аналитических сведений.
• Демократизация потоковых данных. Организации могут сделать данные более доступными и удобными для интерпретации с помощью решения без кода, и эта доступность сокращает ИТ-ресурсы.
• Сократите время до получения ценной информации с помощью сквозного решения для потоковой аналитики со встроенным хранилищем данных и бизнес-аналитикой.

Потоки потоковых данных поддерживают DirectQuery и автоматическое обновление страницы и обнаружение изменений. Эта поддержка позволяет пользователям создавать отчеты, которые обновляются практически в реальном времени до каждой секунды с помощью любого визуального элемента, доступного в Power BI.

Требования

Перед созданием первого потока потоковой передачи убедитесь, что выполнены все следующие требования:

• Чтобы создать и запустить поток данных в реальном времени, вам потребуется рабочая область, входящая в емкость Premium или лицензию Premium Per User (PPU).

  Внимание

  Если вы используете лицензию PPU и хотите, чтобы другие пользователи использовали отчеты, созданные с потоковыми потоками данных, которые обновляются в режиме реального времени, им также потребуется лицензия PPU. Затем они могут использовать отчеты с той же частотой обновления, которую вы настроили, если это обновление быстрее, чем каждые 30 минут.

• Включите потоки данных для клиента. Дополнительные сведения см. в разделе "Включение потоков данных" в Power BI Premium.

• Чтобы потоковая обработка данных работала в вашей емкости Premium, необходимо включить расширенный вычислительный модуль. Модуль включен по умолчанию, но администраторы емкости Power BI могут отключить его. В этом случае обратитесь к администратору, чтобы включить его.

  Расширенный вычислительный модуль доступен только в классах Premium P или Embedded A3 и более крупных емкостях. Чтобы использовать потоковые потоки данных, вам потребуется либо PPU, либо емкость Premium P любого размера, либо емкость Embedded A3 или выше. Дополнительные сведения о номерах SKU уровня "Премиум" и их спецификациях см. в разделе "Емкость и номера SKU" в встроенной аналитике Power BI.

• Чтобы создать отчеты, обновляемые в режиме реального времени, убедитесь, что администратор (емкость или Power BI для PPU) включил автоматическое обновление страницы. Кроме того, убедитесь, что администратор предоставил минимальный интервал обновления, соответствующий вашим потребностям. Дополнительные сведения см. в статье "Автоматическое обновление страницы" в Power BI.

Создание потокового потока данных

Потоковый поток данных, как и связанный с ним поток данных, представляет собой коллекцию сущностей (таблиц), которые создаются и управляются в рабочих областях службы Power BI. Таблица — это набор полей, которые используются для хранения данных, как таблица в базе данных.

Вы можете добавлять и изменять таблицы в вашем потоке данных в режиме реального времени прямо из рабочей области, в которой был создан этот поток данных. Основное отличие от обычных потоков данных заключается в том, что вам не нужно беспокоиться об обновлениях или частоте. По самой природе потоковых данных, они поступают непрерывным потоком. Обновление выполняется постоянно или бесконечно, пока вы его не остановите.

Чтобы создать потоковую обработку данных:

1. Откройте служба Power BI в браузере и выберите рабочую область с поддержкой Premium. (Потоковые потоки данных, как и обычные потоки данных, недоступны в My Workspace.)

2. Выберите раскрывающееся меню "Создать", а затем выберите поток данных для потоковой передачи.

   

3. На открывающейся боковой панели необходимо указать поток данных потоковой передачи. Введите имя в поле "Имя " (1), а затем нажмите кнопку "Создать " (2).

   

   Появится пустое представление схемы потоковых потоков данных.

На следующем снимка экрана показан готовый поток данных. Он выделяет все разделы, доступные для разработки в пользовательском интерфейсе потокового потока данных.

1. Лента. На ленте разделы следуют порядку "классического" процесса аналитики: входные данные (также известные как источники данных), преобразования (операции потоковой передачи данных), выходные данные и кнопка, чтобы сохранить ход выполнения.

2. Представление схемы: это графическое представление вашего потока данных — от входных данных через операции к выходным данным.

3. Боковая область: в зависимости от того, какой компонент вы выбираете в представлении диаграммы, вы можете изменить все входные, преобразования или выходные данные.

4. Вкладки для предварительного просмотра данных, ошибок создания и ошибок времени выполнения: для каждой отображаемой карточки предварительный просмотр данных показывает результаты для этого шага (в реальном времени для входных данных и по запросу для преобразований и выходных данных).

   В этом разделе также приводятся сведения об ошибках разработки или предупреждениях, которые могут возникнуть в потоках данных. При выборе каждой ошибки или предупреждения выбирается это преобразование. Кроме того, после запуска потока данных у вас есть доступ к ошибкам среды выполнения, таким как удаленные сообщения.

   Вы всегда можете свести к минимуму этот раздел потоковых потоков данных, выбрав стрелку в правом верхнем углу.

Поток потоковых данных основан на трех основных компонентах: потоковых входных данных, преобразований и выходных данных. Вы можете иметь столько компонентов, сколько требуется, включая несколько входных данных, параллельные ветви с несколькими преобразованиями и несколькими выходными данными.

Добавить потоковый вход

Чтобы добавить потоковый вход, выберите значок на ленте и укажите на боковой панели сведения, необходимые для его настройки. По состоянию на июль 2021 г. предварительная версия потоковых потоков данных поддерживает Центры событий Azure и Центр Интернета вещей Azure в качестве входных данных.

Службы Центры событий Azure и Центр Интернета вещей Azure основаны на общей архитектуре для упрощения быстрого и масштабируемого приема и потребления событий. Центр Интернета вещей, в частности, специально предназначен для работы в качестве центрального узла обмена сообщениями для двустороннего взаимодействия между IoT-приложением и подключенными к нему устройствами.

Центры событий Azure

Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий. Она может получать и обрабатывать миллионы событий в секунду. Данные, отправляемые в концентратор событий, можно преобразовать и сохранить с помощью любого поставщика аналитики в режиме реального времени или использовать пакетные адаптеры или адаптеры хранилища.

Чтобы настроить концентратор событий как вход для потоков данных, щелкните значок Event Hub. В представлении диаграммы появляется карточка, а также боковая панель для её настройки.

Вы можете вставить строку подключения Центров событий. Потоки обработки потоковых данных заполняют всю необходимую информацию, включая необязательную группу потребителей (по умолчанию — $Default). Если вы хотите ввести все поля вручную, вы можете включить переключатель ручного ввода, чтобы отобразить их. Дополнительные сведения см. в статье Получение строки подключения для Центров событий.

После настройки учетных данных Центров событий и выбора "Подключиться" можно добавить поля вручную с помощью + Добавить поле , если вы знаете имена полей. Кроме того, вы можете автоматически обнаруживать поля и типы данных на основе образца входящих сообщений, выберите поля автоматического набора данных. При необходимости выбор значка шестеренки позволяет изменять учетные данные.

Когда потоки данных потоковой передачи обнаруживают поля, их можно увидеть в списке. Под представлением схемы в таблице Предварительный просмотр данных также доступен предварительный просмотр входящих сообщений в реальном времени.

Вы всегда можете изменить имена полей или удалить или изменить тип данных, выбрав дополнительные параметры (...) рядом с каждым полем. Вы также можете развернуть, выбрать и изменить все вложенные поля из входящих сообщений, как показано на следующем рисунке.

Центр Интернета вещей Azure

Центр Интернета вещей — это управляемая служба, размещенная в облаке. Он выступает в качестве центрального центра сообщений для обмена данными в обоих направлениях между приложением Интернета вещей и подключенными устройствами. Вы можете подключить миллионы устройств и их внутренние решения надежно и безопасно. Почти любое устройство может быть подключено к Центру Интернета вещей.

Конфигурация Центр Интернета вещей аналогична конфигурации Event Hubs, поскольку у них общая архитектура. Но есть некоторые различия, в том числе в том, где найти строку подключения, совместимую с Event Hubs, для встроенной конечной точки. Дополнительные сведения см. в статье "Чтение сообщений устройства в облако" из встроенной конечной точки.

После вставки строки подключения для встроенной конечной точки все функции выбора, добавления, автоматического определения и редактирования полей, поступающих из Центр Интернета вещей, такие же, как и в Event Hubs. Вы также можете изменить учетные данные, выбрав значок шестеренки.

При использовании потоковых данных из Центров событий или Центр Интернета вещей у вас есть доступ к следующим полям времени метаданных в потоке потоковых данных:

• EventProcessedUtcTime: дата и время обработки события.
• EventEnqueuedUtcTime: дата и время получения события.

Ни из этих полей не отображаются в предварительном просмотре входных данных. Необходимо добавить их вручную.

Хранилище BLOB-объектов

Хранилище BLOB-объектов Azure — это решение корпорации Майкрософт для хранения объектов в облаке. Хранилище BLOB-объектов оптимизировано для хранения огромных объемов неструктурированных данных. Неструктурированные данные — это данные, которые не соответствуют определенной модели данных или определению, например текстовых или двоичных данных.

Блобы Azure можно использовать в качестве потоковых входных данных или входных данных по ссылке. Большие двоичные объекты потоковой передачи проверяются каждые секунды на наличие обновлений. В отличие от потокового BLOB-объекта, эталонный BLOB-объект загружается только в начале обновления. Это статические данные, которые не должны изменяться, и рекомендуемое ограничение для статических данных составляет 50 МБ или меньше.

Power BI предполагает, что эталонные BLOB-объекты используются вместе с источниками потоковых данных, например с помощью операции JOIN. Таким образом, поток данных со ссылкой на BLOB-объект также должен иметь потоковый источник.

Конфигурация Azure Blob Storage немного отличается от конфигурации узла Центры событий Azure. Чтобы найти строку подключения Azure Blob, см. раздел Просмотр ключей доступа к учетной записи.

После ввода строки подключения Blob необходимо указать имя вашего контейнера. Кроме того, необходимо ввести шаблон пути в каталоге, чтобы получить доступ к файлам, которые необходимо задать в качестве источника для потока данных.

Для потоковой передачи больших двоичных объектов шаблон пути к каталогу должен представлять собой динамическое значение. Дата должна быть частью пути к файлу BLOB-объекта и обозначаться как {date}. Кроме того, звездочка (*) в шаблоне пути, например {date}/{time}/*.json, не поддерживается.

Например, если у вас есть BLOB-объект с именем ExampleContainer, в котором хранятся вложенные JSON-файлы, где первый уровень соответствует дате создания, а второй — часу создания (yyyy-mm-dd/hh), то значением поля Container будет «ExampleContainer». Шаблон пути к каталогу будет "{date}/{time}", где можно изменить шаблон даты и времени.

После подключения BLOB-объекта к конечной точке все функции выбора, добавления, автообнаружения и редактирования полей, поступающих из хранилища BLOB-объектов Azure, работают так же, как и в Event Hubs. Вы также можете изменить учетные данные, выбрав значок шестеренки.

Часто при работе с данными в режиме реального времени данные сжаты и идентификаторы используются для представления объекта. Одним из возможных вариантов использования BLOB-объектов также могут быть эталонные данные для ваших источников потоковых данных. Справочные данные позволяют объединять статические данные с потоковыми данными, чтобы обогащать потоки данных для анализа. Краткий пример того, когда эта функция будет полезной, если бы вы устанавливали датчики в разных универмагах, чтобы оценить, сколько людей входят в магазин в определенное время. Обычно идентификатор датчика нужно связать со статической таблицей, чтобы указать, в каком универмаге и в каком именно месте находится датчик. Теперь, имея справочные данные, можно объединить их с основными данными на этапе загрузки, чтобы было проще увидеть, в каком магазине самый большой поток пользователей.

Типы данных

Доступные типы данных для полей потоковых потоков данных:

• DateTime: поле даты и времени в формате ISO
• Float: Десятичное число
• Int: целочисленный номер
• Запись: вложенный объект с несколькими записями
• Строка: текст

Добавить преобразование потоковых данных

Преобразования потоковых данных по сути отличаются от преобразований пакетных данных. Почти все данные потоковой передачи имеют компонент времени, влияющий на все задачи подготовки данных.

Чтобы добавить преобразование потоковых данных в поток данных, выберите значок преобразования на ленте для этого преобразования. Соответствующая карточка отображается в представлении схемы. После выбора вы увидите боковую панель этого преобразования, чтобы настроить его параметры.

По состоянию на июль 2021 года потоки данных в режиме потоковой обработки поддерживают следующие потоковые преобразования.

Фильтр

Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию.

Управление полями

Преобразование "Управление полями " позволяет добавлять, удалять или переименовать поля, поступающие из входного или другого преобразования. Параметры на боковой панели предоставляют возможность добавления нового, нажав кнопку "Добавить поле " или добавив все поля одновременно.

Совокупный

Вы можете использовать преобразование "Агрегат" для вычисления агрегата (суммы, минимального, максимального или среднего) каждый раз, когда новое событие происходит за период времени. Эта операция также позволяет фильтровать агрегированные данные или выполнять их срез по другим измерениям в ваших данных. В одном преобразовании может быть одна или несколько агрегаций.

Чтобы добавить агрегирование, выберите значок преобразования. Затем подключите входные данные, выберите агрегирование, добавьте все измерения фильтра или среза и выберите период времени, когда вы хотите вычислить агрегирование. В этом примере вычисляется сумма значений платы за проезд по штату, из которого транспортное средство, за последние 10 секунд.

Чтобы добавить еще одну агрегацию в то же преобразование, выберите "Добавить агрегатную функцию". Имейте в виду, что фильтр или срез применяется ко всем агрегациям в преобразовании.

Присоединиться

Используйте преобразование Join для объединения событий из двух входных данных на основе пар полей, которые вы выбрали. Если вы не выбираете пару полей, соединение зависит от времени по умолчанию. Именно значение по умолчанию отличает это преобразование от пакетного.

Как и при регулярных соединениях, у вас есть различные варианты логики соединения:

• Внутреннее соединение: включите только записи из обеих таблиц, в которых пара совпадает. В этом примере это тот случай, когда номерной знак совпадает с обоими входными значениями.
• Левое внешнее соединение: включите все записи из левой (первой) таблицы и только записи из второй, которые соответствуют паре полей. Если совпадения нет, поля из второго входного значения задаются пустыми.

Чтобы выбрать тип соединения, выберите значок предпочтительного типа на боковой панели.

Наконец, выберите, за какой период времени будет рассчитываться объединение. В этом примере операция объединения учитывает последние 10 секунд. Имейте в виду, что чем дольше период, тем меньше выходных данных— и чем больше ресурсов обработки, используемых для преобразования.

По умолчанию все поля из обеих таблиц включены. Префиксы слева (первый узел) и справа (второй узел) в выходных данных помогают различать источник.

Группировать по

Используйте преобразование Группировка для расчета агрегированных значений по всем событиям в пределах определенного временного окна. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на преобразование "Агрегат" , но предоставляет дополнительные возможности для агрегирования. Он также включает более сложные параметры временного окна. Кроме того, аналогично агрегату, можно добавить несколько агрегатов для каждого преобразования.

Агрегаты, доступные в этом преобразовании: среднее, число, максимальное, минимальное, процентиль (непрерывное и дискретное), стандартное отклонение, сумма и вариативность.

Чтобы настроить это преобразование, выполните указанные ниже действия.

1. Выберите предпочтительную агрегацию.
2. Выберите поле, по которому нужно выполнить агрегацию.
3. Выберите необязательное поле по группам, если вы хотите получить статистическое вычисление по другому измерению или категории (например, State).
4. Выберите функцию для временных окон.

Чтобы добавить еще одну агрегацию в то же преобразование, выберите "Добавить агрегатную функцию". Имейте в виду, что поле Группировать по и оконная функция применяются ко всем операциям агрегирования в этом преобразовании.

Метка времени окончания временного окна включается в результат преобразования для справки.

В разделе ниже в этой статье описывается каждый тип периода времени, доступного для этого преобразования.

Объединение

Используйте преобразование Union для подключения двух или нескольких входных данных для добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные.

Настройте функции временных окон

Временные окна — это одна из самых сложных концепций потоковых данных. Эта концепция находится в основе потоковой аналитики.

В потоках обработки данных можно настроить временные окна при агрегировании данных как параметр в преобразовании Группировать по.

Можно выбрать один из пяти видов временных окон: фиксированные, скачкообразные, скользящие, сеансовые и мгновенные.

"Переворачивающееся" окно

Tumbling — это самый распространенный тип временного окна. Ключевые характеристики кувыркающихся окон заключаются в том, что они повторяются, имеют одинаковую длительность и не перекрываются. Событие не может принадлежать более чем одному кувыркающемуся окну.

При настройке переворачивающегося окна в потоковых потоках данных необходимо указать длительность окна (одинаково для всех окон в этом случае). Вы также можете указать необязательное смещение. По умолчанию переворачивающиеся окна включают конец окна и исключают начало. Этот параметр можно использовать для изменения этого поведения и включения событий в начало окна и исключения из них в конце.

Скачущее окно

Скачущие окна смещаются вперёд во времени на фиксированный интервал. Их можно рассматривать как переворачивающиеся окна, которые могут перекрываться и быть генерируются чаще, чем размер окна. События могут принадлежать нескольким результирующим наборам при использовании скачущего окна. Чтобы сделать скачущее окно таким же, как кувыркающееся окно, можно указать размер шага, равный размеру окна.

При настройке окна прыжка в потоковых потоках данных необходимо указать длительность окна (так же, как и в переворачивающихся окнах). Кроме того, необходимо указать размер прыжка, который сообщает потоковым потокам данных, как часто вы хотите, чтобы агрегирование вычислялось в течение определенной длительности.

Параметр смещения также доступен в скачущих окнах по той же причине, что и в кувыркающихся окнах. Он определяет логику включения и исключения событий в начале и в конце скачущего окна.

"Скользящее" окно

Скользящие окна, в отличие от переворачивающегося или прыжкового окна, вычисляют агрегирование только для точек во времени, когда содержимое окна фактически изменяется. При входе или выходе из окна вычисляется агрегирование. Таким образом, у каждого окна есть по меньшей мере одно событие. Как и в случае со скачущими окнами, события могут принадлежать нескольким скользящим окнам.

Единственным параметром, который требуется для скользящего окна, является длительность, так как события сами определяются при запуске окна. Логика смещения не требуется.

"Сеансовое" окно

Окна сеансов являются самым сложным типом. Они группируют события, поступающие в аналогичное время, отфильтровывая периоды времени, где нет данных. Для этого окна необходимо указать следующее:

• Время ожидания: как долго ждать, если нет новых данных.
• Максимальная длительность: самое длительное время, которое агрегирование вычисляет, если данные продолжают поступать.

Вы также можете определить секцию, если хотите.

Вы настраиваете окно сеанса непосредственно на боковой панели для преобразования. Если вы укажете партицию, агрегация будет группировать вместе только события с одинаковым ключом.

Окно снимка

Окна моментальных снимков группируют события с одинаковой меткой времени. В отличие от других окон, моментальный снимок не требует никаких параметров, так как использует системное время.

Определение выходных данных

После настройки входных и преобразований пришло время определить один или несколько выходных данных. По состоянию на июль 2021 года потоки данных потоковой передачи поддерживают таблицы Power BI в качестве единственного типа выходных данных.

Это таблица потока данных (то есть сущность), которую можно использовать для создания отчетов в Power BI Desktop. Вам нужно соединить узлы предыдущего шага с выходом, который вы создаёте, чтобы это работало. После этого назовите таблицу.

После подключения к потоку данных эта таблица будет доступна для создания визуальных элементов, обновляемых в режиме реального времени для отчетов.

Предварительный просмотр и ошибки данных

Потоки обработки потоковых данных предоставляют инструменты, помогающие разрабатывать, устранять неполадки и оценивать производительность конвейера аналитической обработки для потоковых данных.

Предварительный просмотр данных в реальном времени для входных данных

При подключении к концентратору событий или Центру Интернета вещей и выборе карточки в представлении диаграммы ( вкладка "Предварительный просмотр данных") вы получите динамический просмотр данных, поступающих, если все следующие значения верны:

• Идёт отправка данных.
• Входные данные настроены правильно.
• Добавлены поля.

Как показано на следующем снимке экрана, если вы хотите просмотреть или детализировать определенные сведения, можно приостановить предварительную версию (1). Или вы можете начать его снова, если вы закончите.

Кроме того, можно просмотреть сведения о конкретной записи (ячейке в таблице), выбрав ее, а затем выбрав "Показать сведения" или "Скрыть сведения" (2). На снимке экрана показан подробный вид вложенного объекта в записи.

Статический предварительный просмотр для преобразований и выходных данных

После добавления и настройки любых шагов в представлении диаграммы можно проверить их поведение, нажав кнопку статических данных.

После этого потоки потоковой передачи данных обрабатывают все преобразования и выходные данные, которые настроены должным образом. В потоковых потоках данных результаты затем отображаются в окне предварительного просмотра статических данных, как показано на следующем рисунке.

Вы можете обновить предварительную версию, выбрав "Обновить статическую предварительную версию " (1). При этом потоковые потоки данных получают новые входные данные и заново обрабатывают все преобразования и выходные данные с учетом всех обновлений, которые вы могли внести. Также доступен параметр "Показать или скрыть сведения" (2).

Ошибки разработки

Если у вас есть ошибки или предупреждения при создании, на вкладке «Ошибки создания» (1) они перечислены, как показано на следующем снимке экрана. Список содержит сведения об ошибке или предупреждении, тип карточки (входные данные, преобразование или вывод), уровень ошибки и описание ошибки или предупреждения (2). Когда вы выбираете любую ошибку или предупреждение, выбирается соответствующая карточка и открывается боковая панель настройки, где можно внести необходимые изменения.

Ошибки среды выполнения

Последняя доступная вкладка в предварительной версии — ошибки среды выполнения (1), как показано на следующем снимке экрана. На этой вкладке перечислены все ошибки в процессе приема и анализа потокового потока данных после запуска. Например, вы можете получить ошибку во время выполнения, если сообщение поступило в поврежденном виде, и поток данных не смог его принять и выполнить заданные преобразования.

Так как потоки данных могут выполняться в течение длительного периода времени, эта вкладка предлагает возможность отфильтровать по временному интервалу и скачать список ошибок и обновить его при необходимости (2).

Изменение параметров потоковых потоков данных

Как и в случае с регулярными потоками данных, параметры потоковых потоков данных можно изменять в зависимости от потребностей владельцев и авторов. Следующие параметры уникальны для потоковых потоков данных. Что касается остальных настроек, из-за общей инфраструктуры для двух типов потоков данных можно считать, что они используются одинаково.

• Журнал обновления: так как потоки данных потоковой передачи выполняются непрерывно, журнал обновления отображает только сведения о том, когда поток данных запускается, когда он отменен или когда он завершается сбоем (с подробными сведениями и кодами ошибок, если применимо). Эта информация похожа на то, что отображается для регулярных потоков данных. Эти сведения можно использовать для устранения неполадок или предоставления поддержки Power BI с запрошенными сведениями.

• Учетные данные источника данных: в этом параметре показаны входные данные, настроенные для конкретного потока потоковых данных.

• Расширенные параметры подсистемы вычислений: потоки данных потоковой передачи требуют расширенного вычислительного модуля для предоставления визуальных элементов в режиме реального времени, поэтому этот параметр включен по умолчанию и не может быть изменен.

• Длительность хранения. Этот параметр предназначен для потоковых потоков данных. Здесь можно определить время хранения данных в режиме реального времени для визуализации в отчетах. Исторические данные сохраняются по умолчанию в Хранилище BLOB-объектов Azure. Этот параметр относится только к части ваших данных, обрабатываемой в режиме реального времени (горячее хранилище). Минимальное значение — 1 день или 24 часа.

  Внимание

  Объем горячих данных, хранимых в течение этого периода хранения, напрямую влияет на производительность визуализаций в режиме реального времени при создании отчетов на основе этих данных. Чем дольше здесь срок хранения данных, тем сильнее низкая производительность может влиять на визуализации в отчетах в реальном времени. Если необходимо выполнить исторический анализ, следует использовать холодное хранилище, предоставленное для потоковых потоков данных.

Запуск и изменение потокового потока данных

После сохранения и настройки потокового потока данных все готово для его запуска. Затем можно начать прием данных в Power BI с помощью логики потоковой аналитики, которую вы определили.

Запуск потокового потока данных

Чтобы запустить потоковый поток данных, сначала сохраните его, а затем перейдите в рабочую область, в которой вы его создали. Наведите указатель мыши на поток потоковых данных и нажмите кнопку воспроизведения, которая отображается. Всплывающее сообщение сообщает о том, что поток потоковых данных запущен.

Изменение потокового потока данных

Пока поток потоковых данных запущен, его нельзя изменить. Но вы можете перейти в поток потоковых данных, который находится в состоянии выполнения, и увидеть логику аналитики, на которую основан поток данных.

При переходе в поток потоковой передачи все параметры редактирования отключены, и отображается сообщение: "Поток данных не может быть изменен во время его выполнения. Остановите поток данных, если вы хотите продолжить". Предварительный просмотр данных также отключен.

Чтобы изменить поток потоковых данных, его необходимо остановить. Остановленный поток данных приводит к отсутствующим данным.

Единственный доступный во время выполнения потока данных интерфейс — это вкладка Ошибки среды выполнения, где можно отслеживать поведение потока данных на предмет отброшенных сообщений и аналогичных ситуаций.

Рассмотрите возможность хранения данных при редактировании потока данных

При редактировании потока данных необходимо учитывать другие аспекты. Как и любые изменения в схеме для регулярных потоков данных, при внесении изменений в выходную таблицу вы теряете данные, которые уже были отправлены и сохранены в Power BI. Интерфейс предоставляет четкие сведения о последствиях любого из этих изменений в потоке потоковых данных, а также выбор изменений, внесенных перед сохранением.

Это лучше всего показать на примере. На следующем снимне экрана показано сообщение, которое вы получаете при добавлении столбца в одну таблицу, измените имя второй таблицы и оставьте третью таблицу той же, что и раньше.

В этом примере данные, уже сохраненные в обеих таблицах с изменениями схемы и имени, удаляются при сохранении изменений. Для таблицы, которая осталась той же, вы получите возможность удалить старые данные и начать с нуля или сохранить ее для последующего анализа вместе с новыми данными, поступающими в систему.

Имейте в виду эти нюансы при редактировании потокового потока данных, особенно если вам нужны исторические данные, доступные позже для дальнейшего анализа.

Использование потокового потока данных

После того как ваш потоковый конвейер обработки данных будет запущен, вы можете приступить к созданию контента на основе потоковых данных. По сравнению с тем, что необходимо сделать для создания отчетов, обновляемых в режиме реального времени, нет структурных изменений. Существуют некоторые нюансы и обновления, которые следует учитывать, чтобы воспользоваться преимуществами этого нового типа подготовки данных для потоковой передачи данных.

Настройка хранилища данных

Как мы уже упоминали, потоки потоковой передачи данных сохраняют данные в следующих двух местах. Использование этих источников зависит от типа анализа, который вы пытаетесь выполнить.

• Горячее хранилище (анализ в режиме реального времени): Когда данные поступают в Power BI из потоковых данных, они сохраняются в горячем хранилище для использования в визуализациях в режиме реального времени. Сколько данных сохраняется в этом хранилище, зависит от значения, определенного для длительности хранения в параметрах потокового потока данных. Значение по умолчанию (и минимальное) — 24 часа.
• Холодное хранилище (исторический анализ) — любой период времени, который не попадает в период, определенный для длительности хранения, сохраняется в холодном хранилище (BLOB-объектах) в Power BI для использования при необходимости.

Подключение к потоковым потокам данных из Power BI Desktop

Power BI Desktop предлагает соединитель с именем "Потоки данных" для использования. В рамках этого соединителя потоковых потоков данных вы увидите две таблицы, соответствующие ранее описанному хранилищу данных.

Чтобы подключиться к данным для потоковых потоков данных, выполните следующие действия.

1. Перейдите к разделу "Получить данные", выберите Power Platform и выберите соединитель потоков данных.

   

2. Войдите с помощью учетных данных Power BI.

3. Выберите рабочие области. Найдите тот, который содержит ваш потоковый поток данных, и выберите этот поток данных. (В этом примере потоковая обработка данных называется Toll.)

4. Обратите внимание, что все выходные таблицы отображаются дважды: один для потоковых данных (горячий) и один для архивированных данных (холодный). Вы можете отличить их по меткам, добавленным после имен таблиц и значков.

   

5. Подключитесь к потоковым данным. Архивный случай данных одинаков, доступен только в режиме импорта. Выберите таблицы с метками Потоковая передача и Горячая, а затем выберите Загрузить.

   

6. Когда вам будет предложено выбрать режим хранения, выберите DirectQuery , если ваша цель — создать визуальные элементы в режиме реального времени.

   

Теперь вы можете создавать визуальные элементы, меры и многое другое с помощью функций, доступных в Power BI Desktop.

Включите автоматическое обновление страницы для визуализации в реальном времени

После того как ваш отчет будет готов и вы добавите весь контент, которым хотите поделиться, останется только убедиться, что ваши визуализации обновляются в реальном времени. Вы можете использовать функцию автоматического обновления страницы. Эта функция позволяет обновлять визуализации на основе источника DirectQuery с частотой до одного раза в секунду.

Дополнительные сведения о функции см. в статье "Автоматическое обновление страницы" в Power BI. В этой статье содержатся сведения о том, как его использовать, как его настроить и как связаться с администратором, если у вас возникли проблемы. Ниже приведены основные сведения о настройке.

1. Перейдите на страницу отчета, в которой необходимо обновить визуальные элементы в режиме реального времени.

2. Снимите любой визуальный элемент на странице. Если это возможно, выберите фон страницы.

3. Перейдите в область форматирования (1) и включите обновление страницы (2).

   

4. Настройте желаемую частоту (вплоть до одного раза в секунду, если это разрешено вашим администратором).

   

5. Чтобы поделиться отчетом в режиме реального времени, сначала опубликуйте его в службу Power BI. Затем можно настроить учетные данные потока данных для семантической модели и предоставить общий доступ.

Рекомендации и ограничения

Общие ограничения

• Подписка Power BI Premium (емкость или PPU) необходима для создания и запуска потоковых потоков данных.
• Для каждой рабочей области допускается только один тип потока данных.
• Связывание регулярных и потоковых потоков данных невозможно.
• Ресурсы меньше, чем A3, не позволяют использовать потоки данных в реальном времени.
• Если потоки данных или расширенный модуль вычислений не включены в клиенте, невозможно создать или запустить потоки данных потоковой передачи.
• Рабочие области, подключенные к учетной записи хранения, не поддерживаются.
• Каждый поток потоковых данных может обеспечить до 1 МБ в секунду пропускной способности.

Доступность

Предварительная версия потоковых потоков данных недоступна в следующих регионах:

• Центральная Индия
• Северная Германия
• Восточная Норвегия;
• Западная Норвегия
• Центральная часть ОАЭ
• Северная часть ЮАР
• Западная часть ЮАР
• Северная Швейцария
• Западная Швейцария
• Юго-Восточная Бразилия

Лицензирование

Число потоковых потоков данных, разрешенных для каждого клиента, зависит от используемой лицензии:

• Для регулярных емкостей используйте следующую формулу, чтобы вычислить максимальное количество потоковых потоков данных, разрешенных в емкости:

  Максимальное число потоков данных для каждой емкости = число виртуальных ядер в емкости x 5

  Например, P1 имеет 8 виртуальных ядер: 8 * 5 = 40 потоков данных.

• Для пользователей категории "Премиум" разрешен один поток потоковых данных для каждого пользователя. Если другой пользователь хочет использовать поток потоковых данных в рабочей области PPU, им также нужна лицензия PPU.

Создание потока данных

При создании потоковых потоков данных следует учитывать следующие моменты:

• Только владелец потокового потока данных может вносить изменения, и только если этот поток данных не запущен.
• Потоки данных потоковой передачи недоступны в моей рабочей области.

Подключение из Power BI Desktop

Доступ к холодному хранилищу можно получить только с помощью соединителя потоков данных, доступного начиная с обновления Power BI Desktop за июль 2021 г. Прежний соединитель потоков данных Power BI позволяет подключаться только к хранилищу потоковых данных ("горячему" хранилищу). Предварительная версия данных соединителя не работает.

Связанный контент

В этой статье представлен обзор подготовки потоковых данных в режиме самообслуживания с использованием потоков данных. В следующих статьях содержатся сведения о том, как протестировать эту возможность и как использовать другие функции потоковых данных в Power BI:

• Создание решения Интернета вещей с помощью Stream Analytics
• Подключение симулятора Raspberry Pi к Центр Интернета вещей Azure (Node.js)
• Потоковая передача в режиме реального времени в Power BI
• Автоматическое обновление страницы в Power BI