Разработка решений с помощью потоков данных (устаревшая версия)

Потоки данных Power BI — это корпоративное решение по подготовке данных, которое позволяет создание дата-экосистемы, готовой для использования, повторного применения и интеграции. В этой статье представлены некоторые распространенные сценарии, ссылки на статьи и другие сведения, которые помогут вам понять и использовать потоки данных в полной мере.

Получение доступа к функциям потоков данных класса Premium

Потоки данных Power BI в емкостях Premium предоставляют множество ключевых функций, которые помогают повысить масштаб и производительность потоков данных, например:

• Расширенные вычислительные ресурсы, которые ускоряют производительность ETL и предоставляют возможности DirectQuery.
• Добавочное обновление, которое позволяет загружать данные, измененные из источника.
• Связанные сущности, которые можно использовать для ссылки на другие потоки данных.
• Вычисляемые сущности, которые можно использовать для создания составных стандартных блоков потоков данных, содержащих больше бизнес-логики.

По этим причинам рекомендуется использовать потоки данных в емкости Premium по возможности. Потоки данных, используемые в лицензии Power BI Pro, можно использовать для простых, небольших вариантов использования.

Решение

Доступ к этим функциям потоков данных класса Premium можно получить двумя способами:

• Назначьте рабочей области емкость Premium и используйте собственную лицензию Pro для создания потоков данных в этом месте.
• Принесите собственную лицензию Premium на пользователя (PPU), которая требует, чтобы другие члены рабочей области также имели лицензию PPU.

Потоки данных PPU (или другое содержимое) нельзя использовать вне среды PPU, например, в других средах, таких как системы Premium, или другие SKU или лицензии.

Для емкостей Premium пользователям потоков данных в Power BI Desktop не требуются отдельные лицензии для использования и публикации данных в Power BI. Но для публикации в рабочей области или совместного использования результирующей семантической модели требуется по крайней мере лицензия Pro.

Для PPU каждый пользователь, создающий или использующий содержимое PPU, должен иметь лицензию PPU. Это требование отличается от остальной части Power BI тем, что необходимо явно лицензировать всех пользователей с PPU. Вы не можете смешивать емкости Free, Pro или Premium с содержимым PPU, если вы не переносите рабочую область в емкость Premium.

Выбор модели обычно зависит от размера и целей вашей организации, но применяются следующие рекомендации.

Для небольших команд PPU может преодолеть разрыв между тарифами Free, Pro и Premium в зависимости от объема. Если у вас есть более крупные потребности, использование емкости Premium с пользователями, имеющими лицензии Pro, является лучшим подходом.

Создание потоков данных пользователей с применением безопасности

Представьте, что необходимо создать потоки данных для потребления, но у вас есть требования к безопасности:

В этом сценарии, скорее всего, есть два типа рабочих областей:

• Внутренние рабочие области, в которых вы разрабатываете потоки данных и создаете бизнес-логику.

• Рабочие области пользователей, в которых требуется предоставить некоторые потоки данных или таблицы определенной группе пользователей для использования:

  • Рабочая область пользователя содержит связанные таблицы, указывающие на потоки данных в серверной рабочей области.
  • Пользователи имеют доступ к рабочей области потребителя и не имеют доступа к внутренней рабочей области.
  • Когда пользователь использует Power BI Desktop для доступа к потоку данных в рабочей области пользователя, он может видеть поток данных. Но поскольку поток данных отображается пустым в навигаторе, связанные таблицы не отображаются.

Общие сведения о связанных таблицах

Связанные таблицы — это просто указатель на исходные таблицы потоков данных, и они наследуют разрешение источника. Если Power BI разрешила связанной таблице использовать разрешение назначения, любой пользователь может обойти разрешение источника, создав связанную таблицу в назначении, которая указывает на источник.

Решение. Использование вычисляемых таблиц

Если у вас есть доступ к Power BI Premium, вы можете создать вычисляемую таблицу в назначении, которая ссылается на связанную таблицу, которая содержит копию данных из связанной таблицы. Можно удалить столбцы через проекции и удалить строки с помощью фильтров. Пользователь с разрешением на целевую рабочую область может получить доступ к данным через эту таблицу.

Строка для привилегированных пользователей также отображает указанную рабочую область и позволяет пользователям полностью понять родительский поток данных. Для тех пользователей, которые не являются привилегированными, конфиденциальность по-прежнему уважается. Отображается только имя рабочей области.

На следующей схеме показана эта настройка. Слева — архитектурный шаблон. Справа показан пример разделения и защиты данных о продажах по регионам.

Сокращение времени обновления для потоков данных

Представьте, что у вас есть большой поток данных, но вы хотите создать семантические модели из этого потока данных и уменьшить время, необходимое для обновления. Как правило, обновление занимает много времени для завершения от источника данных через потоки данных к семантической модели. Длительными обновлениями трудно управлять и поддерживать.

Решение: используйте таблицы с параметром Enable Load, явно настроенным для ссылочных таблиц, и не отключайте нагрузку.

Power BI поддерживает простую оркестрацию потоков данных, как определено в определении и оптимизации обновлений потоков данных. Для использования преимуществ оркестрации требуется явная настройка всех подчиненных потоков данных на включение загрузки.

Отключение нагрузки обычно подходит только в том случае, если затраты на загрузку дополнительных запросов отменяют преимущество сущности, с помощью которой вы разрабатываете.

Хотя отключение загрузки означает, что Power BI не оценивает этот запрос при использовании в качестве компонентов, на которую ссылаются другие потоки данных, это также означает, что Power BI не обрабатывает его как существующую таблицу, к которой можно указать указатель и применять свертку и оптимизацию запросов. В этом смысле выполнение преобразований, таких как соединение или слияние, — это просто соединение или слияние двух запросов источника данных. Такие операции могут негативно повлиять на производительность, так как Power BI должна полностью перезагрузить уже вычисленную логику, а затем применить дополнительную логику.

Чтобы упростить обработку запросов потока данных и убедиться, что выполняются все оптимизации подсистемы, включите нагрузку и убедитесь, что вычислительный модуль в потоках данных Power BI Premium установлен в параметре по умолчанию, который оптимизирован.

Включение загрузки также позволяет сохранить полное представление о происхождении, поскольку Power BI рассматривает незагруженный поток данных как новый элемент. Если для вас важна родословная, не отключайте загрузку для сущностей или потоков данных, подключенных к другим потокам данных.

Сокращение времени обновления для семантических моделей

Представьте, что у вас есть большой поток данных, но вы хотите создать семантические модели из него и уменьшить оркестрацию. Завершение обновления занимает много времени — от источника данных к потокам данных и семантическим моделям, и это повышает задержку.

Решение. Использование потоков данных DirectQuery

DirectQuery можно использовать всякий раз, когда параметр расширенной вычислительной подсистемы рабочей области (ECE) настраивается явным образом в значение On. Этот параметр полезен, если у вас есть данные, которые не нужно загружать непосредственно в модель Power BI. Если вы впервые настраиваете ECE в положение Включено, изменения, обеспечивающие работу DirectQuery, произойдут во время следующего обновления. При включении этой функции необходимо обновить ее, чтобы изменения вступили в силу немедленно. Обновление начальной нагрузки потока данных может быть медленнее, так как Power BI записывает данные как в хранилище, так и в управляемый обработчик SQL.

Чтобы свести итог, с помощью DirectQuery с потоками данных можно улучшить процессы Power BI и потоков данных:

• Избегайте отдельных расписаний обновления: DirectQuery подключается непосредственно к потоку данных, что удаляет необходимость создания импортированной семантической модели. Таким образом, с помощью DirectQuery с потоками данных больше не требуется отдельное расписание обновления для потока данных и семантической модели, чтобы убедиться, что данные синхронизированы.
• Фильтрация данных: DirectQuery полезна для работы с отфильтрованным представлением данных внутри потока данных. Если вы хотите отфильтровать данные и таким образом работать с меньшим подмножеством данных в потоке данных, вы можете использовать DirectQuery (и ЕКЕ) для фильтрации данных потока данных и работы с отфильтрованным подмножеством.

Как правило, использование DirectQuery обеспечивает актуальными данными из семантической модели, однако по сравнению с режимом импорта может снижать быстродействие отчета. Рассмотрим этот подход только в том случае, если:

• В вашем случае требуется низкая задержка данных, поступающих из потока данных.
• Данные потока данных большие.
• Импорт будет слишком трудоемким.
• Вы готовы обменять производительность кэша на актуальные данные.

Решение: Используйте коннектор потоков данных для включения процессов свертывания запросов и инкрементального обновления при импорте.

Соединитель унифицированных потоков данных может значительно сократить время оценки для шагов, выполняемых над вычисляемыми сущностями, такими как выполнение соединений, отдельных, фильтров и группирования по операциям. Существует два конкретных преимущества:

• Пользователи, работающие далее по цепочке и подключающиеся к коннектору потоков данных в Power BI Desktop, могут воспользоваться увеличением производительности в сценариях авторинга, поскольку новый коннектор поддерживает свертывание запросов.
• Операции обновления семантической модели также могут сложиться в расширенный вычислительный механизм, что означает, что даже добавочное обновление из семантической модели может сложиться в поток данных. Эта возможность повышает производительность обновления и потенциально уменьшает задержку между циклами обновления.

Чтобы включить эту функцию для любого потока данных класса Premium, убедитесь, что подсистема вычислений явно задана в значение On. Затем используйте соединитель потоков данных в Power BI Desktop. Для использования этой функции необходимо использовать версию Power BI Desktop за август 2021 г. или более позднюю версию.

Чтобы использовать эту функцию для существующих решений, необходимо использовать подписку Premium или Premium на пользователя. Также может потребоваться внести некоторые изменения в поток данных, как описано в разделе "Использование расширенного вычислительного модуля". Чтобы использовать новый соединитель, необходимо обновить все существующие запросы Power Query, заменив PowerBI.Dataflows в разделе Source на PowerPlatform.Dataflows.

Сложный процесс разработки потока данных в Power Query

Представьте, что у вас есть поток данных, который представляет собой миллионы строк данных, но вы хотите создать сложную бизнес-логику и преобразования с ним. Вы хотите следовать рекомендациям по работе с большими потоками данных. Для быстрой работы вам также необходимы предварительные просмотры потоков данных. Но у вас есть десятки столбцов и миллионы строк данных.

Решение: Использование представления схемы

Вы можете использовать представление схемы, которое предназначено для оптимизации рабочего процесса при работе с операциями на уровне схем, помещая информацию о столбцах вашего запроса на передний план. Представление схемы обеспечивает контекстное взаимодействие для формирования структуры данных. Представление схемы также предоставляет операции с меньшей задержкой, так как требует вычисления только метаданных столбца, а не полных результатов данных.

Работа с большими источниками данных

Представьте, что вы выполняете запрос в исходной системе, но вы не хотите предоставлять прямой доступ к системе или демократизировать доступ. Вы планируете поместить его в поток данных.

Решение 1. Использование представления для запроса или оптимизация запроса

Использование оптимизированного источника данных и запроса — это лучший вариант. Часто источник данных лучше всего работает с запросами, предназначенными для него. Power Query улучшает способности к свертыванию запросов для делегирования этих рабочих нагрузок. Power BI также предоставляет индикаторы свертывания шагов в Power Query Online. Дополнительные сведения о типах индикаторов см. в документации по индикаторам пошагового свертывания.

Решение 2. Использование собственного запроса

Вы также можете использовать функцию Value.NativeQuery() M. В третьем параметре вы установили EnableFolding=true. Native Query задокументирован на этом веб-сайте для соединителя Postgres. Он также работает для соединителя SQL Server.

Решение 3. Разделите поток данных на процессы приема и потребления, чтобы воспользоваться преимуществами ECE и связанных сущностей.

Разбив поток данных на отдельные потоки для приема и потребления, вы можете воспользоваться преимуществами Интегрированной платформы анализа и управления данными и Связанных сущностей. Вы можете узнать больше об этом шаблоне и других в документации по лучшим практикам.

Убедитесь, что клиенты используют потоки данных всякий раз, когда это возможно

Представьте, что у вас есть множество потоков данных, которые служат общим целям, таким как соответствующие измерения, такие как клиенты, таблицы данных, продукты и географические регионы. Потоки данных уже доступны на ленте для Power BI. Идеально, если вы хотите, чтобы клиенты в первую очередь использовали созданные вами потоки данных.

Решение. Использование подтверждения для сертификации и повышения уровня потоков данных

Дополнительные сведения о том, как работает подтверждение, см. в статье "Одобрение" — продвижение и сертификация содержимого Power BI.

Программирование и автоматизация в потоках данных Power BI

Представьте, что у вас есть требования бизнеса для автоматизации импорта, экспорта или обновления данных, а также для лучшей оркестрации и действий вне Power BI. Вам доступны несколько вариантов для этого, как описано в следующей таблице.

Дополнительные сведения об обновлении см. в разделе "Общие сведения о обновлении потоков данных и оптимизации".

Убедитесь, что вы защищаете ресурсы данных ниже

Метки чувствительности можно использовать для применения классификации данных и любых правил, которые вы настроили для элементов, подключающихся к потокам данных. Дополнительные сведения о метках конфиденциальности см. в разделе меток конфиденциальности в Power BI. Чтобы ознакомиться с наследованием, см. раздел «Наследование меток конфиденциальности в Power BI».

Поддержка нескольких регионов

Многие клиенты сегодня должны соответствовать требованиям к независимости данных и месту проживания. Вы можете выполнить настройку вручную в рабочей области Dataflows для использования в нескольких географических зонах.

Потоки данных поддерживают использование нескольких регионов при использовании функции создания собственной учетной записи хранения. Эта функция описана в разделе "Настройка хранилища потоков данных для использования Azure Data Lake 2-го поколения". Рабочая область должна быть пустой, чтобы использовать эту функцию. С помощью этой конкретной конфигурации можно хранить данные потока данных в определенных географических регионах.

Убедитесь, что вы защищаете активы данных за виртуальной сетью.

Многие клиенты сегодня должны защитить ресурсы данных за частной конечной точкой. Для этого используйте виртуальные сети и шлюз для поддержания соответствия требованиям. В следующей таблице описывается текущая поддержка виртуальной сети и объясняется, как использовать потоки данных для обеспечения соответствия и защиты ресурсов данных.

Связанный контент

Дополнительные сведения о потоках данных и Power BI см. в следующих статьях.

• Введение в потоки данных и самостоятельную подготовку данных
• Создание потока данных
• Настройка и использование потока данных
• Функции потоков данных уровня "Премиум"
• Планирование реализации Power BI — интеграция с другими службами
• Рекомендации и ограничения, касающиеся потоков данных
• Рекомендации по потокам данных