Общие сведения о потоках данных 2-го поколения
Прежде чем начать преобразование данных, он помогает понять, какие потоки данных 2-го поколения являются, как они работают, и когда они являются правильным инструментом для задания. Потоки данных 2-го поколения предоставляют низкокодовый интерфейс для создания масштабируемых процессов преобразования данных, выполняемых в облаке с помощью Power Query.
Что такое потоки данных 2-го поколения?
Потоки данных 2-го поколения — это облачные средства ETL (извлечение, преобразование, загрузка), использующие Power Query для подключения к источникам данных, применения преобразований и загрузки результатов в назначение. С помощью Power Query Online создавайте логику преобразования для Dataflows Gen2 визуально. Power Query редактор — это тот же интерфейс, который доступен в Excel, Power BI Desktop и других Microsoft продуктах. Каждое применяемое преобразование записывается как примененный шаг, создавая проверяемый и повторяемый рецепт подготовки данных.
Потоки данных выполняются в Microsoft Fabric с помощью управляемых вычислительных ресурсов. Вам не нужно создавать инфраструктуру, настраивать шлюзы для облачных источников или управлять средами выполнения. При публикации потока данных Fabric обрабатывает вычислительные ресурсы, планирование и мониторинг.
Замечание
После первой ссылки этот модуль использует «dataflows» как сокращение для Dataflows Gen2. Более ранние версии обозначаются как "Gen1" или "потоки данных Power BI".
Возможности потоков данных 2-го поколения
Потоки данных 2-го поколения в Fabric предоставляют несколько возможностей, поддерживающих подготовку корпоративных данных:
- Подключитесь к сотням источников данных. Извлекайте данные из облачных и локальных баз данных, файлов, веб-служб, SaaS приложений и элементов Fabric, таких как озера данных (lakehouses) и хранилища.
- Примените 300+ преобразования. Фильтрование, сортировка, слияние, агрегирование, создание сводных таблиц, перестройка данных с помощью интерфейса Power Query. Вы также можете писать пользовательские выражения языка M для расширенной логики.
- Загрузка в несколько пунктов назначения. Отправьте преобразованные данные в хранилища данных Fabric, склады данных, базы данных SQL, База данных SQL Azure, Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения), Azure Data Explorer, Snowflake и другие поддерживаемые пункты назначения.
- Автосохранение и фоновая публикация. Ваша работа автоматически сохраняется при переходе. При публикации проверка выполняется в фоновом режиме с параллельными проверками запросов для ускорения публикации.
- Планирование и автоматизация. Запустите потоки данных вручную, по расписанию обновления с поддержкой параметров или в составе конвейера данных в рамках оркестрации с другими задачами. Оповещения электронной почты уведомляют вас о сбое запланированных обновлений.
- Помощь с поддержкой ИИ. Используйте запросы естественного языка для создания преобразований, объяснения шагов и понимания запроса с помощью Copilot для потока данных 2-го поколения.
- Переносимость среды. Используйте библиотеки переменных Fabric и относительные ссылки для поддержки потоков данных в средах с меньшей необходимостью ручных изменений для управления жизненным циклом.
Назначения выходных данных
При настройке потока данных вы выбираете место загрузки преобразованных данных. Поток данных применяет преобразования во время каждого обновления и записывает результаты в выбранное место назначения. К основным назначениям относятся:
| Место назначения | Description |
|---|---|
| Озёрный Дом | Загрузка данных в виде разностных таблиц или файлов (CSV, Parquet, Excel (предварительная версия)) |
| Склад | Загрузка данных в таблицы хранилища с поддержкой схемы |
| Azure Data Lake Storage 2-го поколения | Запись файлов непосредственно в хранилище ADLS 2-го поколения |
| База данных SQL Azure | Загрузка данных во внешние базы данных SQL |
| База данных SQL Fabric | Загрузка данных в таблицы базы данных SQL Fabric |
| SharePoint Файлы | Запись текста с разделителями или файлов Excel в SharePoint |
| Azure Data Explorer (Kusto) | Загрузка данных в базы данных Kusto и базы данных KQL |
| Snowflake | Загрузка данных в базы данных Snowflake |
При настройке назначения вы также выбираете метод обновления, который определяет, как данные загружаются во время каждого обновления:
- Замена: удаляет и повторно создает целевой объект при каждом обновлении, чтобы предоставить полную копию преобразованных данных
- Добавление: добавляет новые строки в существующее место назначения без удаления предыдущих данных для добавочных загрузок, в которых должны сохраняться исторические данные.
- Добавочное обновление: обновляет только новые или измененные данные с помощью столбца DateTime, разделяя данные на настраиваемые контейнеры диапазона времени. Поддерживаемые назначения: Fabric Lakehouse, Fabric Warehouse и База данных SQL Azure. Этот метод значительно сокращает время обновления и потребление ресурсов для больших или часто обновляемых наборов данных.
Замечание
Назначения с поддержкой схемы (озера данных, склады данных и базы данных SQL) поддерживают запись в определенные схемы, что позволяет лучше контролировать организацию таблиц и согласование выходных данных с корпоративными стандартами именования. Azure Data Explorer и базы данных KQL поддерживают только метод обновления с добавлением.
Подсказка
Добавление назначения данных является необязательным. Если вы не настроите его, поток данных все равно выполняется и обрабатывает преобразования. Затем можно использовать поток данных в качестве источника данных в конвейере или подключиться к нему из Power BI.
Сравнение типов потоков данных
Microsoft предлагает несколько типов потоков данных на своих платформах. Понимание различий помогает выбрать правильный вариант:
| Type | Платформа | лучше всего подходит для |
|---|---|---|
| Потоки данных 2-го поколения | Microsoft Fabric | Результаты работы Lakehouse и хранилища данных, оптимальная производительность, поддержка Copilot |
| Потоки данных 1-го поколения | Сервис Power BI | Устаревшие Power BI потоки данных, только внутреннее хранилище |
| Потоки данных Power Platform | Power Apps, Power Automate | Подготовка данных бизнес-приложений |
Если вы запускаете новый проект в Fabric, используйте потоки данных 2-го поколения для оптимальной производительности и набора функций.
Когда следует использовать потоки данных
Потоки данных являются надежным выбором при применении любого из следующих условий:
- Предпочтения с низким кодом. Ваша команда уверенно работает с Power Query, но не пишет код на Spark или T-SQL.
- Знакомые шаблоны. Участники команды уже используют Power Query в Excel или Power BI Desktop и могут напрямую применять эти навыки.
- Простые и умеренные преобразования. Работа включает фильтрацию, объединение, изменение формы и очистку, а не тяжелую обработку вычислений.
- Повторно используемая логика. Вы хотите определить логику преобразования один раз и применить ее между несколькими назначениями или потребителями.
- Несколько пунктов назначения. Вам нужны те же преобразованные данные, загруженные как в лейкхаус, так и в хранилище.
Когда следует рассмотреть другие подходы
Потоки данных не подходят для каждого сценария. Рассмотрите варианты, когда:
- Для сложных преобразований требуется код. Если логика включает расширенные алгоритмы, итеративную обработку или крупномасштабные соединения, записные книжки Apache Spark обеспечивают большую гибкость и производительность.
- Крупномасштабная обработка данных. Для наборов данных, требующих распределенных вычислений в кластере, записные книжки с Spark более подходящи.
- Требуется полный T-SQL. Если преобразования используют хранимые процедуры, сложные соединения или операции DML, T-SQL в хранилище данных или SQL-аналитическом endpoint является лучшим выбором.
Решение часто сводится к набору навыков вашей команды и сложности работы преобразования. Потоки данных охватывают распространенные 80% потребностей преобразования, а блокноты и T-SQL обрабатывают более сложные 20%.
Как потоки данных поддерживают интеллектуальную платформу данных
Таблицы, создаваемые через потоки данных, становятся данными, на которые полагаются функции ИИ в Fabric. Например, когда пользователь просит Copilot в Power BI суммаризировать тенденции продаж Copilot создает запрос к базовым таблицам. Если эти таблицы имеют четкие имена столбцов и правильные типы данных, запрос возвращает точные результаты. Если данные ненадежны или неоднозначны, ответ ненадежн.
Тот же принцип применяется к агентам данных Fabric. Агент данных, который отвечает на вопросы естественного языка об озере-хранилище, может быть настолько точным, насколько и данные, которые он запрашивает. Потоки данных создают повторяемый процесс, чтобы гарантировать, что данные являются чистыми, правильно типизированными и последовательно структурированными до приема данных ниже по течению для ИИ.