Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Бессерверные конвейеры выполняются на управляемых Azure Databricks вычислительных ресурсах, удалив большую часть конфигурации инфраструктуры.
Databricks рекомендует разрабатывать новые конвейеры с использованием бессерверной инфраструктуры. Для некоторых рабочих нагрузок может потребоваться настройка классических вычислений или работа с устаревшим хранилищем метаданных Hive. См. статью "Настройка классических вычислений для конвейеров и использование конвейеров Lakeflow" с устаревшим хранилищем метаданных Hive.
Замечание
- Бессерверные конвейеры всегда используют каталог Unity. См. раздел "Использование каталога Unity с конвейерами".
- Ограничения бессерверных вычислений см. в Ограничения бессерверных вычислений. Описанные ограничения триггера структурированной потоковой передачи не применяются к режимам конвейера. Бессерверные конвейеры поддерживают режимы запуска по событию, непрерывные режимы и режимы реального времени. См. раздел "Триггерный и непрерывный режимы конвейера".
- Невозможно вручную добавить параметры вычислений
clustersв объект в конфигурацию JSON для бессерверного конвейера. Попытка сделать это приведет к ошибке.
- Если вам нужно использовать подключение Приватный канал Azure с вашими бессерверными конвейерами Lakeflow, обратитесь к вашему представителю Databricks.
Требования
- В рабочей области должен быть включен каталог Unity для использования бессерверных конвейеров.
Рекомендуемая конфигурация бессерверных конвейеров
Это важно
Разрешение на создание кластера не требуется для настройки бессерверных конвейеров. По умолчанию все пользователи рабочей области могут использовать бессерверные конвейеры.
Бессерверные конвейеры удаляют большинство параметров конфигурации, так как Azure Databricks управляет всей инфраструктурой. При создании нового конвейера по умолчанию используется бессерверный. Сведения о настройке бессерверного конвейера см. в разделе "Настройка конвейеров".
Вы также можете преобразовать существующие конвейеры, настроенные в каталоге Unity, в бессерверные. См. раздел "Преобразование существующего конвейера в бессерверный".
Другие рекомендации по настройке
Следующие параметры конфигурации также доступны для бессерверных конвейеров:
- При запуске конвейеров в продакшене можно выбрать непрерывный режим конвейера. См. раздел "Триггерный и непрерывный режимы конвейера".
- Добавьте уведомления для электронных писем на основе условий успешного выполнения или сбоя. См. добавьте уведомления по электронной почте для событий конвейера.
- Используйте поле конфигурации, чтобы задать пары "ключ-значение" для конвейера. Эти конфигурации служат двумя целями:
- Задайте произвольные параметры, на которые можно ссылаться в исходном коде. См. раздел "Использование параметров с конвейерами".
- Настройте параметры конвейера и конфигурации Spark. См. справочник по свойствам конвейера.
- Используйте канал предварительной версии для тестирования конвейера в отношении ожидающих изменений среды выполнения и пробной версии новых функций.
- Объявите внешние Python зависимости с помощью параметров среды конвейера. Перезапуск процесса
dbutils.library.restartPython()Python вручную не поддерживается, поэтому невозможно установить или перезагрузить зависимости во время выполнения. См. Управление зависимостями Python для конвейеров.
Политика бессерверного использования
Это важно
Эта функция доступна в общедоступной предварительной версии.
Политики бессерверного использования позволяют организации применять пользовательские теги к бессерверному использованию для детализации выставления счетов. После выбора флажка "Бессерверный " откроется параметр политики использования , где можно выбрать политику, которую вы хотите применить к конвейеру. Теги наследуются от политики бессерверного использования и могут изменяться только администраторами рабочей области.
Замечание
После того как вам назначат политику использования для бессерверных решений, ваши существующие конвейеры не будут автоматически помечены этой политикой. Чтобы привязать политику к существующим конвейерам, вы должны обновить их вручную.
Дополнительные сведения о политиках бессерверного использования см. в разделе "Использование атрибутов" с бессерверными политиками использования.
Выбор режима производительности
Для триггерных конвейеров можно выбрать бессерверный режим производительности вычислений с помощью оптимизированного для производительности параметра в планировщике конвейера. Если этот параметр отключен, конвейер использует стандартный режим производительности. Стандартный режим производительности предназначен для снижения затрат на рабочие нагрузки, в которых допустима небольшая задержка запуска. Бессерверные рабочие нагрузки, использующие стандартный режим производительности, обычно начинаются в течение четырех–шести минут после активации в зависимости от доступности вычислений и оптимизированного планирования.
При включении оптимизации производительности конвейер оптимизирован для производительности, что приводит к более быстрому запуску и выполнению рабочих нагрузок с учетом времени.
Оба режима используют один и тот же SKU, но стандартный режим производительности потребляет меньше DBU, что отражает более низкое использование вычислительных мощностей.
Замечание
Чтобы использовать стандартный режим производительности в непрерывных конвейерах, обратитесь к группе учетных записей Databricks.
Функции бессерверного конвейера
Помимо упрощения конфигурации бессерверные конвейеры имеют следующие функции:
- добавочное обновление для материализованных представлений: обновления для материализованных представлений обновляются постепенно, когда это возможно. Инкрементное обновление имеет те же результаты, что и полный пересчёт. Обновление использует полную перезагрузку, если невозможно поэтапное вычисление результатов. См. инкрементальное обновление материализованных представлений.
- Конвейерная обработка потоков: для улучшения использования, пропускной способности и снижения задержки при обработке нагрузок потоковой передачи данных, таких как прием данных, микропакеты конвейеризуются. Другими словами, вместо последовательного запуска микробаток, таких как стандартная структурированная потоковая передача Spark, бессерверные конвейеры Lakeflow одновременно выполняют микробаты, повышая использование вычислительных ресурсов. Обработка потоков включена по умолчанию в бессерверных конвейерах.
- Вертикальное автомасштабирование: бессерверные конвейеры Lakeflow дополняют горизонтальное автомасштабирование, обеспечиваемое улучшенным автомасштабированием Databricks, автоматически выбирая наиболее экономичные типы экземпляров, на которых конвейер может выполняться без сбоев из-за ошибок нехватки памяти. См. раздел "Что такое автомасштабирование по вертикали"?
Преобразование существующего конвейера в бессерверный
Существующие конвейеры, настроенные с помощью каталога Unity, можно преобразовать в бессерверные конвейеры. Выполните следующие действия.
- На боковой панели рабочей области Azure Databricks щелкните
Jobs & Конвейеры . - Щелкните имя конвейера.
- Нажмите кнопку "Параметры".
- В правой боковой панели в разделе "Вычисления" щелкните
- Установите флажок рядом с бессерверным.
- Нажмите кнопку Сохранить.
Это важно
При включении режима без сервера все настройки вычислений, которые были сконфигурированы для конвейера, удаляются. При переключении конвейера обратно на несерверные обновления необходимо перенастроить требуемые параметры вычислений в конфигурацию конвейера.
Определение использования DBU для бессерверного конвейера
Вы можете найти сведения о потреблении DBU бессерверными конвейерами Lakeflow, выполнив запрос к таблице тарифицируемого использования, которая является частью системных таблиц Azure Databricks. См. раздел "Что такое потребление DBU бессерверного конвейера?".