Примечания к выпуску конвейеров Lakeflow и процесс обновления версии

В этой статье описывается процесс выпуска конвейеров Lakeflow, объясняется, как управляется среда выполнения, и приводятся ссылки на примечания к выпуску для каждой версии.

Текущие версии канала Databricks Runtime

Текущие версии среды выполнения Databricks для каждого канала:

Список пакетов, установленных в каждой среде выполнения ( Python, R и Java библиотеки) см. в соответствующих заметках о выпуске Databricks Runtime, связанных выше.

Примечания к выпуску конвейеров Lakeflow

Примечания к выпуску сгруппированы по месяцам. Поскольку конвейеры не имеют версий, изменения в рабочей области и среде выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Ранее примечания к выпуску были сгруппированы по году и неделе года.

Старые заметки о выпуске

Каналы среды выполнения для конвейеров Lakeflow

Кластеры конвейеров используют среды выполнения на основе версий и совместимости в примечаниях к выпуску Databricks Runtime. Azure Databricks автоматически обновляет среды выполнения конвейера, чтобы обеспечить поддержку усовершенствований и обновлений платформы. Поле channel в настройках конвейера можно использовать для управления версией среды выполнения, в которой выполняется ваш конвейер. Поддерживаемые значения:

  • current, чтобы использовать текущую версию среды выполнения.
  • preview для тестирования конвейера с грядущими изменениями в версии среды выполнения.

Ваши конвейеры по умолчанию выполняются с помощью версии среды выполнения current. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров с помощью следующей версии среды выполнения см. в статье Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Important

Функции, помеченные как общедоступная или общедоступная предварительная версия, доступны в канале current.

Дополнительные сведения о каналах конвейера см. в channel поле параметров конвейера.

Сведения об управлении обновлениями для каждого выпуска см. в статье "Как работает обновление конвейера Lakeflow?".

Как найти версию среды выполнения Databricks для обновления конвейера?

Вы можете запросить журнал событий конвейера, чтобы найти версию Databricks Runtime для определённого обновления конвейера. См. сведения о среде выполнения.

Как работает обновление конвейера Lakeflow?

Конвейеры Lakeflow являются безверсийными, что означает, что Azure Databricks автоматически обновляет среду выполнения для поддержки усовершенствований и обновлений платформы. Databricks рекомендует ограничить внешние зависимости.

Databricks заблаговременно принимает меры, чтобы автоматические обновления не приводили к ошибкам или сбоям в производственных пайплайнах. См. процесс обновления конвейеров Lakeflow.

Особенно для пользователей, которые развертывают конвейеры с внешними зависимостями, Databricks рекомендует заранее тестировать конвейеры с preview каналами. См. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Процесс обновления конвейеров Lakeflow

Azure Databricks управляет средой выполнения Databricks, используемой вычислительными ресурсами конвейера. Автоматически обновляет среду выполнения в рабочих областях Azure Databricks и отслеживает работоспособность конвейеров данных после обновления.

Если Azure Databricks обнаруживает, что конвейер не может запуститься из-за обновления, версия среды выполнения для конвейера возвращается к предыдущей версии, которая, как известно, стабильна, и следующие шаги активируются автоматически:

  • Версия среды выполнения конвейера закреплена на предыдущей проверенной рабочей версии.
  • Поддержка Databricks уведомляется о проблеме.
    • Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
    • Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
  • Когда проблема устранена, Azure Databricks снова инициирует обновление.

Important

Azure Databricks откатывает только те конвейеры, которые выполняются в рабочем режиме и у которых канал установлен в значение current.

Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения

Чтобы убедиться, что изменения в следующей версии среды выполнения не влияют на конвейеры, используйте функцию каналов конвейера:

  1. Создайте промежуточный конвейер и задайте для канала значение preview.
  2. В пользовательском интерфейсе конвейера создайте расписание для еженедельного запуска конвейера и включите оповещения для получения уведомления по электронной почте о сбоях конвейера. Databricks советует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера .
  3. Если вы получаете уведомление о сбое и не можете устранить его, откройте запрос в службу поддержки с Databricks.

Note

Если вы изменяете конвейер во время устранения сбоев предварительной версии канала, проверьте эти изменения на канале current перед развертыванием в производственной среде на current. Изменение, которое работает на preview, может вести себя по-другому на current.

Зависимости конвейера

Конвейеры поддерживают внешние зависимости; Например, можно установить любой пакет Python с помощью %pip install команды. Они также поддерживают использование глобальных и кластеризованных скриптов инициализации. Однако эти внешние зависимости, особенно скрипты инициализации, повышают риск проблем с обновлениями среды выполнения. Чтобы устранить эти риски, свести к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем; см. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения. Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.

  • Last updated on