Configuración de una canalización sin servidor

Las canalizaciones sin servidor se ejecutan en recursos informáticos administrados por Azure Databricks, lo que elimina gran parte de la configuración de la infraestructura.

Databricks recomienda desarrollar nuevas canalizaciones sin servidor. Es posible que algunas cargas de trabajo requieran configurar la computación clásica o trabajar con el metastore de Hive heredado. Consulte Configurar el cómputo clásico para canalizaciones y Usar canalizaciones de Lakeflow con metastore heredado de Hive.

Requisitos

• El área de trabajo debe tener el catálogo de Unity habilitado para usar canalizaciones sin servidor.

• El área de trabajo debe estar en una región habilitada para que no haya servidor.

Configuración recomendada para canalizaciones sin servidor

Las canalizaciones sin servidor quitan la mayoría de las opciones de configuración, ya que Azure Databricks administra toda la infraestructura. Al crear una nueva canalización, el valor predeterminado es usar sin servidor. Para obtener información sobre cómo configurar una canalización sin servidor, consulte Configuración de canalizaciones.

También puede convertir canalizaciones existentes configuradas con el catálogo de Unity para usar sin servidor. Consulte Convertir una canalización existente para usarla sin servidor.

Otras consideraciones de configuración

Las siguientes opciones de configuración también están disponibles para canalizaciones sin servidor:

• Puede optar por usar el modo de canalización continua al ejecutar canalizaciones en producción. Consulte Desencadenado frente al modo de canalización continua.
• Agregue Notificaciones para las actualizaciones de correo electrónico en función de las condiciones de éxito o error. Consulte Agregar notificaciones por correo electrónico para eventos de canalización.
• Use el campo Configuración para establecer pares clave-valor para la canalización. Estas configuraciones sirven para dos propósitos:
  • Establezca parámetros arbitrarios a los que puede hacer referencia en el código fuente. Consulte Uso de parámetros con canalizaciones.
  • Configure las opciones de canalización y las configuraciones de Spark. Consulte Referencia de propiedades de canalización.
• Utilice el canal Vista previa para poner a prueba su canalización frente a los cambios pendientes del entorno de ejecución y probar nuevas características.
• Declare las dependencias externas de Python en la configuración Ambiente de la canalización. No se admite el reinicio manual del proceso de Python (dbutils.library.restartPython()), por lo que no se pueden instalar ni volver a cargar dependencias en tiempo de ejecución. Consulte Administración de dependencias de Python para canalizaciones.

Directiva de uso sin servidor

Las directivas de uso sin servidor permiten a su organización aplicar etiquetas personalizadas en el uso sin servidor para la atribución de facturación pormenorizadas. Después de activar la casilla Sin servidor , aparece la configuración de directiva de uso , donde puede seleccionar la directiva que desea aplicar a la canalización. Las etiquetas se heredan de la directiva de uso sin servidor y solo los administradores del área de trabajo pueden editar las etiquetas.

Para obtener más información sobre las directivas de uso sin servidor, consulte Uso de atributos con directivas de uso sin servidor.

Seleccionar un modo de rendimiento

En el caso de las canalizaciones desencadenadas, puede seleccionar el modo de computación sin servidor mediante la configuración Optimización del rendimiento en el programador de canalizaciones. Cuando esta configuración está deshabilitada, la canalización usa el modo de rendimiento estándar. El modo de rendimiento estándar está diseñado para reducir los costos de las cargas de trabajo en las que se acepta una latencia de inicio ligeramente mayor. Las cargas de trabajo sin servidor que usan el modo de rendimiento estándar normalmente se inician en un plazo de cuatro a seis minutos después de desencadenarse, en función de la disponibilidad de proceso y la programación optimizada.

Cuando la optimización del rendimiento está habilitada, la canalización está optimizada para el rendimiento, lo que da lugar a un inicio y ejecución más rápidos para cargas de trabajo sensibles al tiempo.

Ambos modos usan la misma SKU, pero el modo de rendimiento estándar consume menos DBUs, lo que refleja un menor uso de cómputo.

Características de canalización sin servidor

Además de simplificar la configuración, las canalizaciones sin servidor tienen las siguientes características:

• Actualización incremental para vistas materializadas: las actualizaciones de las vistas materializadas se actualizan incrementalmente siempre que sea posible. La actualización incremental tiene los mismos resultados que la recomputación completa. La actualización usa una actualización completa si los resultados no se pueden calcular incrementalmente. Consulte Actualización incremental para obtener vistas materializadas.

• Canalización de flujo: para mejorar el uso, el rendimiento y la latencia de las cargas de trabajo de datos de streaming, como la ingesta de datos, las microbachas se canalizaciones. En otras palabras, en lugar de ejecutar microbatches secuencialmente como el streaming estructurado estándar de Spark, las canalizaciones de Lakeflow sin servidor ejecutan microbatches simultáneamente, lo que mejora el uso de recursos de proceso. La canalización de secuencias está habilitada de forma predeterminada en canalizaciones sin servidor.
• Escalado automático vertical: las canalizaciones de Lakeflow sin servidor agregan al escalado automático horizontal proporcionado por Databricks el escalado automático mejorado asignando automáticamente los tipos de instancia más rentables que pueden ejecutar la canalización sin errores debido a errores de memoria insuficiente. Vea ¿Qué es el escalado automático vertical?

Conversión de una canalización existente para usar sin servidor

Puede convertir las canalizaciones existentes configuradas con El catálogo de Unity en canalizaciones sin servidor. Lleve a cabo los pasos siguientes:

1. En la barra lateral del área de trabajo de Azure Databricks, haga clic en Jobs & Pipelines.
2. Haga clic en el nombre de la canalización.
3. Haga clic en Configuración.
4. En la barra lateral derecha, en Proceso, haga clic en
5. Active la casilla situada junto a Sin servidor.
6. Haz clic en Guardar.

Encontrar el consumo de DBU de un pipeline sin servidor

Puede encontrar el consumo de DBU de las canalizaciones sin servidor de Lakeflow mediante una consulta de la tabla de uso facturable, que forma parte de las tablas del sistema de Azure Databricks. Consulte ¿Qué es el consumo de DBU de una canalización sin servidor?.