Ingeniería de datos con Databricks

Databricks proporciona Lakeflow, una solución de ingeniería de datos de un extremo a otro que permite a los ingenieros de datos, desarrolladores de software, desarrolladores de SQL, analistas y científicos de datos ofrecer datos de alta calidad para análisis de bajada, inteligencia artificial y aplicaciones operativas. Lakeflow es una solución unificada para la ingesta, transformación y orquestación de los datos, e incluye Lakeflow Connect, canalizaciones de Lakeflow, Diseñador de Lakeflow y Trabajos de Lakeflow.

Lakeflow Connect

Lakeflow Connect simplifica la ingesta de datos con conectores a aplicaciones empresariales, bases de datos, almacenamiento en la nube, buses de mensajes y archivos locales. Consulte Lakeflow Connect.

Característica Descripción
Conectores administrados Los conectores administrados proporcionan una interfaz de usuario sencilla y un servicio de ingesta basado en configuración con una sobrecarga operativa mínima, sin necesidad de usar las API de canalización subyacentes y la infraestructura.
Conectores estándar Los conectores estándar proporcionan la capacidad de acceder a los datos de una gama aún más amplia de orígenes de datos dentro de sus canalizaciones u otras consultas.

Canalizaciones de Lakeflow

Las canalizaciones de Lakeflow reducen la complejidad de crear y gestionar canalizaciones eficientes de datos por lotes y en streaming. Basado en canalizaciones declarativas de Apache Spark™ (SDP), el marco declarativo para canalizaciones por lotes y de streaming en SQL y Python, las canalizaciones de Lakeflow se ejecutan en el entorno de ejecución de Databricks optimizado para rendimiento y permanecen interoperables con él. Una canalización organiza automáticamente la ejecución de flujos, receptores, tablas de streaming y vistas materializadas. Consulte Canalizaciones de Lakeflow.

Característica Descripción
Flujos Los flujos procesan datos en canalizaciones. La API de flujos usa la misma API dataFrame que Apache Spark y Structured Streaming. Un flujo puede escribir en tablas y receptores de streaming, como un tema de Kafka, mediante la semántica de streaming, o bien puede escribir en una vista materializada mediante la semántica de lotes.
Tablas de streaming Una tabla de streaming es una tabla Delta con compatibilidad adicional para el procesamiento de datos incremental o de streaming. Actúa como destino para uno o varios flujos en canalizaciones.
Vistas materializadas Una vista materializada es una vista con resultados almacenados en caché para un acceso más rápido. Una vista materializada actúa como destino para las canalizaciones.
Receptores Las canalizaciones admiten receptores de datos externos como puntos de destino. Estos receptores pueden incluir servicios de streaming de eventos, como Apache Kafka o Azure Event Hubs, tablas externas administradas por unity Catalog o receptores personalizados definidos en Python.

Diseñador de Lakeflow

Lakeflow Designer es una herramienta de preparación de datos visuales en Azure Databricks. Cree y explore flujos de trabajo de transformación mediante un lienzo de arrastrar y colocar o mensajes de lenguaje natural. Todos los flujos de trabajo del diseñador están respaldados por código listo para producción que se rige por el catálogo de Unity. Consulte Lakeflow Designer.

Característica Descripción
Preparación de datos visuales Cree flujos de trabajo de transformación de datos mediante un lienzo de arrastrar y colocar.
Ingerir datos Incorpore los datos accesibles a través de Azure Databricks a una preparación de datos visuales en lakeflow Designer.
Operadores integrados Use operadores integrados para filtrar, agregar, combinar y volver a dar forma a los datos.
Actualizaciones mediante lenguaje natural Genere o actualice las transformaciones mediante avisos de lenguaje natural en Genie Code.

Trabajos de Lakeflow

Los trabajos de Lakeflow proporcionan orquestación fiable y supervisión de producción para cualquier carga de trabajo de datos e inteligencia artificial. Un trabajo puede constar de una o varias tareas que ejecutan cuadernos, canalizaciones, conectores administrados, consultas SQL, aprendizaje automático e implementación e inferencia del modelo. Los trabajos también son compatibles con la lógica de flujo de control personalizada, como la bifurcación con instrucciones if / else y el bucle con instrucciones for each. Consulte Trabajos de Lakeflow.

Característica Descripción
Trabajos El principal recurso para la orquestación son los trabajos. Representan un proceso que desea realizar de forma programada.
Tareas Una unidad de trabajo específica dentro de un trabajo. Hay una variedad de tipos de tareas que proporcionan una variedad de opciones que se pueden realizar dentro de un trabajo.
Flujo de control en trabajos Las tareas de flujo de control permiten controlar si ejecutar otras tareas o el orden de las tareas que se van a ejecutar.

Databricks Runtime para Apache Spark

Databricks Runtime es un entorno de proceso confiable y optimizado para el rendimiento para ejecutar cargas de trabajo de Spark, incluido el procesamiento por lotes y el streaming. Databricks Runtime proporciona Photon, un motor de consulta vectorizado nativo de Databricks de alto rendimiento y varias optimizaciones de infraestructura, como el escalado automático. Puede ejecutar las cargas de trabajo de Spark y Structured Streaming en Databricks Runtime mediante la compilación de programas de Spark como cuadernos, JAR o wheels de Python. Consulte Databricks Runtime para Apache Spark.

Característica Descripción
Apache Spark en Databricks Spark se encuentra en el centro de la plataforma de inteligencia de datos de Databricks.
Structured Streaming Structured Streaming es el motor de procesamiento casi en tiempo real de Spark para los datos de streaming.

¿Qué ha ocurrido con Delta Live Tables (DLT)?

Si está familiarizado con Delta Live Tables (DLT), consulte ¿Qué ha ocurrido con Delta Live Tables (DLT)?.

Recursos adicionales

  • Last updated on