Fabric Runtime 2.0 (Vorschau)

Von Bedeutung

Dieses Feature befindet sich in der Vorschauphase.

Fabric Runtime bietet eine nahtlose Integration in das Microsoft Fabric-Ökosystem und bietet eine robuste Umgebung für Data Engineering- und Data Science-Projekte, die von Apache Spark unterstützt werden.

In diesem Artikel wird fabric Runtime 2.0 Public Preview vorgestellt, die neueste Runtime, die für Big Data-Berechnungen in Microsoft Fabric entwickelt wurde. Es hebt die wichtigsten Features und Komponenten hervor, die diese Version zu einem erheblichen Fortschritt für skalierbare Analysen und erweiterte Workloads machen.

Fabric Runtime 2.0 enthält die folgenden Komponenten und Upgrades, die entwickelt wurden, um Ihre Datenverarbeitungsfunktionen zu verbessern:

  • Apache Spark 4.1
  • Betriebssystem: Azure Linux 3.0 (Mariner 3.0)
  • Java: 21
  • Skala: 2.13
  • Python: 3.13
  • Delta Lake: 4,2
  • R: 4.5.2

Von Bedeutung

Das Microsoft Fabric-Team rollt ein Update für Microsoft Fabric Runtime 2.0 aus. Im Rahmen dieses Updates führt das Python-Upgrade eine Breaking Change für Kunden ein, die Environment Artefakte mit Python und Wheel-Bibliotheken verwenden. Kunden sehen eine der beiden Fehlermeldungen bei Notebook- oder Spark Job Definition (SJD)-Ausführung:

  • Fehler: Warnung: 1 Einstellung (seit 2.13.0); für Details aktivieren :setting -deprecation oder :replay -deprecation Quelle: SparkCoreService.
  • "LibraryManagementError": "Ein Upgrade der Basisumgebung von Spark Python wurde entdeckt. Bitte veröffentlichen Sie die Umgebung erneut.|UserError"

Erforderliche Aktionen

Veröffentliche deine Umgebung (einschließlich der Bibliotheken) erneut. Dazu entfernen Sie alle Bibliotheken, veröffentlichen Sie die Umgebung, fügen Sie alle Bibliotheken erneut hinzu und veröffentlichen Sie erneut. Dieser Prozess stellt die Umgebung mit der aktualisierten Python-Laufzeit wieder her und löst das Problem.

Tipp

Fabric Runtime 2.0 enthält Unterstützung für das native Ausführungsmodul, das die Leistung ohne mehr Kosten erheblich verbessern kann. Sie können das systemeigene Ausführungsmodul auf Umgebungsebene aktivieren, sodass alle Aufträge und Notizbücher automatisch die erweiterten Leistungsfunktionen erben.

Aktivieren von Runtime 2.0

Sie können Runtime 2.0 entweder auf Arbeitsbereichsebene oder auf Der Umgebungselementebene aktivieren. Verwenden Sie die Arbeitsbereichseinstellung, um Runtime 2.0 als Standard für alle Spark-Workloads in Ihrem Arbeitsbereich anzuwenden. Erstellen Sie alternativ ein Umgebungsobjekt mit Runtime 2.0, das mit bestimmten Notizbüchern oder Spark-Auftragsdefinitionen verwendet werden soll, die die Arbeitsbereichstandards außer Kraft setzen.

Aktivieren von Runtime 2.0 in arbeitsbereichseinstellungen

So legen Sie Runtime 2.0 als Standard für den gesamten Arbeitsbereich fest:

  1. Navigieren Sie zur Seite "Arbeitsbereichseinstellungen" in Ihrem Fabric-Arbeitsbereich .

    Screenshot, der zeigt, wo die Laufzeitversion für Arbeitsbereichseinstellungen ausgewählt werden soll.

  2. Wählen Sie die Registerkarte "Datentechnik/Wissenschaft " und dann "Spark"-Einstellungen aus.

  3. Wählen Sie die Registerkarte Umgebung aus.

  4. Im Dropdown-Menü zur Laufzeitversion wählen Sie 2.0 Public Preview (Spark 4.1, Delta 4.2) und speichern Sie Ihre Änderungen.

  5. Runtime 2.0 wird als Standardlaufzeit für Ihren Arbeitsbereich festgelegt.

Aktivieren von Runtime 2.0 in einem Umgebungselement

So verwenden Sie Runtime 2.0 mit bestimmten Notizbüchern oder Spark-Auftragsdefinitionen:

  1. Erstellen Sie ein neues Umgebungselement , oder öffnen Sie ein vorhandenes Element.

  2. Im Runtime-Dropdown wählen Sie 2.0 Public Preview (Spark 4.1, Delta 4.2),speichern und veröffentlichen Sie Ihre Änderungen.

    Screenshot, der zeigt, wo die Laufzeitversion für das Umgebungselement ausgewählt werden soll.

  3. Als Nächstes können Sie dieses Element „Umgebung“ mit Ihrem Notebook oder mit Ihrer Spark-Auftragsdefinition verwenden.

Du kannst jetzt mit den neuesten Verbesserungen und Funktionen experimentieren, die in Fabric Runtime 2.0 eingeführt wurden (Spark 4.1 und Delta Lake 4.2).

Öffentliche Vorschau

Die öffentliche Vorschauphase Fabric Runtime 2.0 bietet Ihnen Zugang zu neuen Funktionen und APIs sowohl von Spark 4.1 als auch von Delta Lake 4.2. Mit der Vorschau können Sie die neuesten Spark- und Delta-basierten Verbesserungen sofort verwenden sowie eine reibungslose Bereitschaft und einen reibungslosen Übergang für erweiterte und verbesserte Änderungen wie die neueren Java-, Scala- und Python-Versionen sicherstellen.

Tipp

Um aktuelle Informationen, eine ausführliche Liste der Änderungen und spezifische Versionshinweise für Fabric-Runtimes zu erhalten, sollten Sie Spark-Runtimes – Versionen und Updates lesen und abonnieren.

Wichtigste Highlights

Verbesserungen der Leistungs- und Ausführungs-Engine

Fabric Runtime 2.0 enthält das systemeigene Ausführungsmodul, das erhebliche Leistungsverbesserungen gegenüber Open-Source-Spark bietet. Die Engine verwendet die vektorisierte Verarbeitung, um Spark-Abfragen in der Lakehouse-Infrastruktur zu beschleunigen, ohne dass Codeänderungen erforderlich sind.

Wichtige Leistungsfeatures in Runtime 2.0:

  • Bis zu sechs mal schneller: Benchmarks zeigen im Vergleich zu Open-Source-Spark auf TPC-DS Workloads bis zu sechs mal schnellere Leistung an.
  • Vektorisierte CSV-Analyse: Das systemeigene Ausführungsmodul enthält einen vektorisierten CSV-Parser, der die CSV-Erfassung und Abfrageworkloads beschleunigt. Vektorisierte JSON-Analyse und Spark Structured Streaming-Unterstützung sind für zukünftige Updates geplant.

Informationen zum Aktivieren des nativen Ausführungsmoduls finden Sie unter natives Ausführungsmodul für Fabric Data Engineering.

Apache Spark 4.1

Apache Spark 4.0 markierte einen bedeutenden Meilenstein als die erste Version der 4.x-Serie, die den kollektiven Aufwand der lebendigen Open-Source-Community verkörperte. Fabric Runtime 2.0 wird jetzt auf Apache Spark 4.1 ausgeführt, das auf dieser Grundlage mit zusätzlichen Verbesserungen basiert.

In dieser Version wird Spark SQL erheblich mit leistungsstarken neuen Features erweitert, die zur Steigerung der Ausdrucksfähigkeit und Vielseitigkeit für SQL-Workloads entwickelt wurden, z. B. unterstützung von VARIANT-Datentypen, SQL benutzerdefinierte Funktionen, Sitzungsvariablen, Pipesyntax und Zeichenfolgensortierung. PySpark zeigt kontinuierliche Bemühungen um sowohl die funktionale Vielseitigkeit als auch das gesamte Entwicklererlebnis, indem es eine native Plotting-API, eine neue Python-Datenquellen-API, Unterstützung für Python UDTFs sowie einheitliches Profiling für PySpark UDFs bietet, neben zahlreichen weiteren Verbesserungen. Strukturiertes Streaming entwickelt sich mit wichtigen Ergänzungen, die eine bessere Kontrolle und einfaches Debuggen bieten, insbesondere die Einführung der Willkürlichen Zustands-API v2 für eine flexiblere Zustandsverwaltung und die Zustandsdatenquelle zum einfacheren Debuggen.

Hier können Sie die vollständige Liste und detaillierte Änderungen überprüfen:

Hinweis

In Spark 4.x ist SparkR veraltet und kann in einer zukünftigen Version entfernt werden.

Delta Lake 4.2

Delta Lake 4.2 baut auf früheren Delta-Lake-Veröffentlichungen auf und setzt das Engagement fort, Delta Lake formatübergreifend, einfacher zu bedienen und leistungsfähiger zu machen. Es umfasst leistungsstarke neue Features, Leistungsoptimierungen und grundlegende Verbesserungen für die Zukunft offener Data Lakehouses.

Die vollständige Liste und detaillierte Änderungen, die mit Delta Lake 3.3, 4.0, 4.1 und 4.2 eingeführt wurden, finden Sie:

Datenlayout und -optimierung

Runtime 2.0 unterstützt Datenlayout- und Optimierungsfeatures für Delta-Tabellen:

  • Z-Sortierung: Organisieren Sie Daten in Delta-Tabellendateien nach angegebenen Spalten, um die Abfrageleistung für gefilterte Abfragen zu verbessern.
  • Liquid Clustering: Ein flexibler Clustering-Ansatz, der das Datenlayout automatisch ohne manuelle Wartung optimiert.
  • Paralleles Laden von Delta-Snapshots: Das native Ausführungsmodul lädt Delta-Tabellen-Snapshots parallel und reduziert dadurch die Startzeit von Abfragen bei großen Tabellen.

Von Bedeutung

Die spezifischen Funktionen von Delta Lake 4.2 sind experimentell und funktionieren nur auf Spark-Erlebnissen, wie Notebooks und Spark-Job-Definitionen. Wenn Sie dieselben Delta Lake-Tabellen über mehrere Microsoft Fabric-Workloads hinweg verwenden müssen, aktivieren Sie diese Features nicht. Um mehr darüber zu erfahren, welche Protokollversionen und -funktionen über alle Microsoft Fabric-Erfahrungen kompatibel sind, siehe Delta Lake Table Format Interoperability.

Rechenverwaltung in Runtime 2.0

Runtime 2.0 unterstützt die folgenden Rechnerverwaltungsfeatures:

  • Ressourcenprofile: Konfigurieren Sie vordefinierte Ressourcenzuordnungen für Spark-Sitzungen so, dass sie den Workloadanforderungen entsprechen und Kosten steuern.
  • Benutzerdefinierte Livepools (Vorschau):Erstellen Sie dedizierte, vorgewärmte Spark-Pools, die die Startzeit der Sitzung reduzieren. Benutzerdefinierte Livepools sind in der Vorschau für Runtime 2.0-Workloads verfügbar.

Einschränkungen und Hinweise

  • Delta Lake 4.x-spezifische Features sind experimentell und funktionieren nur für Spark-Umgebungen, wie Notizbücher und Spark-Auftragsdefinitionen. Wenn Sie die gleichen Delta Lake-Tabellen für mehrere Fabric-Workloads verwenden müssen, aktivieren Sie diese Features nicht. Weitere Informationen finden Sie unter Interoperabilität des Delta Lake-Tabellenformats.
  • Laufzeit 2.0 befindet sich in der öffentlichen Vorschau. Einige Features und APIs können sich vor der allgemeinen Verfügbarkeit ändern.
  • Die VS Code-Erweiterung für Fabric Spark unterstützt Runtime 2.0 für die Entwicklung von Notizbüchern und Spark-Auftragsdefinitionen.

Verwandte Inhalte

  • Last updated on