Informacje o wydaniu potoków Lakeflow i proces aktualizacji wersji

W tym artykule opisano proces wydawania potoków usługi Lakeflow, sposób zarządzania środowiskiem uruchomieniowym i zawiera linki do informacji o wersji dla każdej wersji.

Bieżące wersje kanałowe środowiska Databricks Runtime

Bieżące wersje środowiska Databricks Runtime dla każdego kanału to:

Listę pakietów zainstalowanych w każdej wersji runtime — bibliotek języków Python, R i Java — można znaleźć w odpowiednich informacjach o wydaniu Databricks Runtime, do których linki podano powyżej.

Informacje o wydaniu potoków Lakeflow

Informacje o wydaniu są uporządkowane miesiącami. Ponieważ potoki nie mają wersji, zmiany w obszarze roboczym i środowisku uruchomieniowym są wprowadzane automatycznie. Poniższe informacje o wersji zawierają omówienie zmian i poprawek błędów w każdej wersji:

Wcześniej informacje o wydaniu były uporządkowane według roku i numeru tygodnia.

Starsze notatki o wydaniu

Kanały środowiska uruchomieniowego potoków Lakeflow

Klastry potoków używają środowisk uruchomieniowych opartych na informacjach o wersjach i zgodności Databricks Runtime. Azure Databricks automatycznie aktualizuje środowiska uruchomieniowe potoków, aby obsługiwać ulepszenia i aktualizacje platformy. Za pomocą pola channel w ustawieniach potoku można określić wersję środowiska uruchomieniowego używaną do uruchamiania potoku. Obsługiwane wartości to:

  • current, aby użyć bieżącej wersji środowiska uruchomieniowego.
  • preview przetestować przepływ z przyszłymi zmianami w wersji uruchomieniowej środowiska.

Domyślnie twoje potoki są uruchamiane przy użyciu wersji środowiska uruchomieniowego current. Databricks zaleca używanie run-time'u current dla obciążeń produkcyjnych. Aby dowiedzieć się, jak używać preview ustawienia do testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego, zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego.

Important

Funkcje oznaczone jako ogólnie dostępne lub publiczna wersja zapoznawcza są dostępne w kanale current.

Aby uzyskać więcej informacji na temat kanałów potoku, zobacz pole channel w ustawieniach potoku.

Aby dowiedzieć się, jak zarządzane są aktualizacje w przypadku każdej wersji, zobacz Jak działają aktualizacje potoków Lakeflow?.

Jak znaleźć wersję środowiska Databricks Runtime dla aktualizacji pipelinów?

Możesz przeszukać dziennik zdarzeń potoku, aby znaleźć wersję Databricks Runtime dla określonej aktualizacji potoku. Zobacz informacje o środowisku uruchomieniowym .

Jak działają aktualizacje potoku Lakeflow?

Potoki Lakeflow są bez wersji, co oznacza, że Azure Databricks automatycznie aktualizuje środowisko uruchomieniowe, aby obsługiwać usprawnienia i aktualizacje platformy. Usługa Databricks zaleca ograniczenie zależności zewnętrznych.

Databricks proaktywnie działa, aby zapobiegać temu, by automatyczne aktualizacje wprowadzały błędy lub problemy do potoków produkcyjnych. Zobacz Proces uaktualniania potoków usługi Lakeflow.

Databricks zaleca szczególnie użytkownikom, którzy wdrażają potoki z zależnościami zewnętrznymi, wcześniejsze testowanie potoków przy użyciu kanałów preview. Zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego.

Proces aktualizacji potoków Lakeflow

Azure Databricks zarządza środowiskiem Databricks Runtime wykorzystywanym przez zasoby obliczeniowe potoku. Automatycznie aktualizuje środowisko uruchomieniowe w obszarach roboczych usługi Azure Databricks i monitoruje stan potoków po aktualizacji.

Jeśli Azure Databricks wykryje, że potok nie może zostać uruchomiony z powodu uaktualnienia, wersja środowiska uruchomieniowego potoku zostanie przywrócona do poprzedniej wersji, która jest znana jako stabilna, a następujące kroki są wyzwalane automatycznie:

  • Środowisko uruchomieniowe potoku jest ustawione na poprzednią sprawdzoną wersję.
  • Obsługa usługi Databricks jest powiadamiana o problemie.
    • Jeśli problem jest związany z regresją w środowisku uruchomieniowym, usługa Databricks rozwiązuje problem.
    • Jeśli problem jest spowodowany przez bibliotekę niestandardową lub pakiet używany przez pipeline, Databricks skontaktuje się z Tobą, aby rozwiązać ten problem.
  • Po rozwiązaniu problemu Azure Databricks ponownie inicjuje uaktualnienie.

Important

Azure Databricks cofa tylko potoki działające w trybie produkcyjnym z kanałem ustawionym na current.

Automate testing of your pipelines with the next runtime version (Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego)

Aby upewnić się, że zmiany w następnej wersji środowiska uruchomieniowego nie wpłyną na pipeline’y, użyj funkcji kanałów pipeline’u:

  1. Utwórz potok przejściowy i ustaw kanał na wartość preview.
  2. W interfejsie potoku utwórz harmonogram uruchamiania potoku co tydzień i włącz alerty, aby otrzymywać powiadomienie e-mail o niepowodzeniu potoku. Databricks zaleca zaplanowanie cotygodniowego testowego działania potoków, zwłaszcza jeśli używasz niestandardowych zależności potoku .
  3. Jeśli otrzymasz powiadomienie o niepowodzeniu i nie możesz go rozwiązać, otwórz bilet pomocy technicznej w usłudze Databricks.

Note

Jeśli zmodyfikujesz potok podczas rozwiązywania błędów kanału w wersji zapoznawczej, zweryfikuj te zmiany względem kanału current przed wdrożeniem w środowisku produkcyjnym na systemie current. Zmiana, nad którą działa preview , może zachowywać się inaczej w systemie current.

zależności potoku

Potoki obsługują zależności zewnętrzne; na przykład można zainstalować dowolny pakiet języka Python za pomocą polecenia %pip install. Obsługują również korzystanie z skryptów inicjalizacyjnych o zasięgu globalnym i klastrowym. Jednak te zależności zewnętrzne, szczególnie skrypty inicjowania, zwiększają ryzyko problemów z uaktualnieniami środowiska uruchomieniowego. Aby ograniczyć te zagrożenia, zminimalizuj użycie skryptów inicjowania w potokach. Jeśli przetwarzanie wymaga skryptów inicjowania, zautomatyzuj testowanie potoków dla wczesnego wykrywania problemów; zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego. Jeśli używasz skryptów init, usługa Databricks zaleca zwiększenie częstotliwości testowania.