İşlem hatları için ortam sürümlerini yapılandırma

Ortam sürümü, Python dil sürümünü ve işlem hattınızın Python koduna sağlanan önceden yüklenmiş Python kitaplık kümesini sabitler. İşlem hattına eklediğiniz tüm dış bağımlılıklar bu tabanın üzerinde katmanlanır.

Ortam sürümleri, işlem hattınızın Python çalışma zamanını, işlem hattınızın üzerinde çalıştığı Databricks Runtime sürümünden ayırır. Ortam sürümü ayarlanırken Databricks Runtime yükseltmeleri Python dil sürümünüzü veya önceden yüklenmiş kitaplık sürümlerinizi değiştirmez. Python çalışma zamanı aynı ortam sürümünü kullanan sunucusuz İşler ve not defterleriyle de tutarlıdır. Lakeflow işlem hatlarının geçerli Databricks Runtime sürümünü bulmak için bkz. Lakeflow işlem hatları sürüm notları ve sürüm yükseltme işlemi.

Requirements

Ortam sürümleri aşağıdaki gereksinimlere sahiptir:

• İşlem hattı Unity Kataloğu'nu kullanmalıdır. Hive meta veri deposu işlem hatları desteklenmez.

Desteklenen ortam sürümleri

Lakeflow işlem hatları, hem sunucusuz hem de klasik işlemde 3 . ve 4 . ortam sürümlerini destekler. Python dil sürümü ve her sürümde kullanılabilen önceden yüklenmiş Python kitaplıklarının tam listesi için bkz. environment sürüm başvurusu.

İşlem hattında ortam sürümünü etkinleştirme

Ortam sürümünü işlem hattı düzenleyicisi kullanıcı arabirimi, İşlem Hatları REST API'si veya Bildirim temelli Otomasyon Paketleri aracılığıyla yapılandırabilirsiniz.

İşlem hattında ortam sürümünü etkinleştirmeden önce Spark Connect ile uyumluluğu denetlemeyi unutmayın.

Kullanıcı arabirimi aracılığıyla etkinleştirme

1. İşlem hattı düzenleyicisinde Ayarlar'a tıklayın.
2. İşlem Hattı Ortamı'nın altında Ortamı düzenleyin.
3. Açılan listeden bir ortam sürümü seçin.
4. İşlem hattı ayarlarını kaydedin.

İşlem Hattı Ortamı bölümüne eklenen dış bağımlılıklar, seçili ortam sürümüne dahil edilen kitaplıkların üzerine katmanlanır. Bkz. İşlem hatları için Python bağımlılıklarını yönetme.

API aracılığıyla etkinleştirme

İşlem Hatları REST API'si, işlem hattı oluşturma ve güncelleştirme ile ilgili bir environment blok kabul eder. Çalışma alanı için Kişisel Erişim Belirteci kimlik doğrulaması etkinleştirilmelidir.

Bir ortam sürümüyle işlem hattı oluşturmak için:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Mevcut bir işlem hattında ortam sürümünü ayarlamak için, environment ile aynı PUT /api/2.0/pipelines/<pipeline-id> bloğunu gönderin.

Bildirim temelli Otomasyon Paketleri aracılığıyla etkinleştirme

Bildirim temelli Otomasyon Paketlerini kullanarak bir işlem hattı oluşturduğunuzda, işlem hattının YAML tanımında bir ortam sürümü ayarlayabilirsiniz.

1. Databricks CLI'nizin v0.294.0 veya sonraki bir sürümde olduğundan emin olun. Aksi takdirde, yükleme kılavuzunu izleyerek yükseltin.
2. İşlem hattı paketi öğreticisini izleyerek bir paket oluşturun.
3. Paketinizdeki işlem hattı YAML dosyasını bulun; bu dosya genellikle <bundle-folder>/resources/<pipeline_name>_pipeline.yml konumundadır.
4. İşlem hattı YAML'sinde environment_version ve dependencies alanlarını ayarlayın:

resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

İşlem hattındaki ortam sürümünü denetleyin

Ortam sürümünün bir işlem hattında yapılandırılıp yapılandırılmadığını denetlemek için:

• Kullanıcı arabirimi: İşlem hattı ayarlarını açın ve İşlem Hattı Ortamı bölümünü denetleyin veya alanın JSON bölmesini environment.environment_version inceleyin.
• API: GET /api/2.0/pipelines/<pipeline-id> çağrısı yapın ve yanıtta environment.environment_version arayın.
• Olay günlüğü: create_update alanı için environment_version olayını inceleyin.

İşlem hattında ortam sürümünü devre dışı bırakma

Ortam sürümünü işlem hattı ayarlarındaki İşlem Hattı Ortamı bölümünden kaldırın veya API ya da paket tanımındaki environment_version bloğundan environment alanını kaldırın.

Ortam sürümü kaldırıldığında işlem hattı önceki Python çalışma zamanı yapılandırmasına döner.

Ek kaynaklar

• Ortam sürümü uyumluluğu — sınırlamalar, davranış değişiklikleri, uyumluluk taraması ve geçiş iş akışı.
• işlem hatları için Python bağımlılıklarını yönetme— dış Python bağımlılıklarını ortam sürümünün üzerine katmanlama.