Databricks uygulaması için bağımlılıkları yönetme

Databricks uygulaması Python bağımlılıkları, Node.js bağımlılıkları veya her ikisini birden içerebilir. Uygulamayı dağıtırken Azure Databricks yüklenen dile özgü dosyalarda bağımlılıkları bildirirsiniz:

• ile yüklenen Python paketleri için bir requirements.txt dosya kullanın.pip Bkz. ile pipPython bağımlılıklarını tanımlama.
• ile yüklenen Python paketleri için bir pyproject.toml dosya kullanın.uv Bkz. ile uvPython bağımlılıklarını tanımlama.
• npm veya pnpm ile yüklenen Node.js paketleri için bir package.json dosyası kullanın. Bkz . Node.js bağımlılıkları tanımlama.

ile Python bağımlılıklarını tanımlama pip

Kullanan pip uygulamalar , önceden yüklenmiş bir dizi Python kitaplığıyla birlikte gelir. Ek Python kitaplıkları tanımlamak için bir requirements.txt dosya kullanın. Listelenen paketler önceden yüklenmiş paketlerle eşleşiyorsa, dosyanızdaki sürümler varsayılan değerleri geçersiz kılar.

Standart uygulamalardan dönüştürülen yatay olarak ölçeklendirilmiş uygulamalar (Beta), önceden yüklenmiş kitaplıkları geri çevirebilir ve bunun yerine temiz bir temel işletim sistemi görüntüsünde çalıştırılabilir. Bkz. Databricks uygulamaları için önceden yüklenmiş Python kitaplıklarını devre dışı bırakma.

Örneğin:

# Override default version of dash
dash==2.10.0

# Add additional libraries not pre-installed
requests==2.31.0
numpy==1.24.3

# Specify a compatible version range
scikit-learn>=1.2.0,<1.3.0

Önceden yüklenmiş Python kitaplıkları

piptabanlı uygulamalar aşağıdaki önceden yüklenmiş Python kitaplıklarını içerir. Farklı bir sürüme ihtiyacınız yoksa bunları requirements.txt öğesine eklemeniz gerekmez.

ile Python bağımlılıklarını tanımlama uv

Uygulamanız bağımlılık yönetimi için kullanıyorsa uv , yerine bir pyproject.toml dosyada requirements.txtPython bağımlılıklarını tanımlayın. uvtabanlı uygulamalar önceden yüklenmiş kitaplıklar içermez, bu nedenle içindeki tüm bağımlılıkları bildirmeniz pyproject.tomlgerekir. Ayrıca, Python 3.11 kullanan tabanlı uygulamalardan requires-python farklı olarakpip, alanını kullanarak herhangi bir Python sürümü belirtebilirsiniz.

Aynı durum, önceden yüklenmiş kitaplıkları geri çeviren yatay olarak ölçeklendirilmiş uygulamalar için de geçerlidir. Bkz. Databricks uygulamaları için önceden yüklenmiş Python kitaplıklarını devre dışı bırakma.

Dağıtım sırasında Databricks Apps, hangi dosyaların mevcut olduğunu temel alan bir yükleme stratejisi seçer:

• Varsa requirements.txt , uygulama bağımlılıkları yüklemek için kullanır pip ( aynı zamanda mevcut olup olmadığına pyproject.toml bakılmaksızın). requirements.txt her zaman önceliklidir.
• Eğer requirements.txt mevcut değilse ve hem pyproject.toml hem de uv.lock mevcutsa, uygulama bağımlılıkları kilit dosyasından yüklemek için uv kullanır.

Yükleyici uv kendi sanal ortamını oluşturur ve yönetir, bu nedenle dizin .venv oluşturmanız gerekmez.

Aşağıdaki örnekte Databricks uygulaması için minimum pyproject.toml değer gösterilmektedir:

[project]
name = "my-app"
requires-python = ">=3.11"
dependencies = [
    "dash==2.10.0",
    "requests==2.31.0",
]

uv'yi kullanmak için, uv.lock dosyasının yanına bir pyproject.toml dosyası eklemeniz gerekir. Yerel olarak çalıştırarak uv lock oluşturun ve uygulama dizininize ekleyin.

Node.js bağımlılıkları tanımlama

Node.js kitaplıkları tanımlamak için uygulamanızın köküne bir package.json dosya ekleyin. Azure Databricks hem hem npmde pnpm 'yi destekler ve eklediğiniz kilit dosyasına göre paket yöneticisini seçer:

• pnpm-lock.yaml varsa, uygulama pnpm'i kullanır. Bkz . kullanma pnpm.
• Aksi takdirde, uygulama kullanır npm.
• Hem pnpm-lock.yaml hem de package-lock.json mevcutsa, pnpm öncelikli olur.

Örneğin, Vite kullanan react uygulamasına yönelik bir package.json dosya aşağıdaki gibi görünebilir:

{
  "name": "react-fastapi-app",
  "version": "1.0.0",
  "private": true,
  "type": "module",
  "scripts": {
    "build": "npm run build:frontend",
    "build:frontend": "vite build frontend"
  },
  "dependencies": {
    "react": "^18.2.0",
    "react-dom": "^18.2.0",
    "typescript": "^5.0.0",
    "vite": "^5.0.0",
    "@vitejs/plugin-react": "^4.2.0",
    "@types/react": "^18.2.0",
    "@types/react-dom": "^18.2.0"
  }
}

Kullanın pnpm

pnpm ile derlemek için, package.json dosyanızın yanına bir pnpm-lock.yaml dosyası ekleyin. Yerel olarak çalıştırarak pnpm install oluşturun ve uygulama dizininize ekleyin. Azure Databricks, pnpm özelliğini Corepack aracılığıyla sunar.

Uygulamalar için pnpm aşağıdaki gereksinimleri not edin:

• Bağımlılıklar pnpm install --frozen-lockfile kullanılarak yüklenir, bu nedenle pnpm-lock.yamlpackage.json ile senkronize kalmalıdır. Aralarında bir uyuşmazlık olursa, kilit dosyası güncelleştirilmek yerine derleme başarısız olur. Bağımlılıkları değiştirdikten sonra kilit dosyasını pnpm install ile yeniden oluşturun.
• içinde start komutunu app.yamlbelirtmeniz gerekir. npm uygulamalarının aksine, pnpm uygulamaları varsayılan bir start betiğine geri dönmez. Bkz Databricks uygulama yürütmesini app.yaml ile yapılandırma.

pnpm çalışma alanı projeleri için (burada bir pnpm-workspace.yaml dosyası bulunur), bazı app.yaml komutları pnpm yinelemeli olarak çalışır. Örneğin, bir derleme veya başlangıç adımı çalıştırılabilir pnpm -r run build. Bu komutlar, iç içe komutların doğru şekilde çözümlenmesi için pnpm yerine corepack pnpm çağırmalıdır.

Sürüm çakışmalarını önleme

Sürüm çakışmalarını önlemek için şu yönergeleri izleyin:

• Tabanlı uygulamalar için, pip önceden yüklenmiş bir paketi geçersiz kılmak, belirttiğiniz sürüm önceden yüklenenden ciddi farklılıklar gösteriyorsa uyumluluk sorunlarına neden olabilir.
• Paket sürümü değişikliklerinin hatalara neden olmadığını doğrulamak için uygulamanızı her zaman test edin.
• requirements.txt içindeki açık sürümleri sabitlemek, dağıtımlar arasında uygulama davranışının tutarlılığını korumaya yardımcı olur.
• uv kullanırken, dağıtımlar arasında tamamen yeniden üretilebilir kurulumlar sağlamak için bir uv.lock dosyası ekleyin.

Bağımlılık yükleme ve yönetimi

Azure Databricks, requirements.txt, pyproject.toml ve package.json içinde tanımlanan kitaplıkları doğrudan adanan işleminizde çalışan kapsayıcıya yükler. Bu bağımlılıkları yönetmek ve düzeltme eki uygulamaktan siz sorumlusunuz.

Bağımlılık dosyalarınızda birden çok kaynaktan kitaplık belirtebilirsiniz:

• PyPI ve npm gibi genel depolardan indirilen kitaplıklar
• Azure Databricks gizli dizilerinde depolanan kimlik bilgilerini kullanarak kimlik doğrulaması sağlayan özel depolar
• Dizininizde /Volumes/ depolanan kitaplıklar (örneğin, /Volumes/<catalog>/<schema>/<volume>/<path>)

Özel depolardan yükleme

Paketleri özel bir depodan yüklemek için ortam değişkenlerini kimlik doğrulaması için yapılandırın. Örneğin, PIP_INDEX_URL özel deponuza işaret edecek şekilde ayarlayın.

env:
  - name: PIP_INDEX_URL
    valueFrom: my-pypi-secret

Çalışma alanı ağ yapılandırmanız özel depoya erişime izin vermelidir. Bkz . Databricks Uygulamaları için ağı yapılandırma.

Unity Kataloğu birimlerinden tekerlek dosyalarını yükleme

Unity Kataloğu birimlerinde depolanan tekerlek dosyalarından Python paketlerini yüklemek için:

1. Unity Kataloğu birimini uygulamanıza kaynak olarak ekleyin. Bkz Unity Kataloğu Birimi.
2. Doğrudan içinde requirements.txttam tekerlek dosyası yoluna başvurun:

/Volumes/<catalog>/<schema>/<volume>/my_package-1.0.0-py3-none-any.whl

Dış paket depolarına erişirken güvenliği artırmak için, genel depolara erişimi kısıtlamak ve özel ağ yapılandırmak için sunucusuz çıkış denetimlerini kullanın. Bkz . Databricks Uygulamaları için ağı yapılandırma.