Ortam değişkenlerini başlatma betikleriyle ayarlama ve kullanma

Init betiklerinin kümede bulunan ortam değişkenlerine erişimi vardır.

Note

Databricks Runtime 19 ve üzeri sürümlerin standart erişim modunda , başlatma betikleri için yalnızca önceden tanımlanmış bir ortam değişkenleri kümesi kullanılabilir. Kümede ayarladığınız diğer değişkenler, UDF'ler de dahil olmak üzere kullanıcı kodunuz tarafından kullanılabilir durumda kalır, ancak başlatma betikleri tarafından kullanılamaz. Bkz . Ortam değişkeni sınırlamaları.

Varsayılan ortam değişkenleri

Azure Databricks, başlatma betiği mantığında yararlı olabilecek birçok varsayılan değişken ayarlar. Küme kapsamlı ve genel başlatma betikleri aşağıdaki ortam değişkenlerini destekler:

  • DB_CLUSTER_ID: betiğin çalıştığı kümenin kimliği. Bkz Clusters API.
  • DB_CONTAINER_IP: Spark'ın çalıştığı kapsayıcının özel IP adresi. Init betiği bu kapsayıcı içinde çalıştırılır. Bkz Clusters API.
  • DB_IS_DRIVER: betiğin bir sürücü düğümünde çalışıp çalışmadığı.
  • DB_DRIVER_IP: sürücü düğümünün IP adresi.
  • DB_INSTANCE_TYPE: konak VM'sinin örnek türü.
  • DB_CLUSTER_NAME: betiğin yürütülmekte olduğu kümenin adı.
  • DB_IS_JOB_CLUSTER: kümenin bir işi çalıştırmak için oluşturulup oluşturulmadığı. Bkz İşler için hesaplama yapılandırma.

Önceden tanımlanmış bu ortam değişkenlerini geçersiz kılamazsınız.

Özel ortam değişkenlerini ayarlama

İşlem kaynağında çalışan init betiklerinden erişebileceğiniz özel ortam değişkenleri Spark yapılandırmasında ayarlanabilir. Bkz . Ortam değişkenleri.

Ortam değişkenlerini küme oluşturma API'sindeki spark_env_vars veya Kümeyi güncelleştir API'sindekialanı kullanarak da ayarlayabilirsiniz.

Ortam değişkenlerini kullanma

Aşağıdaki örnek, bir betiğin bir bölümünü yalnızca bir sürücü düğümünde çalıştırmak için varsayılan bir ortam değişkeni kullanır:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Init betiklerindeki sırlar

Bir gizliye başvururken herhangi bir geçerli değişken adını kullanabilirsiniz. Ortam değişkenlerinde başvuruda bulunan gizli dizilere erişim, kümeyi yapılandıran kullanıcının izinleri tarafından belirlenir. Ortam değişkenlerinde depolanan gizli bilgilere kümenin tüm kullanıcıları erişebilir ancak bu bilgiler düz metin olarak görüntülenmez.

Bkz. Spark yapılandırma özelliğinde veya ortam değişkeninde gizli dizi kullanma.

  • Last updated on