init 스크립트에서 참조할 수 있는 파일은 무엇인가요?

init 스크립트에서 다른 파일을 참조하는 지원은 참조된 파일이 저장되는 위치에 따라 달라집니다. 이 문서에서는 이 동작을 간략하게 설명하고 권장 사항을 제공합니다.

Databricks는 모든 초기화 스크립트를 클러스터 범위의 초기화 스크립트로 관리할 것을 권장합니다.

init 스크립트를 실행하는 데 사용되는 ID는 무엇인가요?

전용 액세스 모드(이전의 단일 사용자)에서는 할당된 보안 주체(사용자 또는 그룹)의 ID가 사용됩니다.

표준 액세스 모드(이전의 공유) 또는 격리되지 않은 공유 액세스 모드에서 init 스크립트는 클러스터 소유자의 ID를 사용합니다.

init 스크립트를 저장하기 위한 모든 위치가 모든 Databricks 런타임 버전 및 액세스 모드에서 지원되는 것은 아닙니다. init 스크립트를 설치할 수 있는 위치는 어디인지 참조하세요..

init 스크립트에서 Unity 카탈로그 볼륨의 파일을 참조할 수 있나요?

Unity 카탈로그 볼륨에 저장된 init 스크립트에서 Unity 카탈로그 볼륨에 저장된 라이브러리 및 init 스크립트를 참조할 수 있습니다.

표준 액세스 모드가 있는 클러스터의 경우 구성된 init 스크립트만 허용 목록에 추가해야 합니다. init 스크립트에서 참조되는 다른 파일에 대한 액세스는 Unity 카탈로그에 의해 제어됩니다.

init 스크립트에서 작업 영역 파일을 참조할 수 있나요?

Databricks Runtime 11.3 LTS 이상에서는 작업 영역 파일과 함께 저장된 init 스크립트에서 라이브러리, 구성 파일 또는 셸 스크립트와 같은 다른 작업 영역 파일을 참조할 수 있습니다.

init 스크립트에서 클라우드 개체 스토리지의 파일을 참조할 수 있나요?

클라우드 객체 스토리지에 저장된 라이브러리와 init 스크립트를 init 스크립트에서 참조할 수 있습니다.

표준 액세스 모드가 있는 클러스터의 경우 구성된 init 스크립트만 허용 목록에 추가해야 합니다. init 스크립트에서 참조되는 다른 파일에 대한 액세스는 클라우드 개체 스토리지에 구성된 액세스에 의해 결정됩니다.

Databricks는 Microsoft Entra ID 서비스 주체를 사용하여 Azure Data Lake Storage에 저장된 라이브러리 및 init 스크립트에 대한 액세스를 관리하는 것이 좋습니다. 다음 연결된 설명서를 사용하여 이 설정을 완료합니다.

1. 원하는 Blob에 대한 읽기 및 목록 권한이 있는 서비스 주체를 만듭니다. Azure Data Lake Storage 및 Blob Storage에 대한 연결을 참조하세요.

2. 비밀을 사용하여 자격 증명을 저장합니다. 비밀 관리를 참조하세요.

3. 다음 예제와 같이 클러스터를 만드는 동안 Spark 구성 및 환경 변수의 속성을 설정합니다.

   Spark 구성:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   환경 변수:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (선택 사항) azcopy 또는 Azure CLI를 사용하여 init 스크립트를 리팩터링합니다.

   init 스크립트 내에서 클러스터 구성 중에 설정된 환경 변수를 참조하여 유효성 검사를 위해 비밀로 저장된 자격 증명을 전달할 수 있습니다.