서버에서 진행률 업데이트를 받을 때 호출할 진행률 처리기를 등록합니다.
문법
registerProgressHandler(handler)
매개 변수
| 매개 변수 | 유형 | 설명 |
|---|---|---|
handler |
ProgressHandler | 인터페이스를 따르는 호출 가능한 개체입니다 ProgressHandler . 이 처리기는 모든 진행률 업데이트에서 호출됩니다. |
Returns
None
Notes
이 메서드는 Spark Connect에서만 지원됩니다. 일반 Spark 세션을 사용하면 예외가 발생합니다.
예제
def progress_handler(stages, inflight_tasks, done):
print(f"{len(stages)} Stages known, Done: {done}")
spark.registerProgressHandler(progress_handler)
res = spark.range(10).repartition(1).collect()
# 3 Stages known, Done: False
# 3 Stages known, Done: True
spark.clearProgressHandlers()