Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries 에러 발생시

스파크 잡을 실행하면 아래와 같은 에러 메지시가 나타날 때가 있다.

Service 'SparkUI' failed after 16 retries (starting from 4040)! 
Consider explicitly setting the appropriate port for the service 
'SparkUI' (for example spark.ui.port for SparkUI) to an available port or 
increasing spark.port.maxRetries.

 

원인은 동시에 어러개의 잡이 실행될 때 SparkUI를 생성하기 위한 포트가 이미 사용 중이면 발생한다. 포트를 찾아보는 기본 값은 16이다.

 

가장 간단한 해결 방법은 더 많은 포트를 찾아보고 비어있는 포트에서 SparkUI를 실행하면 된다.

 

더 많은 포트를 찾아보기 위해서는 아래와 같은 옵션을 추가하면 된다. 

/app/spark/bin/spark-submit --master yarn \
생략...
--conf spark.port.maxRetries=100 \ 
생략 ...

위와 같은 설정을 추가하면 최대 100개의 포트를 확인해서 사용할 것이다.

 

---

참고

spark.port.maxRetries

16

Maximum number of retries when binding to a port before giving up. When a port is given a specific value (non 0), each subsequent retry will increment the port used in the previous attempt by 1 before retrying. This essentially allows it to try a range of ports from the start port s pecified to port + maxRetries.

spark.apache.org/docs/2.1.0/configuration.html