빅데이터(BigData)/Spark

Container killed by YARN for exceeding physical memory limits 에러 발생 시

leebaro 2021. 3. 15.
728x90

spark submit 시 아래와 같은 에러가 발생할 수 있다.

 

원인은 executor에 할당된 메모리가 부족하다는 의미이다. 이 경우 executor의 할당된 메모리를 늘려주면 된다.

 

cluster.YarnScheduler: Lost executor 20 on xxx: Container killed by YARN for exceeding physical memory limits. 6 GB of 6 GB physical memory used. Consider boosting spark.executor.memoryOverhead.

 

아래와 같이 spark-submit  시 아래 옵션의 값을 변경해준다.

 

spark-submit --master yarn \

.....

--executor-memory 12g 
728x90

'빅데이터(BigData) > Spark' 카테고리의 다른 글

toPandas() 후 조회 시 index 2 is out of bounds for axis 0 with size 에러가 발생할 때  (0) 2021.03.16
Koalas에서 Cannot combine the series or dataframe because it comes from a different dataframe 에러 발생 시  (0) 2021.03.15
No lease on .. File does not exist. Holder DFSClient_NONMAPREDUCE_-690256595_53 does not have any open files. 에러 발생 시  (1) 2021.02.23
Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries 에러 발생시  (0) 2021.02.19
spark에서 oracle로 데이터 입력 시 ORA-01861 오류가 발생할 때  (0) 2021.01.18

'빅데이터(BigData)/Spark'의 다른글

  • 현재글Container killed by YARN for exceeding physical memory limits 에러 발생 시

관련글

댓글

티스토리툴바