스파크에서 로그 레벨 정의하기

spark submit을 하면 spark와 관련된 로그들을 확인할 수 있다.

 

이 때 너무 많은 로그가 나온다면 필요한 로그를 확인할 수 없다.

 

보통 정상적으로 수행하고 있는  코드라면 경고, 에러인 데이터만 확인하면 될 것이다.

 

이럴 때는 아래와 같은 코드를 pyspark 코드 상단에 추가하면 원하는 수준의 로그를 확인할 수 있다.

 

from pyspark.sql import SparkSession
    spark = SparkSession.builder.\
        master('xxx').\
        appName('xxx').\
        getOrCreate()
spark.sparkContext.setLogLevel('WARN')

 

위에서 보여줄 로그의 수준은 아래 유형중에 선택하면 된다.

ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

 

너무 많은 로그가 나온다고 생각한다면 WARN, ERROR 정도로 변경하면 된다.

 

---

 참고

spark.apache.org/docs/2.3.0/api/java/org/apache/spark/SparkContext.html