728x90
아래와 같이 conf 변수에 변경할 옵션 값을 설정 후 Spark Session 생성 시 config 함수를 실행하면 된다.
conf = spark.sparkContext._conf.setAll([('spark.sql.broadcastTimeout', '10000')])
spark.sparkContext.stop()
spark = SparkSession \
.builder \
.config(conf=conf) \
.appName("app_name") \
.enableHiveSupport() \
.getOrCreate()sc.getConf().getAll()
728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| spark structured streaming + kafka를 이용한 개발 후기 (2) | 2021.08.12 |
|---|---|
| ERROR cluster.YarnScheduler: Lost executor 1 on xxx-Xxxx: Slave lost 에러 발생 시 (0) | 2021.08.09 |
| ModuleNotFoundError: No module named 'pyspark' 에러 발행할 때 findspark로 해결하기 (0) | 2021.06.14 |
| pyspark에서 비어있는 DataFrame 만들기 (0) | 2021.04.28 |
| pyspark에서 agg에서 multiple columns 사용하기 (0) | 2021.04.13 |