728x90
아래 코드를 사용하면 현재 설정된 값을 확인할 수 있다.
sc.getConf().getAll()
728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| spark structured streaming + kafka를 이용한 개발 후기 (2) | 2021.08.12 |
|---|---|
| ERROR cluster.YarnScheduler: Lost executor 1 on xxx-Xxxx: Slave lost 에러 발생 시 (0) | 2021.08.09 |
| pyspark 실행 후 config를 수정하는 방법 (0) | 2021.07.06 |
| ModuleNotFoundError: No module named 'pyspark' 에러 발행할 때 findspark로 해결하기 (0) | 2021.06.14 |
| pyspark에서 비어있는 DataFrame 만들기 (0) | 2021.04.28 |