728x90
아래 코드와 같이 파케 파일을 조회하면 파일 안에 있는 데이터를 확인할 수 있다.
data = sqlContext.read.parquet('/.../data.parquet')
display(data)
# 또는
data.show()728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| pyspark에서 agg에서 multiple columns 사용하기 (0) | 2021.04.13 |
|---|---|
| 스파크에서 로그 레벨 정의하기 (0) | 2021.04.12 |
| toPandas() 후 조회 시 index 2 is out of bounds for axis 0 with size 에러가 발생할 때 (0) | 2021.03.16 |
| Koalas에서 Cannot combine the series or dataframe because it comes from a different dataframe 에러 발생 시 (0) | 2021.03.15 |
| Container killed by YARN for exceeding physical memory limits 에러 발생 시 (0) | 2021.03.15 |