728x90
spark에서 createDataFrame을 하면 df를 만들 수 있다.
이 때 스키마를 지정해야하는데 기존의 df와 동일하게 만들고 싶다면 df.schema를 바로 이용할 수 있다.
list_rslt_on_driver_node = df_rslt.collect()
df_rslt_on_driver_node = spark.createDataFrame(list_rslt_on_driver_node,schema=df_rslt.schema)
df_rslt_on_driver_node.repartions(1)
df2 = df_rslt_on_driver_node.repartition(1)728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| spark에서 string으로 날짜 데이터 만들기 (0) | 2020.11.19 |
|---|---|
| pyspark dataframe에서 join하고 컬럼을 select 하거나 drop 하기 (0) | 2020.10.26 |
| spark에서 master node로 데이터를 모으기 위해서 collect를 사용하는 방법 (0) | 2020.10.19 |
| dataframe의 partition 수 확인하기 (0) | 2020.10.16 |
| dataframe(데이터프레임)으로 hive table(테이블) 생성하거나 데이터를 입력하기 (0) | 2020.10.02 |