728x90
spark에서 df를 조인한 후에 원하는 컬럼을 선택해야 한다.
이때 sql처럼 편하게 "*" 기호를 쓰거나, 원하는 컬럼을 선택하기를 원한다.
이 때는 아래와 같이 하면된다. "*"를 쓰기 위해서는 alias로 df의 별칭을 지정해줘야 한다.
df = (df_a.alias("a").join(df_b.alias("b"), df_a.prd_no == df_b.prd_no)
.selectExpr("a.*", "b.mem_no"))728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| spark에서 oracle로 데이터 입력 시 ORA-01861 오류가 발생할 때 (0) | 2021.01.18 |
|---|---|
| spark에서 pandas 대신 databricks의 koalas 이용하기 (0) | 2020.12.03 |
| spark-submit 중 spark config 값 변경하기 (0) | 2020.11.20 |
| spark에서 string으로 날짜 데이터 만들기 (0) | 2020.11.19 |
| pyspark dataframe에서 join하고 컬럼을 select 하거나 drop 하기 (0) | 2020.10.26 |