728x90
데이터프레임으로 테이블을 만들어야 하는 경우에는 아래 같이 코드를 작성하면 된다.
테이블을 생성하고 데이터를 넣기
df.write.mode("overwrite").saveAsTable("스키마.테이블명")
# 데이터 조회하기
spark.sql("select * from 스키마.테이블명").show()
기존에 존재하는 테이블에 데이터만 넣기
df.write.mode("append").saveAsTable("스키마.테이블명")
spark.sql("select * from 스키마.테이블명").show()
참고
kontext.tech/column/spark/294/spark-save-dataframe-to-hive-table
728x90
'빅데이터(BigData) > Spark' 카테고리의 다른 글
| spark에서 master node로 데이터를 모으기 위해서 collect를 사용하는 방법 (0) | 2020.10.19 |
|---|---|
| dataframe의 partition 수 확인하기 (0) | 2020.10.16 |
| java.time.format.DateTimeParseException: Text '2020-09-16 16:24:08.0' could not be parsed, unparsed text found at index 19 와 같은 에러가 발생하는 경우에 조치 방법 (0) | 2020.09.18 |
| spark-submit으로 spark 코드 실행시 Non-ASCII character 에러 대처 방법 (0) | 2020.01.04 |
| Spark에서 Dataframe을 이용하여 Hive 테이블 생성하기 (0) | 2020.01.03 |