728x90
sprark 배치 수행 중 아래와 같은 에러가 발생했다.
대략적인 원인은 병렬 처리로 인해서 임시 데이터가 삭제된 것이다.
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on
<경로명>.c000.snappy.parquet (inode 4027045532): File does not exist. Holder DFSClient_NONMAPREDUCE_-690256595_53 does not have any open files.hive 테이블에 데이터를 입력하기 전에 alter table truncate partition 하는 부분이 있었는데 그 부분에서 문제가 생긴 것이 아닐까 추측한다.
그래서 파티션 삭제 부분을 제거하고 INSERT 부분을 아래와 같이 수정했다.
수정 전
INSERT INTO table_name
수정 후
INSERT OVERWRITE table_name
728x90