ModuleNotFoundError: No module named 'pyspark' 에러 발행할 때 findspark로 해결하기

pyspark 코드를 실행하기 위해서 import pyspark를 해도 아래와 같이 에러가 발생할 수 있다.

 

ModuleNotFoundError: No module named 'pyspark'

 

그 이유는 pyspark가 정규 library로 인식되지 않기 때문에 pyspark의 위치를 찾을 수 없기 때문이다.

 

이 때는 아래와 같이 findspark 라이브러리를 설치 후 실행하면 된다.

 

pip install findspark

 

import findspark
findspark.init()

import pyspark
sc = pyspark.SparkContext(appName="myAppName")

 

추가적으로 궁금한 내용은 아래 링크에서 찾아보면 된다.

https://github.com/minrk/findspark