728x90
airflow dag 파일을 jupyter notebook으로 조회를 하면 checkpoint 파일이 생성되고 airflow admin의 dag 리스트에서 조회되는 것을 확인할 수 있다.
이러한 파일들은 .ipynb_checkpoints 디렉토리 안에 존재한다. 이 파일들을 dag 목록에서 보여주지 않으려면 아래와 같이 실행하면 된다.
1. dags 디렉토리에 .airflowignore 파일을 생성한다.
2. .airflowignore 파일에 .ipynb_checkpoints를 입력한다. 이 것은 .ipynb_checkpoints 디렉토리 안에 있는 파일들은 모두 dag에서 보여주지 않는다는 의미다.
참고
https://stackoverflow.com/questions/53660558/airflow-dag-folder-how-to-ignore-notebook-checkpoints
Airflow Dag Folder - How to ignore notebook checkpoints
Airflow is being too clever and trying to pick up dags within the jupyter notebook checkpoints folder "dags/.ipynb_checkpoints/" which is throwing an error. Is there a way to config airflow to ign...
stackoverflow.com
728x90
'빅데이터(BigData) > Airflow' 카테고리의 다른 글
| docker-compose에서 airflow로 cli 실행하기 (0) | 2022.07.22 |
|---|---|
| airflow에서 log 디렉토리 변경하기 (0) | 2021.08.20 |
| Tree View에서 task 박스에 볼드가 없는 경우 (0) | 2021.03.09 |
| airflow로 데이터 입수 여부 확인하기 (0) | 2021.02.05 |
| airflow에서 sql_sensor 사용하기 (0) | 2021.01.20 |