728x90
airflow를 이용해서 data pipeline을 관리하고 있다면 신규로 추가 되는 작업에 대해서 테스트가 필요하다.
이 때 dag를 기준으로 테스트를 하면 이전에 처리되는 task들을 모두 실행해야하기 때문에 시간과 리소스에 낭비가 발생한다.
이럴 때는 특정 task만 실행하는 방법을 사용하면된다.
#airflow dag명 task명 execution_date
airflow dag task 2020-01-11
참고
728x90
'빅데이터(BigData) > Airflow' 카테고리의 다른 글
| 특정 이름의 파일을 airflow dag에서 제외하기 (0) | 2021.07.26 |
|---|---|
| Tree View에서 task 박스에 볼드가 없는 경우 (0) | 2021.03.09 |
| airflow로 데이터 입수 여부 확인하기 (0) | 2021.02.05 |
| airflow에서 sql_sensor 사용하기 (0) | 2021.01.20 |
| airflow의 connections에서 oracle 연결 정보 설정하기 (0) | 2021.01.20 |