yarn log 확인하기

console에서 로그를 확인하거나 spark ui에서 로그를 확인하기 어려운 상황에서는 아래 yarn 명령어를 이용해서 로그 확인이 가능하다.

 

 

1. 특정 application 로그 확인

   yarn logs -applicationId <application_id>

 

2. 에러로그만 확인

   yarn logs -applicationId <application_id> -log_files stderr

 

3. container별 로그 확인

   # application에서 사용하는 container 전체출력

   yarn logs -applicationId <application_id> -show_application_log_info

 

   # 위에 container정보에서 특정 container에 대한 로그 확인

   yarn logs -applicationId <application_id> -containerId <container_id>

출처: https://semode.tistory.com/389 [세모데]