728x90
반응형

분류 전체보기 256

[긍정의 훈육] 002. 아이들이 키워야할 일곱 가지 능력

아이들이 꼭 키워야 할 일곱 가지 능력 "독립심이 강한 아이로 키우는 부모의 지혜"라는 책에서 유능한 사람이 되기 위해 꼭 키워야 할 일곱 가지 능력을 다음과 같이 정의했다. 자신에 대한 긍정적인 인식 능력 : 난 할 수 있어. 자기 존재에 대해 인정받고 있다는 인식 능력 : 난 의미 있는 방식으로 보탬이 되고 있어. 나는 정말 필요한 존재야. 자신이 삶의 주인이라는 인식 능력 : 내게 무슨 일이 벌어지든 내 행동과 선택에 책임을 질 거야. 자기 통제 능력 : 자신의 감정을 이해하고 조절할 수 있는 능력 대인관계 능력 : 타인과의 의사소통, 협력, 협상, 공유, 감정이입, 경청을 통해 우의를 다질 수 있는 능력 문제 해결 능력 : 책임감, 적응력, 융통성, 성실성으로 일상생활의 한계와 결과에 대처할 수 ..

육아 2021.09.30

[긍정의 훈육] 001. 아이들에게 책임감을 배울 수 있게 하는 방법

더 이상 순종의 모델은 없다 첫 번째 중대한 변화는 우리가 더 이상 아이들에게 순종화 복종의 모범 또는 모델을 제시하지 못한다는 점이다. 우리가 살아왔던 시절에 흔히 하던 데로 더 이상 행동하지 않는다는 걸 잊고 있다. 살아가면서 열등하고 복종적인 역할을 자발적으로 받아들이는 사람은 거의 없다. 아이들도 마찬가지다. 그저 자기가 보는 대로 따라할 뿐이다. 아이들 또한 존중받고 배려받기를 원한다. 여기서 평등이란 '완전히 똑같은 것'을 의미하지 않는다. 아이들은 분명 경험과 능력이 부족하고, 권리를 완전하게 누릴 자격이 제대로 갖춰지지 않았다. 그래서 어른들의 리더십과 지도가 중요하다. 그럼에도 불구하고 아이들도 마땅히 존중과 배려로 대접해야 한다. 아이들은 당연히 비난, 수치심, 고통이 아닌 부드러우면서..

육아 2021.09.14

airflow에서 log 디렉토리 변경하기

airflow의 로그 파일이 적재되는 기본 경로는 다음와 같다. {AIRFLOW_HOME}/logs/ 만약 로그 파일을 다른 곳에 적재하고 싶다면 아래와 같은 작업을 해야 한다. 1. vi airflow.cfg 2. base_log_folder, child_process_log_directory 두개의 경로를 변경하기 3. airflow 재실행하기 - 필자는 재실행했지만 재실행 안해도 적용이 되는지는 확인해보지 못했다. https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#base-log-folder https://airflow.apache.org/docs/apache-airflow/stable/configuration..

spark structured streaming + kafka를 이용한 개발 후기

최근에 진행했던 프로젝트에서 structured streaming + kafka를 사용한 경험을 공유하려고 한다. 현황 현재 운영하고 있는 추천 시스템에서는 고객의 최근 행동(상품 조회, 구매)에 따라서 추천 상품 랭킹이 개인화된다. 예를들어 오늘 키보드를 구매했다면, 추천 상품중 키보드 카테고리의 상품의 스코어를 낮춰서 추천 페이지의 아래쪽에서 보이도록 하고, 오늘 키보드를 조회하고 아직 구매하지 않았다면 현재 키보드에 관심이 있다고 판단해서 추천 상품 중 키보드 카테고리의 상품을 추천 페이지의 상단에 노출 시킨다. 이 때 최근에 방문했던 상품에 대한 로그 데이터는 현재 시간 기준으로 2~3시간 전의 것을 사용하고 있다. 그래서 추천 상품에 대한 최신성(recency)를 높여주고 싶어했다. 요구사항 현..

ERROR cluster.YarnScheduler: Lost executor 1 on xxx-Xxxx: Slave lost 에러 발생 시

spark-submit으로 Spark streaming을 실행하면 2시간 마다 배치가 중단되는 현상이 발생하고 아래와 같은 에러가 나타난다. local모드로 실행하면 문제가 없지만 client 모드 또는 cluster 모드로 실행하면 에러가 발생한다. [2021-08-09 02:19:05,746] {bash_operator.py:128} INFO - 21/08/09 02:19:05 ERROR cluster.YarnScheduler: Lost executor 1 on xxx-Xxxx: Slave lost [2021-08-09 02:19:05,911] {bash_operator.py:128} INFO - 21/08/09 02:19:05 ERROR client.TransportClient: Failed to ..

특정 이름의 파일을 airflow dag에서 제외하기

airflow dag 파일을 jupyter notebook으로 조회를 하면 checkpoint 파일이 생성되고 airflow admin의 dag 리스트에서 조회되는 것을 확인할 수 있다. 이러한 파일들은 .ipynb_checkpoints 디렉토리 안에 존재한다. 이 파일들을 dag 목록에서 보여주지 않으려면 아래와 같이 실행하면 된다. 1. dags 디렉토리에 .airflowignore 파일을 생성한다. 2. .airflowignore 파일에 .ipynb_checkpoints를 입력한다. 이 것은 .ipynb_checkpoints 디렉토리 안에 있는 파일들은 모두 dag에서 보여주지 않는다는 의미다. 참고 https://stackoverflow.com/questions/53660558/airflow-da..

yarn log 확인하기

console에서 로그를 확인하거나 spark ui에서 로그를 확인하기 어려운 상황에서는 아래 yarn 명령어를 이용해서 로그 확인이 가능하다. 1. 특정 application 로그 확인 yarn logs -applicationId 2. 에러로그만 확인 yarn logs -applicationId -log_files stderr 3. container별 로그 확인 # application에서 사용하는 container 전체출력 yarn logs -applicationId -show_application_log_info # 위에 container정보에서 특정 container에 대한 로그 확인 yarn logs -applicationId -containerId 출처: https://semode.tistor..

728x90
반응형