프로도의 블로그

오랜만에 데이터 엔지니어링 관련(?) 글을 쓰게 됐습니다. ISMS 심사를 위해서 airflow에 3가지 사항을 적용해야 합니다. SSL 인증서 적용 비밀번호 설정 검증 로직 적용(영문,숫자,특수문자 포함 및 8자 이상) 90일 후 비밀번호 변경 로직 적용 각 사항을들 진행했던 내용을 기억하기 위해서 기록하려고 합니다. docker-compose를 사용해서 도커 컨테이너에서 실행하는 airflow인 경우에 대해서 정리해봤습니다. SSL 인증서를 적용하기 위한 단계는 아래와 같습니다. SSL 인증서 확보 인증서를 airflow 서버로 복사 airflow ui 접속을 위한 도메인 지정 DNS에서 도메인 등록 docker-compose.yml 파일 수정 airflow 컨테이너 재생성 airflow UI 접속 ..

항상 아침형 인간으로 살고 싶었지만, 꾸준하게 아침형 인간으로 살기 시작한 것은 2018년도 9월부터입니다. 이 때 이직이라는 생활 패턴에 큰 변화가 계기가 됐습니다. 변화된 것은 회사와 집의 거리가 멀어졌고, 출근 시간대를 유연하게 정할수 있는 것입니다. 그럼 4년간 4시 30분 ~ 5시 30분 사이에 일어나는 아침형 인간으로 살면서 느낀 점들을 적어보겠습니다. 첫 번째, 출근 시간과 퇴근 시간이 단축됩니다. 보통 분당에서 6시 30분에 서울역으로 가는 버스를 탔습니다. 아무래도 사람들이 많이 이동하는 시간 이전에 출근을 하기 때문에 같은 거리라 하더라고 6시 30분에 버스를 타는 것과 7시 30분에 타는 것은 최소 30분 이상 시간 차이가 발생합니다. 빨리 출근을 하면 퇴근 시간도 빨라지는데 이때도 ..

데이터로 의사결정을 하는 서비스 기획이란 데이터를 통해서 현황을 파악하여 문제점을 발견하고, 문제 해결을 통해 달성하려는 목표를 정의하고, 문제점을 해결하기 위한 방향성을 데이터를 통해서 찾고, 해결 방법을 기획해서 적용했을 성공여부를 확인할 수 있도록 실험(서비스)를 설계하고, 배포 결과가 성공적인지 확인할 수 있는 측정 지표를 만들어서 결과를 확인할 수 있는 과정을 설계하는 것을 의미합니다. 위와 같은 과정을 정의하고 설계해야 하는 이유는 사전에 이러한 단계를 고려하지 않으면 기획부터 배포후 효과 분석을 하는 단계에서 놓치는 부분이 발생하고, 결국 우리가 기획하고 만든 서비스가 고객에게 도움이 되는 것인지 확인을 할 수 없는 상황이 발생합니다. 다음 글에서는 위와 같은 과정을 설계하지 않으면 발생할 ..

"성장하는 팀을 만드는 방법"에 대해서 작성하는 마지막 편입니다. 다섯 번째 방법은 스프린트 리뷰 또는 OKR 데모 데이와 같이 1~2주간 만든 결과물을 공유하는 시간을 갖는 것입니다. 여기서 얻을 수 있는 효과는 다음과 같습니다. 첫 째, 업무에 대한 산출물(아웃풋)을 만드는 것을 습관화 할 수 있습니다. 산출물은 문서일수도 있고, 코드일 수도 있고, 만든 프로그램, 분석 결과일 수도 있습니다.업무를 하면서 자연스럽게 결과물에 대해서 생각해보고 정리해볼 수 있습니다. 대신 보여주기 위해 별도의 문서를 만드는 시간은 최소화 해야합니다. 업무를 진행하면서 만들어지는 결과물들을 간단히 요약하는 수준이면 됩니다. 둘 째, 의미있는 일을 했는지 점검할 수 있는 기회가 됩니다. 리뷰 시간에 보여줄 것이 없다면 조..

성장하는 팀을 만들기 위한 세 번째 방법은 빠르고 구체적인 피드백 주기 입니다. 일을 하다가 보면 실수를 하거나 몰랐거나 잘못 알아서 원하는 성과가 못나왔을 수 있습니다. 항상 완벽히 잘할 수 없기 때문에 누구나 이런 상황을 겪습니다. 하지만 그 뒤가 더 중요합니다. 좋은 결과 또는 나쁜 결과가 나왔을 때 빠르게 피드백을 해줘야 합니다. 내가 인지 못했던 점에 대한 피드백을 통해 성장할 수 있습니다. 가능하다면 좋은 피드백은 많은 사람이 있는 곳에서 줘도 되고, 부정적인 피드백이라면 따로 만나서 피드백을 줘야합니다. 아무리 도움이 되는 충고라 하더라도 많은 사람 앞에서 본인의 치부가 들어나는 것을 좋아하는 사람은 없을 것입니다. 또한 따로 이야기 한다면 충고자가 나를 배려한다는 고마운 생각을 할 수도 있..

성장하는 팀을 만들수 있는 방법에 대해서 생각해봤습니다. 성장하는 팀은 개개인이 업무적으로 성장하고, 팀의 성과가 높아지는 것이라고 간략히 정의했습니다. 성장하는 팀을 만들기 위한 첫 번째 방법은 팀에 적합한 사람을 채용하는 것입니다. 적합한 사람을 채용하기 위해서는 여러가지 방법이 있습니다. 먼저 팀에서 어떤 일을 하는지, 팀에서 선호하는 인재상이 무엇인지 어떤 기술과 태도를 가진 사람을 찾는지 상세한 채용공고를 공유해야합니다. 지원자는 채용공고를 보고 해당 팀에서 무슨일을 하는지 파악을 하기 때문에 명확하지 않은 공고를 올리면 결국 지원자나 면접관 모두 시간을 낭비하게 됩니다. 적합한 사람을 채용하는 두 번째 방법은 (코딩) 테스트를 봐야합니다. 테스트는 코딩 테스트일 수도 있고, 회사에서 현재 진행..

많은 기업들이 OKR을 도입해보려는 시도들이 보입니다. 어떤 회사들을 시행착오 끝에 OKR을 회사 문화에 맞게 적용해서 잘 활용하는 조직도 있고, 어떤 조직들은 우리 회사는 OKR에 맞지 않다면서 기존 방식으로 돌아가는 회사도 있습니다 모든 회사들이 처해진 상황이 다를텐데 OKR을 도입한다고 서비스하는 제품에 대한 성과가 좋아질까요? OKR이 필요한 시점과 준비된 상황에 도입해야 OKR을 회사에 정착시킬수 있다고 생각합니다. 그럼 OKR은 언제 도입을 해야할까요? 제 생각은 다음과 같습니다. 회사가 해야할 일에 대한 계획을 세우고, 매 주기마다 계획한 일을 달성하지만 회사 또는 서비스의 목표를 달성하지 못할 때 도입해야 한다고 생각합니다. 다시 말하면 할 일을 다 하는데도 성과가 나지 않는 상황에 도입을..

아래와 같이 docker-compose로 airflow-cli를 실행 후 명령어를 넣으면 된다. docker-compose run airflow-cli dags backfill \ --start-date START_DATE \ --end-date END_DATE \ dag_id

아래와 같이 "restart: unless-stopped"를 넣어주면 서버가 시작되면 도커 컨테이터도 함께 실행 해준다. version: "3" services: db: image: postgres:11-alpine environment: POSTGRES_DB: wiki POSTGRES_PASSWORD: wikijsrocks POSTGRES_USER: wikijs logging: driver: "none" restart: unless-stopped volumes: - db-data:/var/lib/postgresql/data wiki: image: ghcr.io/requarks/wiki:2 depends_on: - db environment: DB_TYPE: postgres DB_HOST: db DB_P..

가장 확실한 방법은 공식 홈페이지에서 제공하는 가이드에 따라서 설치하는 방법이다. docker 설치 https://docs.docker.com/engine/install/ Install Docker Engine docs.docker.com docker-compose 설치 https://docs.docker.com/compose/install/ Install Docker Compose docs.docker.com