프로도의 블로그

윈도우용 키보드와 맥북 키보드 자판에는 차이가 있다. 가장 큰 차이는 왼쪽 아래의 기능키들이다. 윈도우 키보드 : Control, 윈도우, Alt, 한자 맥북 키보드 : fn, control, option, command 이 포스팅에서는 윈도우 키보드의 배열을 맥북 키보드에 맞추는 것이다. 순서는 아래와 같다. 1. 먼저 아래 사이트에서 프로그램을 다운로드 받는다. karabiner-elements.pqrs.org/ Karabiner-Elements A powerful and stable keyboard customizer for macOS. karabiner-elements.pqrs.org 2. 위에서 받은 프로그램을 실행해서 아래 이미지와 같이 키 값을 변경한다. 이렇게 세팅이 끝나면 윈도우 키보드를..

airflow를 이용해서 data pipeline을 관리하고 있다면 신규로 추가 되는 작업에 대해서 테스트가 필요하다. 이 때 dag를 기준으로 테스트를 하면 이전에 처리되는 task들을 모두 실행해야하기 때문에 시간과 리소스에 낭비가 발생한다. 이럴 때는 특정 task만 실행하는 방법을 사용하면된다. #airflow dag명 task명 execution_date airflow dag task 2020-01-11 참고 airflow.apache.org/docs/stable/tutorial.html

데이터프레임으로 테이블을 만들어야 하는 경우에는 아래 같이 코드를 작성하면 된다. 테이블을 생성하고 데이터를 넣기 df.write.mode("overwrite").saveAsTable("스키마.테이블명") # 데이터 조회하기 spark.sql("select * from 스키마.테이블명").show() 기존에 존재하는 테이블에 데이터만 넣기 df.write.mode("append").saveAsTable("스키마.테이블명") spark.sql("select * from 스키마.테이블명").show() 참고 kontext.tech/column/spark/294/spark-save-dataframe-to-hive-table

맥북에서 git을 설치하는 방법은 크게 2가지가 있다. 첫 번째, git-scm.com/download/mac 에 접속해서 git 설치 파일을 다운로드 받은 후 실행한다. 두 번째, 터미널에서 아래와 같이 brew를 이용하는 방법이다. brew install git

brew(homebrew)는 패키지 관리자로써 homebrew를 설치하면 brew 명령어를 사용할 수 있다. brew를 설치하면 터미널에서 다양한 패키지와 소프트웨어들을 설치할 수 있다. 자세한 설명은 homebrew 홈페이지(brew.sh/index_ko)에 접속하면 확인할 수 있다. brew를 설치하는 방법은 아래와 같다. 맥북에서 터미털을 실행 후 아래와 같은 명령어를 친다. 그 후 "Press RETURN to continue or any other key to abort" 와 같은 메세지가 나올 때 엔터를 치면 설치가 완료 된다. /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install...

spark 2.3에서 잘 수행되던 코드가 spark 3.0에서 아래와 같은 오류가 발행했다. select unix_timestamp(update_dt) 오류 메세지 Caused by: java.time.format.DateTimeParseException: Text '2020-09-16 16:24:08.0' could not be parsed, unparsed text found at index 19 at java.time.format.DateTimeFormatter.parseResolved0(DateTimeFormatter.java:1952) at java.time.format.DateTimeFormatter.parse(DateTimeFormatter.java:1777) at org.apache.spa..

Intellij에서 git push를 하면 아래와 같이 pushing...이 나오면서 진행이 안되는 상황이 발생한다. 이런 경우가 발생하면 아래 포스팅을 참고해서 아이디와 비밀번호를 먼저 등록한다.https://leebaro.tistory.com/entry/git%EC%97%90%EC%84%9C-pull-push-remote-update-%ED%95%A0-%EB%95%8C-%EC%95%84%EC%9D%B4%EB%94%94%EC%99%80-%EB%B9%84%EB%B0%80%EB%B2%88%ED%98%B8-%EB%AC%BC%EC%96%B4%EB%B3%B4%EC%A7%80-%EC%95%8A%EB%8F%84%EB%A1%9D-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0?category=893..

git에서 pull, push, remote update 할 때 아이디와 비밀번호 물어보지 않도록 설정하기 git에서 pull, push, remote update를 할 때 아이디와 비밀번호를 물어보는 경우가 발생한다. 이런 상황에서는 아래와 같이 진행한다. git bash를 실행하고 git pull 또는 git remote update와 같이 원하는 작업을 실행한다. 아이디와 비밀번호를 물어보는prompt 창이 뜨면 입력한다. 명령이 수행된다. 아래 명령을 수행한다. git config credential.helper store 이렇게 하면 다음에 명령어를 입력할 때는 아이디와 비밀번호를 물어보지 않는다. 아래와 같이 입력하면 모든 git 프로젝트에서 저장된 정보를 이용할 수 있다. git config..

여러가지 이유로 hive 테이블에 partition을 확인해야 하는 경우가 있다. 이런 경우 아래와 같이 조회를 하면 hive table의 partition을 확인할 수 있다. show partitions

linux 또는 맥북에서 curl을 이용하는 방법과 윈도우에서 실행하는 방법이 다르다. 윈도우에서 json 파일을 호출하려면 아래와 같은 방법을 이용해야 한다. $json = Get-Content ‪D:\workplace\projects\druid_create_datasource.json -Raw curl -Method POST -Header $Header -ContentType "application/json" -Body $json uri http://druid-server:/druid/indexer/v1/task