프로도의 블로그

판다스로 만든 컬럼이 많은 데이터프레임을 조회하면 모든 컬럼이 나오지 않는 경우가 있다. 이때는 아래와 같은 옵션을 데이터 조회 전에 실행하면 모든 컬럼을 볼 수 있다. 단 컬럼이 너무 많은 경우에는 에러가 발생한다. 두 번째 파라미터가 노출 컬럼 수이고, -1은 제한없이 보여준다는 의미다. pd.set_option('display.max_columns', -1) 참고 towardsdatascience.com/how-to-show-all-columns-rows-of-a-pandas-dataframe-c49d4507fcf

루프를 돌면서 히스토그램을 그리려면 아래와 같이 하면 된다. from databricks import koalas as ks import matplotlib.pyplot as plt from IPython.display as display for i in range(1,7): print("cust_grp_no :{i}".format(i=i)) sql =""" select count(1) grp_{grp_no}_cnt from table_name a where 1=1 and part_date >= '20210301' and part_date

아래와 같이 초록색 task 박스에 볼드가 없는 경우가 있다. 이런 경우는 아래의 trigger dag 버튼을 눌러서 실행한 경우이다. 배치가 수행된 것이라고 오해하면 안된다.

아래와 같은 코드를 사용하면 현재 시간을 확인하고, 시간을 가감할 수 있다. from datetime import datetime, timedelta datetime.now() (datetime.now()+timedelta(minutes=1)).strftime("%Y%m%d%H%M")+"00"

가끔 특정 프로그램을 활성화 해도 화면 밖에서 나타나지 않을 때가 있다. 이럴 때는 해당 프로그램을 실행하고 상단에 창 또는 Window를 선택 후 Zoom을 클릭하면 된다.

sprark 배치 수행 중 아래와 같은 에러가 발생했다. 대략적인 원인은 병렬 처리로 인해서 임시 데이터가 삭제된 것이다. Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on .c000.snappy.parquet (inode 4027045532): File does not exist. Holder DFSClient_NONMAPREDUCE_-690256595_53 does not have any open files. hive 테이블에 데이터를 입력하기 전에 alter table truncate partition 하는 부분이 있었는데 그 부..

아래와 같이 한 번의 쿼리로 여러 파티션이 데이터를 입력할 수 있다. FROM table_name INSERT OVERWRITE TABLE table_1 PARTITION (part_date = '20200101', cust_type = '1') select * where table_name.part_date = '20200101' and table_name.cust_type = '1' INSERT OVERWRITE TABLE table_1 PARTITION (part_date = '20200101', cust_type = '2') select * where table_name.part_date = 'v' and table_name.cust_type = '2' INSERT OVERWRITE TABLE t..

일반적인 insert 쿼리는 아래와 같이 시작한다 INSERT INTO TABLE_NAME PARTITION(part_date = '20200101') overwrite는 아래와 같이 한다. INSERT OVERWRITE TABLE_NAME PARTITION(part_date = '20200101') overwrite를 할 때는 파티션 키에 있는 데이터를 모두 삭제하고 적재한다.

스파크 잡을 실행하면 아래와 같은 에러 메지시가 나타날 때가 있다. Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries. 원인은 동시에 어러개의 잡이 실행될 때 SparkUI를 생성하기 위한 포트가 이미 사용 중이면 발생한다. 포트를 찾아보는 기본 값은 16이다. 가장 간단한 해결 방법은 더 많은 포트를 찾아보고 비어있는 포트에서 Spark..

1. 대본 버튼 클릭 2. 대본에서 한글로 번역 3. F12를 클릭하거나, 우클릭 후 검사를 눌러서 개발자도구를 연다. 4. console 창에 아래 코드를 입력한다. if(typeof window.i!=='undefined'){clearInterval(window.i)}else{let lastText='';function check(){let toEl=$('.well--container--2edq4 span');let fromEl=$('p[data-purpose="transcript-cue-active"] span');let currentText=fromEl.html();if(lastText!==currentText){toEl.html(currentText)}lastText=fromEl.html()}w..