728x90

전체 글 236

Pandas code snippet

여러개의 csv 파일을 한개의 csv 파일로 만들기 import os import pandas as pd # 현재 디렉토리의 모든 파일 목록을 얻기 files = os.listdir('.') # 'result_숫자.csv' 형식에 맞는 파일만 필터링 csv_files = [file for file in files if file.startswith('result_') and file.endswith('.csv')] # 모든 CSV 파일을 합치기 combined_csv = pd.DataFrame() for file in csv_files: df = pd.read_csv(file) combined_csv = pd.concat([combined_csv, df]) # 결과 CSV 파일 저장 combined_csv..

클릭하우스 자주 사용하는 쿼리

리텐션 아래와 같은 방식으로 리텐션과 리텐션율을 계산할 수 있 SELECT retention_test.date, count() AS initial_users, countIf(arrayExists(d -> d = retention_test.date + 1, dates)) AS day1, countIf(arrayExists(d -> d = retention_test.date + 2, dates)) AS day2, countIf(arrayExists(d -> d = retention_test.date + 3, dates)) AS day3, countIf(arrayExists(d -> d = retention_test.date + 4, dates)) AS day4, countIf(arrayExists(d -> ..

Apache Superset Web UI 세션 만료시 로그아웃 시키기

세션 만료 Configuring Superset | Superset (apache.org) 아래와 같이 PERMANENT_SESSION_LIFETIME 시간을 변경해주면 웹 UI에서 자동 로그 아웃된다. from flask import session from flask import Flask def make_session_permanent(): ''' Enable maxAge for the cookie 'session' ''' session.permanent = True # Set up max age of session to 24 hours PERMANENT_SESSION_LIFETIME = timedelta(hours=24) def FLASK_APP_MUTATOR(app: Flask) -> None: ..

파이썬 코드 디버깅

파이썬 코드 디버깅을 할 때에는 print를 사용하는 것보다는 아래와 같이 logging 모듈을 이용하는 것이 좋습니다. print 문을 이용하면 아래와 같은 단점이 있습니다. 성능 문제: print 문은 I/O 작업이므로 성능에 영향을 줄 수 있습니다. 로그 관리: print로 출력된 로그는 쉽게 관리되거나 저장되지 않습니다. 불필요한 출력: 프로덕션 환경에서 불필요한 출력은 혼란을 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 일반적으로 로깅 모듈을 사용하여 로그를 관리합니다. Python의 표준 라이브러리인 logging 모듈을 사용하면 됩니다. logging 모듈을 사용하면 다음과 같은 장점이 있습니다: 로그 레벨 설정: DEBUG, INFO, WARNING, ERROR, CRITICAL 등..

파이썬(Python) 2023.10.29

SQL로 날짜 데이터 생성하기

카테시안 곱, 조인, 크로스 조인 방식으로 날짜 데이터를 생성하는 방법은 아래와 같습니다. 많은 증가하는 숫자, 날짜를 만들때는 아래 같은 SQL을 사용하면 됩니다. SELECT DATE_ADD('2022-01-01', INTERVAL seq DAY) AS date FROM ( SELECT ROW_NUMBER() OVER (ORDER BY a) AS seq FROM ( SELECT 0 AS seq UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9 ) a..

(데이터 과학자&분석가 모임을 위한 책나눔) 오토케라스로 만드는 AutoML

안녕하세요. prodo입니다. 저와 같이 온프레미스 환경에서 ML을 사용해야 하는 상황에서 AutoML을 사용해서 비즈니스적으로 효과가 있는지 빨리 확인해볼 수 있는 경험을 필요로 하는 분들을 위해서 이 책을 번역했습니다. 총 2 분께 책을 나눌수 있는 좋은 기회가 생겨서 이 글을 적어봤습니다. 신청 방법 : 댓글로 이메일 주소를 남겨주시면 됩니다. 마감일시 : 2023년 6월 12일 18시 오토케라스로 만드는 AutoML - YES24

카테고리 없음 2023.06.05

(데이터 엔지니어 모임을 위한 책나눔) 오토케라스로 만드는 AutoML

안녕하세요. prodo입니다. 저와 같이 온프레미스 환경에서 ML을 사용해야 하는 상황에서 AutoML을 사용해서 비즈니스적으로 효과가 있는지 빨리 확인해볼 수 있는 경험을 필요로 하는 분들을 위해서 이 책을 번역했습니다. 총 2 분께 책을 나눌수 있는 좋은 기회가 생겨서 이 글을 적어봤습니다. 신청 방법 : 댓글로 이메일 주소를 남겨주시면 됩니다. 마감일시 : 2023년 6월 12일 18시 오토케라스로 만드는 AutoML - YES24

글쓰기(Writing) 2023.06.05
728x90