프로도의 블로그

Anaconda가 유료화 된 것을 알고계신가요? 무료로 쓸 수 있는지, 유료 대상자라면 어떻게 해야하는지 추가로 설명 드리겠습니다. anaconda가 유료화 된 것을 알고 계신가요? 일반적으로 파이썬을 이용해서 머신러닝, 딥러닝 등을 구현할 때 가장 먼저 설치하는 것이 anaconda이다. 아래와 같이 anaconda는 2020년 9월 30일부터 유료화 됐다.(모두가 유료로 써야하는 것은 아니 leebaro.tistory.com anaconda에서 가상환경을 만들고 나면 아래와 같은 명령어를 이용해서 삭제할 수 있다. 가상환경 확인하기 [root@ vm envs]# conda info --envs # conda environments: # tensorflow35 /home/leebaro/anaconda3..

예전에 학교에서 추천 시스템 관련 수업을 들을 때 대체재와 보완재에 대한 개념을 배웠습니다. 그래서 회사에서 추천 시스템을 구축할 때도 이 컨셉으로 적용 했습니다. 그런데 실제 고객의 장바구니, 구매 데이터를 분석 하다보니 대체재와 보완재에 대해서 다른 측면으로 볼 수 있겠다고 생각이 들어서 시스템에 적용하기 전에 정리해볼 겸 적어 보려고 합니다. 우선 일반적으로 알고 있는 대체재와 보완재에 대해 이야기 해보겠습니다. 사전적 정의는 아래와 같습니다. 대체재 : 서로 대신 쓸 수 있는 관계에 있는 두 가지의 재화. 쌀과 밀가루, 만년필과 연필, 버터와 마가린 따위이다. 보완재 : 서로 보완 관계에 있는 재화. (출처 : 네이버 국어 사전) 예를 들자면 아이폰에게 갤럭시S는 대체재이고, 아이폰 케이스는 보완..

db2diag.log 파일을 이용하면 로그를 분석할 수 있다. 하지만 많은 로그가 남기 때문에 디스크 용량을 많이 차지한다. 이럴 때는 db2diag.log 파일을 사이즈를 줄여줘야 한다. 방법은 아래와 같다. db2diag -A 명령을 이용하면 기존의 db2diag 파일을 db2diag_yyyy-mm-dd 파일로 복사하고, 새 db2diag 파일을 만든다. 그럼 우리는 복사된 파일을 지우면 된다. 매번 작업하기 번거로우면 crontab을 이용해서 db2diag -A 명령을 이용해 백업하고 오래된 백업파일을 지우는 스케쥴을 만들면 된다.

차원 축소 기법 중 하나인 SVD(Singular value Decomposition, 특이값 분해)을 추천 시스템에 어떻게 적용하는지 예제를 통해서 알아 보도록 하겠습니다. 차원 축소 알고리듬은 대표적으로 3가지가 있습니다. 1. PCA(Principal component analysis, 주성분 분석) 2. SVD(Singular Value Decomposition, 특이값 분해) 3. NMF(Non-negative Matrix Factorization,비음수 행렬 인수분해) 이 중에 SVD에 대해 최대한 수학적인 내용들을 제외하고 추천 시스템에 SVD를 적용하기 위한 예제 위주로 설명을 드리겠습니다. 이론적, 수학적으로 설명된 자료는 많으나 실제로 코드를 이용해서 어떻게 구현하는지 나와 있는 자료가..

책이나 인터넷을 찾아보면 SVD 이론에 대한 내용은 많이 있지만, 추천 시스템을 개발 관점에서 SVD을 사용해야 되는 이유와 코드를 이용한 설명이 부족한 것 같습니다. 그래서 이번 기회에 정리해 보려고 합니다. 수학적으로는 선형대수학을 알아야 하지만 개발자 입장에서는 수식보다 코드를 보고 다양한 데이터를 대입해보면서 이해하는 것이 훨씬 빠를것 같습니다. 그래서 코드를 통해 쉽게 이해할수 있도록 정리해보겠습니다. 정리 순서는 아래와 같습니다. 차원 축소 정의SVD 정의SVD를 사용한 차원 축소SVD 계산R을 이용한 SVD 이해R을 이용한 추천 시스템에서 SVD 사용하기R을 이용한 비어있는 값이 많은 고객 데이터에서 SVD를 이용한 고객 예상 점수 예측하기 위의 내용은 아래 링크를 보시면 확인할 수 있습니다..

R에서 library를 호출할 경우 설치가 안되어 있다면 install.package("package name")을 해야하는 번거로움이 있다. 이럴 때 아래와 같은 코드를 실행하면, 해당 라이브러리 뿐만 아니라 종속성이 있는 라이브러리까지 설치가 된다. 정신 건강을 위해서 이용하자. if(!(require(pacman)) install.packages("pacman")pacman::p_load(data.table, dplyr, ggplot2) 아래 코드를 사용해도 설치된 라이브러리를 확인할 수 있다. list.of.packages

연관글 보기Association Analysis / Association Rule / Apriori 알고리즘 - 1 of 3Association Analysis / Association Rule / Apriori 알고리즘 - 2 of 3Association Analysis / Association Rule / Apriori 알고리즘 - 3 of 3 시각화를 이용하면 수 많은 데이터에서는 보이지 않는 특징이 쉽게 눈에 띈다는 장점이 있다. 그래프를 그리기 위해 상관관계를 보여주는 행렬을 구해서SNA(social Network Analysis) 라이브러리의 gplot 함수를 이용해 weighted graph를 그려보도록 하자.상관관계를 그리기 위해서는 데이터타입이 matrix여야 한다. 하지만 아래과 같이 ..

연관글 보기Association Analysis / Association Rule / Apriori 알고리즘 - 1 of 3Association Analysis / Association Rule / Apriori 알고리즘 - 2 of 3Association Analysis / Association Rule / Apriori 알고리즘 - 3 of 3 이번에는 직접 코딩을 하면서 association rule에 대해서 보고자 한다. 아래 데이터는 20개의 건물에 입주한 상점 유형을 보여주는 데이터이다. 이 데이터를 사용하여 association rule을 이용한다면, 건물을 기준으로 연관성이 있는 상점이 무엇인지 알아볼 수 있다. 이러한 사례를 응용한다면 온라인 쇼핑몰 장바구니에 담긴 상품을 기준으로 고객이..

가장 기초적인 알고리즘인 범위내의 숫자를 합하는 알고리즘이다. 숫자를 합하는 알고리즘은 대표적으로 2가지 방법이 있는데, 첫 번째 방법은 반복문을 이용해 숫자를 더하는 방식이다. 이 방식은 쉽지만 시작과 끝 숫자의 차이가 크다면 그만큼 반복을 해야하기 때문에 성능에 영향을 줄 수 있다.두 번째 방법은 천재 수학자인 가우스가 사용했다고 알려진 방법이다. 공식은 아래와 같다. $$\frac{n(n+1)}{2}$$ 1부터 100까지 더하는 문제라면 \(\frac{100(100+1)}{2}\) 이다. 이와 같은 알고리즘을 이용하면 반복문을 사용하지 않고 한번의 계산으로 값을 구할 수 있다. 그림으로 보면 아래와 같다. 제일 앞의 숫자와 제일 마지막 숫자의 합을 더하면 항상 101이 나온다. 그럼 1 부터 시작해..

인터넷을 뒤져봤는데 내 입맛에 맞게 간단하게 R notebook을 사용하는 방법을 찾을 수 없어서 정리해보았다. 가장 간단하게는 아래의 단축키만 알면 편하게 작업을 할 수 있다. R 스크립트 실행하기 shift+Ctrl+Enter HTML로 Preview 보기 shift+Ctrl+K R 스크립트 입력 행 새로 만들기 Ctrl+Alt+I 이제부터는 그림을 가지고 설명을 해보겠다. 1. 새로운 R Notebook 생성하기이것은 기존의 R Script를 생성하는 것과 별 차이가 없다. 2. R Notebook에서 단축키로 R Script 실행하기 R notebook을 만들면 아래과 같이 샘플 코드가 함께 나온다. R notebook을 사용법을 쉽게 설명하기 위한 용도이고, R Notebook 사용에 익숙하면 ..