프로도의 블로그

훈련 세트에서 테스트 데이터로 일반화(generalization) 되었다는 뜻은 머신러닝으로 만든 모델이 데이터에 대해서 정확하계 예측 되었다는 것을 의미한다. 가능한 정확하게 모델을 일반화 해야 예측률이 높아질 것이다. 모델을 만들때는 보통 데이터를 training set와 test set으로 나누어 사용한다. 학습에 사용한 training 데이터와 test 데이터가 비슷하다면 앞에서 만든 모델의 정확도는 높게 나올 것이다. 하지만 복잡할 모델을 만든다면 training set 데이터에만 정확한 모델이 나올 수 있다. training set이 정확한 결과를 보여주기 위해 복잡하게 모델을 만드는 것을 과대적합(Over fitting)이라고 하고, 반대로 모델이 너무 간단하여 정확도가 낮을 모델을 과소적합..

국세청, '빅데이터' 본격 가동…과세 그물망 더 촘촘해진다 출처: 차세대국세행정시스템(NTIS)으로 과거와 비교할 수 없을 정도로 고도화된 정보 시스템을 갖춘 국세청은 '빅데이터 분석 기법'을 활용해 한층 정교한 세금 사전안내 자료를 납세자들에게 제공할 예정이라고 밝혔다. 국세청은 카카오페이 등 핀테크 결제자료, 건강보험 청구정보, 국고보조금 집행내역 등 외부기관의 과세자료를 지속적으로 모으고, 기존 데이터와의 통합 분석을 강화해 다양한 안내자료를 제공할 방침이라고 밝혔다. Google Python Style Guide 출처: 한국가스안전공사, 4차산업혁명 대비...빅데이터 기반 기술개발 추진 출처: 한국가스안전공사 가스안전연구원이 오는 12월까지 빅데이터를 활용한 지능형 도시가스 배관 위험 예측 관리 ..

MIT 연구, 인공지능으로 스트리밍 영상 화질 최적화에 성공 출처: 인터넷 속도가 낮아도 동영상을 끊지기 않고 시청할 수 있을 것 같다. 많은 고객 데이터가 쌓이니 기계학습을 이용해 개선 시킬수 있나보다. “스마트팩토리가 고도화되면 에너지효율도 높아져” 출처: “스마트팩토리의 추진을 통해 얻을 수 있는 가장 큰 이점은 에너지 절감과 프로세스의 최적화로 볼 수 있다. 스마트팩토리가 고도화될수록 에너지 절감효과도 동반 상승할 것으로 보인다. 산업계에서 전기가 크게 소모되는 현장 중 70~80%가 공장으로, 이곳에서 소모되는 전기 중 모터의 전기소모량이 매우 크다. 때문에 실제 부하측에서 요구되는 만큼만 효율적으로 모터를 제어/운용하게 되면 손쉽게 에너지 효율을 높일 수 있다.”고 언급했다. 딥러닝을 위한 T..

IBM, 딥러닝 학습 속도 높이는 새 기술 개발 출처: IBM은 딥러닝 모델 학습 시 여러 물리 서버로 자동 분산하는 새로운 기술 DDL(Distributed Deep Learning)을 공개 했다. 다만 IBM 파워AI 4.0 S/W에서만 작동되고 이 것은 IBM 하드웨어 시스템에서만 작동한다 앤드류 응 "AI로 AI가 만드는 문제 해결한다" 출처: 앤드류 응은 '17년 3월 바이두를 나와서 deeplearning.ai 라를 스타트업을 만들었다. 기본적인 컴퓨팅 능력이 있으면 딥러닝을 쉽게 배울 수 있게 하는 것이 목표다. 코세라에 "Deep Learning Specialization이라는 강의도 오픈했다.(https://www.coursera.org/specializations/deep-learnin..