제 1절 데이터 모델의 이해 1. 모델링의 이해 모델링의 정의 다양한 현상에 대해 일정한 표기법에 의해 표현해 놓은 모형(모델)을 만드는 것 다양한 정의 가설적 또는 일정 양식에 맞춘 표현 예비표현으로 최종대상이 구축되도록 하는 계획 복잡한 ‘현실세계’를 단순화하여 표현하는 것 사물 또는 사건에 관한 양상이나 관점을 연관된 사람이나 그룹을 위하여 명확하게...

주가 차트를 기술적으로 분석하기 위한 지표들과 공식에 대한 설명은 인터넷에 많이 나와있지만, 직접 만드는 법에 대해서는 나와있는 글이 많지 않습니다. 공식을 실제 코드로 구현해 보는 것도 좋지만, 그러기에는 낭비하는 시간이 너무 많잖아요? 공식들을 빠르게 계산하는 알고리즘은 이미 나와 있으니, 가져와서 사용만 해 봅시다. ta-lib 설치하기 ta-lib 홈페이지(https://www.ta-lib.org/) 원래 ta-lib 는...

제 1절 분산 데이터 저장 기술 1. 분산 파일 시스템 구글 파일 시스템(GFS) 가정 저가형 서버 사용, 빈번한 고장 발생 대부분의 파일은 대용량 작업 부하는 주로 연속적으로 많은 데이터를 읽는 연산이거나 임의의 영역에서 적은 데이터를 읽는 연산 주로 순차적으로 데이터 추가, 갱신은 드뭄 여러 클라이언트가 동시에 동일한 파일에 데이터를 추가하는...

제 1절. ETL(Extraction, Transformation and Load) 1. ETL 개요 데이터의 이동과 변환 절차, 3가지 기능으로 구성 Extraction(추출) - 데이터 원천들로부터 데이터 획득 Transformation(변형) - 데이터 클렌징, 형식 변환, 표준화, 통합, 애플리케이션에 내장된 비즈니스 룰 적용 Loading(적재) - 변형 단계가 완료된 데이터를 적재 2. ODS 구성 ODS(Operational Data Store)는 추가 작업을...

제 1절 빅데이터 분석과 전략 인사이트 1. 빅데이터 열풍과 회의론 데이터에서 가치(통찰)을 끌어내 성과를 창출하는 것이 관건 2. 왜 싸이월드는 페이스북이 되지 못했나? 데이터 분석 기반의 경영 문화의 부재 비즈니스의 핵심 가치와 연관된 심도있는 분석을 수행하지 못함 싸이월드 핵심 고객들의 지표가 악화되고 있었으나 대처하지 못함. 3. 빅데이터 분석, ‘Big’이 핵심...

제 1절 빅데이터의 이해 1. 정의 맥킨지, 2011 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터다. 규모에 중점을 둔 정의 IDC, 2011 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용을 가치를 추출하고 데이터의 초고속 수집·발굴·분석을 지원하도록 고안된 차세대 기술 및 아키텍처이다. 분석 비용 및 기술에 초점을 맞춤...

제 1절 데이터와 정보 1. 데이터의 정의 데이터의 정의 주어진 것. 추론과 추정의 근거를 이루는 사실. 정성적 데이터 - 언어, 문자 등 정량적 데이터 - 수치, 도형, 기호 등 암묵지와 형식지 암묵지 - 개인에게 습득, 겉으로 드러나지 않음. 내면화된 지식을 조직의 지식으로 공통화 형식지 - 형상화된 지식, 전달과 공유 용이....

Windows 10에서도 맥이나 리눅스처럼 bash를 사용할 수 있게 되었습니다. Anniversary update에 추가된 기능인 Windows Subsystem for Linux(WSL) 덕택인데요. 64비트 Windows 10을 사용하면서 업데이트를 제때 했다면 누구나 사용 가능합니다. 기존에 mingw나 cygwin같이 리눅스 환경을 에뮬레이팅 하는 것이 아닌 리눅스 바이너리를 윈도우에서 직접 동작하게 하는 방법이라 속도 면에서도 빠르고, 우분투를 만드는 캐노니컬과의...

깃헙 페이지(github pages, https://pages.github.com)는 정적(static, 내용이 고정된) 사이트를 호스팅 할 수 있는 툴입니다. 깃헙 리포지토리에 html, css, js, 이미지 등을 올리면 인터넷에서 볼 수 있도록 무료로 호스팅을 해줍니다. 그런데 github pages에서는 jekyll이라는 사이트 생성기를 기본적으로 지원하고 있어서 블로그 용도로도 사용이 가능합니다. 글의 내용이 들어있는 markdown 파일만 github에 올리면 그에 맞추어...

야후 파이낸스 API를 이용하여 주가정보 수집하기에서는 종목코드(주식코드)를 하나씩 입력해야 주가정보를 다운로드 할 수 있습니다. 코스피나, 코스닥 전체의 정보를 받고 싶으면 시장에 속해 있는 기업들의 종목코드 리스트를 알아야겠죠? http://financialfreedom.kr/834-2/에 종목코드를 한번에 받을 수 있는 쉬운 방법이 올라와 있어서 파이썬으로 리스트를 바로 받을 수 있게 만들어 봤어요. 파이썬을 안 쓰고 엑셀로 받으시려면...

python 3.6이 새로 나오고 나서 신나게 업그레이드를 한 후에 데이터 파일을 열어보았다. 생전 처음 보는 에러를 뿜으며 열리지가 않는다. 아닛!! 데이터가 다 날라간건가?? 라는 생각이 들 정도로 멘붕이 왔다. 파이썬 코드라면 어떻게 소스라도 볼텐데 c extension쪽에서 뻗어버리니 손쓸 방도가 없다. import pandas as pd from pandas import DataFrame df =...

머신러닝을 할 때는 모든 데이터를 숫자로 넣어주어야 합니다. 개인의 출신 지역(서울, 부산, …)이나 전공한 학과(경영학과, 경제학과, …) 같이 글자로 되어있지만 몇 가지로 분류할 수 있는 데이터는 어떻게 숫자로 바꾸어야 할까요? 서울=1, 부산=2, 경기=3, 강원=4 … 이렇게? 각 지역에 코드를 지정해서 숫자로 표시하는 방법이 있겠죠? 데이터베이스에서 자료를 내려받는 경우에 용량을 아끼려고...

공모 형태로 안정적인 수익률을 보장한다는 선박펀드, 7%의 안정적인 수익률과 10%가 넘는 현금 배당 실적으로 안정적인 투자처라고 생각했다. 물론 내가 사니까 주식은 떨어지기 시작했다. 주당 3000원에 달하는 주가는 슬슬 떨어지기 시작하더니 지금은 반토막난 1650원대를 오르내리락 하고 있다. 현재 청산 절차를 밟고 있는 한진해운을 국유화하겠다는 한 대권주자의 발언과 함께 한진해운에 배를 빌려줬던...

spyder에서 한글 입력이 안될때1 ibus를 사용한다 $ im-config -n ibus 재부팅하고 ibus 설정 참고: http://blog.daum.net/bagjunggyu/191 rstudio에서 한글 입력이 안될때(1)2 일본 블로그(いくやの斬鉄日記)에서 패치한 fcitx를 사용한다. 임시 디렉토리로 이동해서 파일을 다운받고 설치한다. $ wget http://ikuya.info/tmp/fcitx-qt5-rstudio.tar.gz $ tar xf fcitx-qt5-rstudio.tar.gz $ cd fcitx-qt5-rstudio $ sudo apt install ./fcitx-frontend-qt5-rstudio_1.0.5-1_amd64.deb ./libfcitx-qt5-1-rstudio_1.0.5-1_amd64.deb rstudio에서 한글 입력이 안될때(2)3...

pip로 hangul-utils를 설치한다 $ pip install hangul-utils 설치한 후 python에서 함수를 import, 샘플 텍스트 준비 from hangul_utils import split_syllables, join_jamos sample_text = '''[리포트] 어제만 해도 차갑던 저녁 공기가 한층 온화해졌습니다. 때맞춰 이곳 삼청동 길에도 사람들이 붐비고 있는데, 문제는 미세먼지입니다. 대기정체로 먼지가 빠져나가지 못하면서, 내일까지는 곳곳에서 평소 두 세배 수준의 짙은...