티스토리

봉구리밥스
검색하기

블로그 홈

봉구리밥스

bongury.tistory.com/m

데이터 분석/게임 관련하여 주 관심사 포스팅을 주로 하고 있습니다.

구독자
20
방명록 방문하기
공지 시각화 분석 및 데이터 분석 관련 글⋯ 모두보기

주요 글 목록

  • [R] 주식 DATA 수집/분석 - 3 이전에 주식종목 코드 하나에 대해서 주식 정보를 가져온 후 Database에 저장을 했습니다. 이번에는 여러 종목 코드를 가져와서 저장할 수 있도록 준비를 해보려고 합니다. 먼저 주식 종목 코드를 가져와야하는데 아래의 한국거래소에서 이미지에 표기 된 순서대로 이동을 하면 사장회사 검색화면을 띄울 수 있습니다. 한국거래소 한국거래소 www.krx.co.kr 상장회사검색 화면 우측에 보면 데이터를 다운로드 받을 수 있도록 excel, csv 형식으로 지원하고 있습니다. 일단 csv 파일로 해서 "c:/temp/"에 저장했습니다. 파일을 열어보면 종목코드, 기업명 외에 상장 주식수, 자본금등의 정보를 제공합니다. 문제는 구분자로 사용되어야할 ","(콤마) 가 숫자내에도 같이 들어있어서 난감합니다. 저 숫자 안.. 공감수 0 댓글수 0 2020. 5. 27.
  • [R] 주식 DATA 수집/분석 - NAVER 주식 Data 가져오기 -2 이번에는 다량의 주식 데이터를 가져와서 Database에 저장해보겠습니다. 먼저 Database를 간단하게 만들어 봅니다. CREATE TABLE test..DD_STOCK_PRC ( CODEVARCHAR(6) NOT NULL ,DTDATE NOT NULL ,CLOSE_PRCINT NOT NULL ,DIFF_RTREAL NOT NULL ,OPEN_PRCINT NOT NULL ,HIGH_PRCINT NOT NULL ,LOW_PRCINT NOT NULL ,VOLUME_QTYINT NOT NULL ,PRIMARY KEY CLUSTERED (CODE, DT) ) 네이버 주식 데이터의 순서를 참조하여 주식코드, 일자, 종가, 전일비, 시가, 고가, 저가, 거래량 순으로 저장하는 구조입니다. 다음으로 저번과는 달리.. 공감수 0 댓글수 0 2020. 5. 17.
  • [R] NAVER 주식 DATA 가져오기-1 오랜만에 해보는 R 공부? 입니다. 이번에 해볼 것은 R을 이용해서 NAVER 금융의 주식 데이터를 가져와보려합니다. 해당 주제는 여러분들이 공부해서 이미 많은 포스팅이 있지만 한번 독학으로 쭉 진행해보려합니다. 1) NAVER 금융 페이지 예시로 카카오 주식(035720)을 검색해서 페이지를 띄워보겠습니다. '시세'탭을 클릭해서 보면 아래와 같은 화면을 얻을 수 있습니다. 1-1) 개요 부분 현재가, 고가, 저가,거래량등 개요부분이 있고 아래 쪽으로는 주요시세, 시간별 시세, 일별 시세가 있습니다. 시간별 시세, 일별 시세는 페이지 구조로 구성되어 장기간의 데이터를 얻을 수 있는 구조로 되어있네요. 먼저 개요부분 html을 뜯어봅니다. 카카오 시세가 206,000원으로 되어있는데 이부분을 구조를 보면 .. 공감수 0 댓글수 1 2020. 5. 7.
  • [R] Apply 함수를 알아보자 보통 apply 계열 함수라고 이야기 하는데 apply, tapply, lapply, mapply 등 apply 이름 앞에 영문자가 하나 붙는 형태로 구성이 됩니다. 보통 입력값과 출력값에 따라서 함수 종류가 달라지며 용도는 짧은 코드로 반복 명령 수행을 위해 사용합니다. 함수 설명 apply 주어진 데이터를 행 또는 열 기준으로 연산을 수행하는 함수 tapply 지정한 그룹(Factor) 기준으로 연산을 수행하는 함수 lapply 실행결과가 list 형태로 출력되는 함수 sapply lapply의 simple 버전 성능 for 문에 비해서 인지,가독성은 떨어질 수 있지만 apply 계열 함수를 이용하는 이유는 짧아지는 코드와 성능 때문이라고 합니다. 실제로 저도 특수한 경우를 제외하고는 apply 계열.. 공감수 0 댓글수 0 2020. 4. 21.
  • [R] DAUM 영화 평점을 가져와서 분석하기 - 2 2016/02/23 - [Data Analysis/R] - [R] Daum 영화 평점을 가져와서 분석하기 - 1 구조가 파악이 됐으면 구조에 따라 필요한 정보를 가져와 추출한다. 그림에서와같이 Comment의 경우 밑에 있는데 이 경우 rvest의 html_node()를 활용하여 해당 부분을 추출할 수 있다. html_node('span.comment') 이를 이용하여 다음과 같이 스크립트를 구성할 수 있다. library(rvest) reviews 공감수 0 댓글수 0 2016. 2. 23.
  • [R] Daum 영화 평점을 가져와서 분석하기 - 1 스크랩핑? 크로울링? 용어가 다소 생소하지만 웹상의 데이터를 가져오는 것을 스크래핑이라고 하는 것 같습니다. 정확한 용어는 찾아보고 다음에 정리해야지. 여튼 분석용 데이터를 구하기 위해서 웹상의 데이터를 많이 이용하는데 그중에 텍스트 데이터를 수집하기 위해서는 스크랩핑만한게 없는 것 같습니다. 보통 python을 이용을 많이 하는 것 같은데 본인은 R로 공부도 할겸 정리를 해봤습니다. 이용한 package는 rvest를 사용하여 Daum 영화 평점 및 Comment를 가져왔습니다. 웹상 데이터를 가져오기 위해서 해당 웹페이지에 대해 분석이 필요합니다. 먼저 현재 Daum 영화 평점 순위 페이지로 이동해 보면 다음과 같이 확인이 가능합니다. ==> 이동 여기서 녹색 부분의 평점과 코멘트가 필요한데 위의 부.. 공감수 0 댓글수 2 2016. 2. 23.
  • [R] R 배치 프로그램 이것도 내가 찾고 싶을 때 찾아보게 기록해두는 간단한 팁. R을 이용해서 분석을 수행하고 알고리즘이 확정되면 배치를 통해 주기적으로 수행이 필요한데 보통 bat 파일을 생성한 후 이것을 윈도우 Job Scheduler에 등록하여 운영한다. (다른 사람들은 어찌할려나 'ㅅ'); 일단 간단한 R 코드는 다음과 같다. # configuration root.directory 공감수 0 댓글수 2 2016. 1. 7.
  • R : Data.table 공부 R에서 여러 유용한 패키지가 많은데 Data.table을 단연코 최고가 아닐까 생각한다. 다만 기존 Data.frame과 달리 유용한 반면 사용법이 달라서 매번 까먹거나 헷갈리네... 조금 공부도 할경 정리도 할겸 포스트를 써보았다. 조금씩 추가하면서 정리해야겠다. library(data.table) # Data load dt 150 & Ozone < 20 ] dt[Ozone %between% c(11,14)] dt[test == "None"] dt[test %like% "^N"] dt[test %chin% "None"] # Join DT = data.table(x=rep(c("a","b","c"),each=3), y=c(1,3,6), v=1:9) setkey(DT, x) X = data.table(c(.. 공감수 0 댓글수 0 2015. 12. 6.
  • R : Rfacebook 패키지 예전에 썼던 글에서는 Facebook의 API를 이용하여 post를 가지고 오고 이를 Parsing해서 wordcloud를 그렸었는데 Facebook에 대한 패키지가 있었네... 몰랐다니.. ㅠㅠ 유저정보를 가져오거나 친구에 대한 Network 가져오는듯 다양한 기능이 있다. 이번 포스트에서는 간단하게 이전에 만들었던 Script를 수정해볼려고 한다. 수정해놓고 Spotfire와 연동 예제도 만들어둬야겠다... access_token 공감수 0 댓글수 0 2015. 4. 13.
  • R : Text Mining... KoNLP 패키지를 사용해서 단어 추출하고 추출된 단어 집합에서 연관성 분석을 해볼려고 했더니 R이 죽는다.!! Facebook에서 25포스트를 추출해서 분석했는데 체크를 해보니 메모리 부족.... 메모리 8GB로는 무리인건지..... 생각은 Spotfire와 연계하는 Dafa function을 3단계로 나눠서 아래와 같이 만들어볼려고 했는데....생각보다 메모리를 많이 쓴다는 점에서 고민이 커졋다.. 매우 커졌다.. 1) Facebook 데이터 추출 2) Post 정리 및 단어 추출 3) 연관성 분석 또는 Wordcloud 실행 공감수 0 댓글수 0 2015. 2. 4.
  • 프로젝트 하면서 매번 느끼는 건데 프로젝트 하면서 매번 느끼는 건데 필요한 함수들을 그때 그때 새로 짤려니 완전 고역이다.물론 프로젝트 상황이나 환경 때문에 매번 같은 함수나 기능이 필요한 건 아니지만 Main이 될만한 소스 그룹이나 레퍼런스가 있으면 참 좋겠다는 생각을 한다. 컨설턴트를 시작해서 몇군데 프로젝트를 다닐 때도 그런 생각을 했었는데 그런 걸 만들자고 회사에 제안 했다가 단번에 묵살 당했다. 그럴 시간에 하나라도 더 뛰라나 ㅎㅎㅎㅎ 결국 그회사를 나왔지 ㅋ 이럴 때는 정말 Visual Studio나 타 프로그래밍 언어가 부럽슴... ㅎㅎㅎ R도 관련된 것들이 많을 텐데 좀 찾아보고 나만의 레퍼런스를 만들어야 겠다.효율적인 프로그래밍 구현에 관한 서적이나 자료도 좀 찾아봐야겠고... 무시안당할라면 공부해야지 뭐 'ㅅ'); 공감수 0 댓글수 0 2014. 12. 31.
  • R : Column 명에 따라 Dynamic query 생성하기 테스트 삼아 만들어본 예제.... toString()을 첨 알게 된 기념으로...Posting columnName 공감수 0 댓글수 0 2014. 10. 8.
  • R : 공부 목표 역시 초기에 반짝하고 점점 게을러지네... 물론 결혼하다보니 집에서도 와이프하고 할 것도 많아진 탓도 있고 회사에서도 이래저래 일이 많다보니.... 그래서 몇가지 목표를 잡아둘려고 한다. ■ 공부해야할 것들 1. R 병렬 프로그래밍 - PDF로 된 전자책까지 샀음... 공부해야지.. - 최근 프로젝트 후 느끼는 바이지만 단일 코어로는 속도가 너무 느리다.. - 활용하면 개선할 수 있는 부분이 많을 것 같아서 공부하려고... 2. 베이지안 통계 - 이것도 역시 책을 샀음.... - 여러모로 활용도가 높을 것으로 보임.... 3. Visual C# with spotfire - Spotfire 내에서 개발이 가능한데 회사에 있을때 공부하자... =_=); - 일단 목표는 R과 연동한 통계 프로그램 Tool 개발 공감수 0 댓글수 0 2014. 9. 12.
  • R : ggplot2을 사용할 때 gridExtra Package로 차트를 분할 출력 R의 기본 차트들의 경우 par(mfrow=)를 사용하여 출력하고자 하는 공간을 분할하여 출력이 가능하다. 당연히 ggplot2도 par() 영향을 받을 줄 알았더니.. 아니네?? gridExtra 패키지를 사용하면 쉽게 가능하다. require('gridExtra') require('ggplot2') p1 공감수 2 댓글수 0 2014. 3. 20.
  • R : Errorbar Spotfire에서는 기본적인 기능으로 ErrorBar를 그릴 수 있는데 문득 R에서는 어떻게 그릴까 해서 찾아봤다... d 공감수 0 댓글수 0 2014. 3. 19.
  • R : ggplot2 - boxplot + scatterplot(jittering) 간만에 R 관련 포스팅이다. 일이 좀 있어서 내용을 찾아보다가 ggplot2에 대해 또 한번 감탄했다.. 안되는게 뭘까? require(ggplot2) ggplot(ToothGrowth, aes(x=interaction(supp,dose),y=len)) + geom_boxplot() + geom_point(position=position_jitter(w=0.1)) 참조할만한 사이트가 있어서 내용을 추가한다. http://www.ats.ucla.edu/stat/r/gbe/ggplot_boxplot.htm 공감수 0 댓글수 0 2014. 2. 14.
  • R : gsub() 함수 활용 플젝 준비기간이라 R 스크립트 공부 겸 기존 플랫폼 연구 개선 중인데 장문의 Query문의 경우 중간중간에 들어가는 변수들을 외부에서 처리하려고 하니 paste문을 많이 써야 하는 단점이 있다.. 개선할 수 있는 방법이 없을까 하다가 예전에 php 할 때 했던 템플릿 처리 방법이 생각나서 어설프게 적용해봄....(기억이 잘 안남...) 여튼 요지는 Query 문을 따로 두고 Query 문 안에 대체할 변수위치를 지정해둔 후 해당 쿼리를 불러서 입력하고자 하는 값을 대체하는 방법으로 하는건데 gsub() 함수가 유용하네.. 쿼리문의 복잡하면 이게 편하지 않을까 생각함... require(RJDBC); require(rJava); getDate 공감수 0 댓글수 0 2013. 12. 5.
  • R : RJDBC를 이용한 Oracle 연결하기 회사에서 쓸 일이 있어서 RJDBC를 사용해봤다. Oracle이랑 연결하기 위해 사용했는데 어렵진 않은듯? Oracle 셋팅하는게 어렵지.. =_=);;; RJDBC를 사용하기 위해서는 rJava도 같이 필요하다. (rJava 안불러와서 왜 안되는지 1시간동안 끙끙대며 씨름했다..) require(RJDBC); require(rJava); drv 공감수 0 댓글수 0 2013. 11. 27.
  • R : odbc를 사용하여 MSSQL 접속 매번 데이터를 로컬에서 가져다가 분석하다보니 DB에 저장해놓고 데이터를 끌어다볼까 해서 작성해봤다... 역시 이번도 저장 목적.... odbc를 사용하여 DB에 접속을 할 것이기 때문에 odbc 등록이 먼저 필요했다. (사진은 귀찮아서 못붙이겠다... ㅠㅠ) 1. 제어판 - 관리도구 - 데이터 원본(ODBC)로 이동 2. 추가 - "SQL Server" 선택 3. 이름 작성, 연결할 SQL Server 지정 4. "사용자가 입력한 로그인 ID 및 암호를 사용하는 SQL Server 인증 사용" 선택 5. 계정정보 입력 6. 데이터 베이스 선택 7. 마침 위에서 설정한 ODBC와 R package인 "RDOBC"를 사용하여 DB에 접근이 가능하다. require(RODBC) msconn 공감수 0 댓글수 0 2013. 11. 18.
  • R : XML 데이터를 Parsing하여 데이터로 처리하기 이브온라인 팬사이트 중에서 게임 내 마켓 정보를 담아 놓은 http://eve-central.com/라는 사이트가 있다. 해당 사이트에서 API 형태로 마켓 정보를 XML 로 던져주는데 해당 값을 R로 데이터 프레임으로 처리하는 스크립트를 작성했다. 약간 저장 목적? ㅎ require('XML') query = 'http://api.eve-central.com/api/quicklook?typeid=29668' plex_row 공감수 0 댓글수 2 2013. 11. 15.
  • R : Facebook 데이터로 Word Cloud 그리기.. 트위터 글로는 Word Cloud 그리는건 많지만 페이스북은 잘 안보여서 뚝딱뚝닥 해봤다. (일단 트위터는 Oauth가 바껴서 귀찮.... 페이스북은 Access Token만 있으면 돼서..) 내가 좋아하는 골프존의 페이스북에 올라온 포스트에 대해서 Word Cloud를 만들었다. 만드는 김에 데이터 가져올때 likes 카운트도 가지고 왔는데 나중에 쓸모가 있겠지... 역시 ..... 골프존이라 골프가 제일커.... # facebook 데이터를 가져오기 위해서는 permission이 필요하고 전체 newsfeed를 가져오려면 권한 중 read_stream 권한이 필요하다. access_token 공감수 0 댓글수 4 2013. 9. 24.
  • R : R script에서 다른 R script 가지고 오기(Source) R 스크립트가 길어지거나 나만의 함수 같은 것을 따로 만들어놨다면 따로 저장해두고 불러오는 방법이 편하다. 예전에 SAS로 프로젝트를 할 때는 작업용 Macro 함수를 몇개 만들어 두고 다 따로 저장을 해둬서 필요할 때마다 Include하는 방식으로 했었는데... R 도 비슷한 명령어가 있다. source("[R 스크립트 경로]") source("D:\Rstudy\test.r") 특이한 점은 기본적으로 사용하는 Plot()의 경우 Source로 불러오면 차트가 출력되지만 ggplot()은 출력이 되지 않는다. 물론 변수로 받은 후에 다시 호출하면 출력이 되지만... 회사에서 Spotfire와 R 같의 연동을 할 일이 많으니 종종 문의 들어오는 것이 Script가 1,000 줄 이상이면 어떻게 하냐? 일일.. 공감수 0 댓글수 0 2013. 9. 10.
  • R : 문자로 된 날짜를 Date Type으로 변경하기(as.Date(), strptime()) 문자로 된 날짜를 Date Type으로 변경하는 방법을 정리해보자. (자꾸 까먹어서 따로 정리 좀 ...) 사용방법은 동일한 두 함수가 있다. as.Date(), strptime() x1 공감수 0 댓글수 0 2013. 9. 9.
  • R : get 함수 get 함수는 문자열에 해당하는 R 객채를 반환한다. get(paste("a_",i,sep="") for(i in 1:10) { get(paste("a_",i,"sep="") } 예 : get(paste("a_", i, sep="") SAS에서 재미있고 강력한 기능이 매크로인데 현재 떠오르는 건 세스 Macro 변수처럼 쓸 수 있겠다는 생각밖에 안든다.(아무래도 SAS로 3년간 일하다보니 아직 SAS 기준... ) 물론 다른 함수들 처럼 다양하게 쓸 수 있겠지만.. 공감수 0 댓글수 0 2013. 9. 3.
  • R : 시계열 관련 함수 1. Arima : ARIMA 모형 추정을 위한 함수 arima(x, order = c(0, 0, 0), seasonal = list(order = c(0, 0, 0), period = NA), xreg = NULL, include.mean = TRUE, transform.pars = TRUE, fixed = NULL, init = NULL, method = c("CSS-ML", "ML", "CSS"), n.cond, optim.method = "BFGS", optim.control = list(), kappa = 1e6) 2. ACF, PACF acf(x, lag.max = NULL, type = c("correlation", "covariance", "partial"), plot = TRUE, na... 공감수 0 댓글수 0 2013. 9. 3.
  • R : Wordcloud (미완) ㅁ wordcloud : wordcloud 생성 명령어, wordcloud 패키지를 install하면 사용할 수 있다. ㅁ 기본 사용방법 - wordcloud(단어, 각 단어 빈도수) : 각 단어 빈도수 만큼 wordcloud 출력 - wordcloud(문장 or 글) : 글내에서 각 단어의 빈도수 만큼 자동 추합하여 wordcloud 출력 ㅁ 실제 유의미한 wordcloud를 출력하려면 textmining 패키지를 사용하여 데이터 정제가 필요할 것 같다. 예를 들면 구두점(아직 정확히 의미를 모르겠다)이나 조사 같은 것들을 제외한 후 실제 의미를 가지는 단어들로 정리하는 것. ㅁ 이런 정제를 위해 textmining에서는 여러가지 함수를 제공한다. - extractNoun(pkg - KoNLP), re.. 공감수 0 댓글수 0 2013. 8. 30.
  • R : Twitter OAuth for R Twitter OAuth 정책이 바뀌었다나 어쨌다나 Twitter에 대한 기능들을 쓰려면 OAuth를 받아야 한단다. 1. https://dev.twitter.com/apps/new 에서 새로운 App으로 등록2. OAuth 관련된 정보들을 생성할 수 있는데 이를 이용해서 아래의 스크립트를 실행한다. library(twitteR) cainfo 공감수 0 댓글수 0 2013. 8. 30.
  • R : Facebook 데이터 가져오기 트위터에서 데이터를 가져오는 걸 찾아보다 Facebook도 가능하지 않을까 해서 찾아보다가 Facebook Graph API를 사용하는 것을 알게 되었다. 역시나 트위터 처럼 Access Token이 필요하다. 트위터보다는 발급이 아주 간단함 https://developers.facebook.com/tools/explorer 위 주소로 가서 Access Token을 발급하여 사용하면 된다. 이때 권한을 체크 해줘야 하는데 News Feed 값을 모두 가져오려면 Read Stream 권한을 꼭 체크해줘야한다.(이걸 몰라서 왜 글이 다 안나오는 지 심각하게 고민함 ㅠㅠ) 그럼 아래와 같은 간단한 Function을 통해서 Facebook 에서 데이터를 가져 올 수 있다.(솔직히 함수 수준은 아니지만... 앞으.. 공감수 0 댓글수 0 2013. 8. 29.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.