본문 바로가기
Data Analysis/통계분석

데이터 분석... 데이터만 보는데도 시간이 부족하다.

by 불탄오징어 2019. 4. 23.
반응형

예전에도 그랬고 지금도 그렇고 앞으로도 그렇지만 항상 마법의 단어는 필요한것 같습니다. 약 10년 이전에만해도 CRM이 5~6년 전에는 빅데이터가 지금은 딥러닝과 AI라는 마법의 단어가 있죠. 왜 마법의 단어라고 하냐면 통과 안될 보고서나 기획서도 이 단어가 들어가면 통과가 되거든요. 

 

교육도 비슷한거 같아요 실제와 관계없는 단어를 붙이는 걸보면요. 실제 데이터를 보고 만져보고 꼬아보고 들여다보고 멀리서보고 하는 것들이 필요하고 이런 경험들이 쌓이면 데이터에 의해 발생할 수 있는 오류나 실수를 최소화 할 수 있게 됩니다. 수많은 강의들이 있고 유투브에도 강의들이 떠다닙니다. 대학교에서도 취업을 위해 강의들을 개설하고 있습니다. 대부분의 강사, 교수님들은 본인들의 분석 경험과 지식을 바탕으로 교육을 하시겠지만 정말 일부의 강사들은 본인들이 기본적인 실수를 하고 있다는 것조차 인지를 못한 체 지식을 전하고 있습니다.

 

예를 하나 들어보면 7년간 취업자 수가 다음의 그래프와 같다고 가정합시다. 

같은 데이터 다른 그래프

두 그래프는 동일한 데이터를 다르게 표현하고 있습니다. 통계가 거짓말이다라는 이야기를 할 떄 단골처럼 등장하는 그래프 형태인데 우측의 그래프는 축의 최소/최대값의 폭을 줄여 년도별 취업자 수의 변화를 더 극적으로 보여주고 있죠.

그러면서 문구는 자극적으로...

 

"취업률 급감!!!!"

 

웃긴건 두가지인데 취업자 수를 보여주고 취업률을 이야기하는건 일단 말이 안되며, 그래프의 변화가 경우에 따라서는 급감이 아닐 수도 있다는 점... 물론 우측과 같은 그래프를 사용하는 경우는 예외가 있을 수 있습니다. 이미 해당 지표, 여기서는 취업자수, 에 대해서 해당 도표를 볼 당사자들이 충분히 공감하고 있는 지표거나 충분히 이해를 하고 있는 지표의 경우는 문제가 되지 않겠죠. 취업자 수가 통상 100만 에서 크게 변하지 않았는데 최근들어 변화가 하향하며 그 추세가 지속적이다. 라는 해석이 공통적으로 할 수 는 대상자들이라면....

 

실제로 최근에 본 사례이며 떡하니 SNS에 올려두기까지 했는지라... 뭔가 답답증이 올라왔다. 개인적으로는 이것 또한 기본에 충실하지 않기 떄문이 아닐까?  데이터라는 기본!

 

매번 주위에 이야기를 하는 주제인데 통계분석, 데이터분석, 빅데이터분석, 딥러닝에 따라는 기술은 결국 도구일 뿐입니다. 효율성이나 목적성에 따라 유용하다 유용하지 않다 차이가 있을 수 있지만 각 제반 기술들은 죄가 없어요. 나쁜 건 없습니다. 가끔 딥러닝이 통계분석 보다 더 유용하고 멋지다. 통계분석은 구시대 유물이다. 라고 이야기 하는 친구들이 있는데 통계분석이든 빅데이터 분석이든 결국 데이터가 중요한것 같아요.

 

데이터가 없으면 뭐든 할 수 있는게 없을 뿐더러 있다고 한들 데이터에 대해서 모르면 우수한 기술이 있어도 써먹질 못하거든요. 결국 데이터가 중요하고 데이터가 중요하니 이를 수집하고 저장하고 분석하는 기본 기술이 따라와야합니다. 어느것하나 뒤쳐지거나 부족하면 앞으로 나갈 수가 없고 매번 뭔가를 할때마다 "데이터가 없어서 못해요"라는 소리를 들을 수 밖에요.

 

대부분 진짜 데이터가 없어서 못하는거에요  수집을 안하거나 수집을 해도 시점별로 저장하지 않고 삭제하고 있거나 있어도 데이터에 대한 이해가 없어서 연결관계를 모르거나 여러 케이스가 있습니다. 중요한건 데이터를 잘모으고 잘보관하고 잘봐야합니다. 데이터는 시시각각변하고 양은 점점 늘어나며 그동안 모았던 데이터로 예측하면 항상 맞는다는 보장이 없습니다. 모으고 보관하고 분석하고 끊임없이 반복해야 데이터에 대한 지식이 늘고 이를 바탕으로 하면 어떠한 데이터 기술을 적용해도 빛을 볼 수 있다고 생각합니다. 그게 기본인데 참 요즘 답답하다는 생각을 많이 하네요.

 

개개인이든 회사든 너무 유행을 쫓지 말고 좀더 기본에 충실 하도록 본인들의 스킬을 다듬고 조직을 정비하고 이런 과정들을 거치면 좋겠는데 참 아쉽네요. 유행 쫓지마요. 결국 충실한 기반이 없으면 쫓다가 가랭이 찢어집니다. 아니면 또 기술 탓만 하게 되구요. 

 

늦은 밤 주저리주저리 글을 남겨봅니다.

댓글