주제가 정해지고 데이터가 모였다. 그러나 데이터를 열자마자 모델을 만들면 대개 실패한다.
어떤 값이 들어 있는지, 값의 범위가 어떤지 모르는 상태에서는 결과를 믿을 수 없다. 먼저 데이터를 살펴보는 단계가 필요하다.
탐색적 데이터 분석이란
이 단계의 이름은 (Exploratory Data Analysis, EDA)이다.
데이터를 요약하고 그려 보면서 무엇을 물어야 할지 찾는 단계다.
결론을 증명하는 단계가 아니다. 이 단계의 산출물은 답이 아니라 질문 목록이다.
같은 데이터라도 어떤 질문을 던지느냐에 따라 이후 분석이 완전히 달라진다.
- 탐색적 데이터 분석(Exploratory Data Analysis, EDA)
- 데이터를 요약하고 시각화해 구조와 특징을 파악하는 분석 단계. 가설을 검증하기 전에 물어볼 질문을 찾는 것이 목적이다.
예시 데이터로 탐색하기
아래는 한 학교의 월별 전기 사용량이다. 설명을 위해 직접 만든 예시 값이다.
학기 순서에 맞춰 3월부터 2월까지 늘어놓았다. 먼저 그림으로 전체 모양을 확인한다.
그림에서 두 가지가 보인다.
첫째, 봉우리가 두 개다. 7~8월과 12~1월에 값이 높다. 여름 한 번만 높은 모양이 아니다.
둘째, 봉우리 사이 4~5월과 10~11월은 값이 낮고 서로 비슷하다.
그림으로 본 인상은 수로 확인해야 한다.
- 파생 변수(derived variable)
- 원래 열을 계산해 새로 만든 열. 전월 대비 증감률, 1인당 사용량처럼 원본에 없던 관점을 드러낸다.
탐색 결과를 해결 아이디어로 잇기
발견에서 아이디어로 넘어가는 연결표. 발견 열은 위 예시 데이터의 결과다.| 탐색에서 발견한 것 | 떠올린 질문 | 해결 아이디어 후보 |
|---|
| 7·8월이 평균의 1.4배 수준이다 | 냉방이 원인인가, 다른 기기도 있는가 | 기온과 사용량을 함께 수집해 관계를 확인한다 |
|---|
| 12·1월에도 봉우리가 있다 | 겨울 사용량은 무엇에서 나오는가 | 계절별로 절감 대책을 나눠 세운다 |
|---|
| 10월에 34% 감소했다 | 기온 때문인가 수업일 수 때문인가 | 월별 수업일 수를 함께 기록해 비교한다 |
|---|
| 월 단위라 하루 변화가 보이지 않는다 | 일별 기록을 구할 수 있는가 | 4주간 일별 계량값을 직접 수집한다 |
|---|
- 아이디어 발산과 수렴(divergent and convergent thinking)
- 판단을 미루고 아이디어를 많이 만드는 단계와, 기준을 세워 후보를 줄이는 단계. 두 단계를 섞으면 아이디어가 일찍 잘린다.
한 장으로 정리한 탐색 결과 요약판확인 문제
4문항 · 고르면 바로 채점된다
1탐색적 데이터 분석 단계의 산출물로 가장 적절한 것은?
탐색 단계는 결론을 증명하는 단계가 아니라 물어볼 질문을 찾는 단계다. 모델과 결론은 이후 검증 단계의 산출물이다.
2예시 데이터에서 '전월 대비 증감률'처럼 원본 열을 계산해 새로 만든 열을 무엇이라 하는가?
원본에 없던 열을 계산으로 만든 것이 파생 변수다. 결측치와 이상치는 값의 상태를 가리키고, 대리 지표는 직접 재기 어려운 대상을 대신 재는 값이다.
3봉우리가 두 개인 데이터에서는 평균 하나만으로 전체를 요약할 수 있다.
봉우리가 두 개면 평균이 실제 어느 구간과도 닮지 않는다. 예시 데이터의 평균 11,616.7kWh는 여름과 겨울 어느 쪽도 대표하지 못한다.
4여름에 전기 사용량이 늘었다는 탐색 결과는 냉방이 원인이라는 근거가 된다.
함께 움직인다는 사실만으로 원인을 정할 수 없다. 원인을 말하려면 기온 등 다른 값과의 관계를 따로 분석해 검증해야 한다.
내 교과서에서 찾기
YBM Ⅳ. 데이터 과학 프로젝트 › 01. 데이터 과학 프로젝트의 개요 01-1 데이터 과학과 문제 해결 · 01-2 데이터 과학 문제 해결 절차
씨마스 Ⅳ. 데이터 과학 프로젝트 › 1. 데이터 과학과 문제 해결 1-2 일상생활의 데이터에 기반한 스트레스 지수 예측 (182쪽)
천재 Ⅳ. 데이터 과학 프로젝트 › 00. 데이터 과학 프로젝트 시작하기 Ⅳ. 데이터 과학 프로젝트 › 04. 데이터 과학 프로젝트 수행하기