Ⅳ. 데이터 과학 프로젝트 · 3차시
두 가지 이상의 방법으로 검증하기
같은 데이터라도 전처리와 분석 방법을 바꾸면 결과가 달라진다. 전처리 조건 두 가지와 분석 방법 두 가지를 실제로 적용해 결과를 비교한다. 비교 결과를 근거로 프로젝트에 쓸 모델링 방법을 정한다.
분석을 한 가지 방법으로만 하면 결과가 맞는지 알 수 없다. 비교 대상이 없기 때문이다.
방법을 두 가지 이상 적용하면 두 가지를 알게 된다. 결과가 방법에 따라 얼마나 흔들리는지, 그리고 어느 방법이 이 데이터에 맞는지다.
이 차시는 비교를 설계하는 방법을 다룬다.
무엇과 무엇을 비교하는가
비교는 두 축에서 한다.
첫째, 전처리 조건이다. 이상치를 남길지 뺄지, 정규화(normalization)를 할지 말지에 따라 결과가 바뀐다.
둘째, 분석 방법이다. 통계적 방법과 (machine learning) 방법은 데이터를 다루는 방식이 다르다.
비교가 성립하려면 한 번에 하나만 바꾼다. 전처리와 방법을 동시에 바꾸면 무엇이 차이를 만들었는지 알 수 없다.
- 기계학습(machine learning)
- 모델이 데이터에서 규칙을 찾아 예측이나 분류를 수행하도록 만드는 방법. 사람이 규칙을 직접 적지 않는다.
- 평균절대오차(Mean Absolute Error, MAE)
- 예측값과 실제값의 차를 절댓값으로 바꿔 평균한 값. 값이 작을수록 예측이 정확하고, 단위는 원래 값과 같다.
비교 1 — 전처리 조건을 바꾼다
아래는 학교 주변 기온과 냉방 전력 사용량을 12일간 기록한 예시 값이다. 설명을 위해 직접 만든 값이다.
8번째 기록의 전력값이 1,268kWh다. 가장 높은 날 값의 3.6배다. 계량기 점검이 있던 날의 기록 오류로 판단했다.
이 값을 남긴 경우와 뺀 경우를 각각 계산한다.
산점도의 모양은 직선이 아니다. 세 구간으로 나뉜다.
- 25°C 이하: 거의 변화가 없다
- 26~30°C: 급하게 오른다
- 31°C 이상: 다시 완만해진다
냉방을 켜기 시작하는 구간과 설비가 한계에 이른 구간이 있다는 뜻이다. 이런 모양에서 직선 하나가 잘 맞을지 확인해야 한다.
비교 2 — 분석 방법을 바꾼다
- k-최근접 이웃(k-Nearest Neighbors, k-NN)
- 예측하려는 값과 가장 가까운 k개의 기록을 찾아 그 값들의 평균으로 예측하는 기계학습 방법. 식을 세우지 않고 이웃 기록을 그대로 이용한다.
| 비교 축 | 조건 | 내용 | MAE | 판단 |
|---|---|---|---|---|
| 전처리 | 오류 기록 포함 | 기울기 36.93 | 83.87 | 기록 1개가 직선을 끌어올렸다 |
| 전처리 | 오류 기록 제외 | 기울기 26.45 | 22.33 | 이 조건을 채택한다 |
| 분석 방법 | 회귀 직선 | 최소제곱법 | 23.40 | 전체 경향을 한 식으로 설명한다 |
| 분석 방법 | k-최근접 이웃(k=2) | 기계학습 | 6.17 | 곡선 구간을 더 잘 맞춘다 |
확인 문제
4문항 · 고르면 바로 채점된다
같은 데이터에 두 가지 방법을 적용했더니 결과가 서로 달랐다. 다음 행동으로 가장 적절한 것은?
결과가 다른 것은 오류가 아니라 방법의 차이다. 왜 달라졌는지 방법의 특성으로 설명해야 적절한 모델링 방법을 정할 수 있다. 좋은 결과만 골라 쓰는 것은 근거를 숨기는 일이다.
예시 데이터에서 기록 오류 1개를 그대로 남긴 채 회귀 직선을 구했을 때 나타난 변화는?
기울기는 26.45에서 36.93으로 커지고, 정상 기록에 대한 오차는 22.33에서 83.87로 커졌다. 큰 이상치 하나가 직선 전체를 끌어올렸기 때문이다.
모델을 학습시킨 기록으로 오차를 재면 실제 예측 성능을 확인할 수 있다.
학습에 쓴 기록은 모델이 이미 맞춘 값이므로 오차가 실제보다 작게 나온다. 평가용 기록을 따로 남겨 두어야 성능을 확인할 수 있다.
예시 데이터에서 k-최근접 이웃의 오차가 더 작았으므로, k-최근접 이웃은 회귀보다 항상 우수한 방법이다.
이 데이터의 관계가 곡선이어서 k-최근접 이웃이 유리했을 뿐이다. 학습 범위를 벗어난 값을 예측할 때나 관계를 식으로 설명해야 할 때는 회귀가 유리하다.