이상치·결측치·정규화, 그리고 시각화

교실 뒤편 온도계를 매일 3교시에 기록했다. 2주 동안 10일치 기록이 모였다.

표를 열어 보니 값이 비어 있는 날이 있다. 240이라고 적힌 날도 있다. 이 상태로 평균을 구하면 잘못된 결론이 나온다.

분석에 앞서 이런 값을 찾아 손보는 일을 전처리(preprocessing) 라고 한다. 표에서 그대로 쓸 수 없는 값을 먼저 찾는다.

5일의 240은 24.0을 적을 때 소수점을 빠뜨린 기록으로 판단한다. 다른 날 기록이 모두 22℃에서 25℃ 사이이기 때문이다. 그래서 24.0으로 고친다.

3일과 8일은 값이 없다. 관측된 값의 평균으로 채운다. 이때 대체한 값이라는 표시를 따로 남긴다.

처리 방법은 하나가 아니다. 그 행을 아예 빼거나, 앞뒤 날짜의 값으로 채우는 방법도 있다. 어떤 방법을 썼는지 기록해 두어야 결과를 설명할 수 있다.

급식 잔반량과 급식 만족도를 함께 보려 한다. 잔반량은 9kg에서 25kg 사이다. 만족도는 2.5점에서 4.1점 사이다.

두 값을 한 그래프에 그리면 만족도 선이 바닥에 눌린다. 단위와 범위가 다르기 때문이다.

이때 정규화(normalization) 로 두 속성의 범위를 0과 1 사이로 맞춘다. 공식은 아래와 같다.

정규화 값 = (값 − 최솟값) ÷ (최댓값 − 최솟값)