모델을 평가한다 — 예측률과 정확도

모델을 두 개 만들었다면 어느 쪽을 쓸지 정해야 한다. 더 그럴듯해 보인다는 말로는 정할 수 없다.

모델이 얼마나 맞는지를 하나의 수로 재야 한다. 그 수를 평가 지표라고 한다.

평가 지표는 분석 목적에 따라 달라진다. 목표 속성이 이어지는 수일 때와 몇 개의 갈래일 때 재는 방법이 다르다.

점수나 판매량을 예측하는 회귀 모델은 예측값과 실제값의 차이, 곧 오차로 잰다. 품절인지 아닌지처럼 갈래를 가르는 분류 모델은 맞게 예측한 사례의 비율로 잰다.

맞게 예측한 사례의 비율을 예측률이라고 부른다. 분류 모델에서 그 값을 계산한 지표가 정확도다. 이 차시에서는 두 이름을 이렇게 구분해 쓴다.

오차를 그냥 더하면 안 된다. 위 오차를 모두 더하면 1이고, 5로 나누면 0.2다. 양수와 음수가 서로 지워져 실제보다 작게 나온다.

그래서 아래 세 가지를 쓴다.

• 평균절대오차 = (오차의 절댓값을 더한 값) ÷ (사례 수)
• 평균제곱오차 = (오차를 제곱해 더한 값) ÷ (사례 수)
• 평균제곱오차의 제곱근 = 평균제곱오차의 제곱근

평균제곱오차는 오차를 제곱하므로 큰 오차에 더 크게 반응한다. 평균제곱오차의 제곱근은 그 값을 원래 단위로 되돌려 점수와 같은 단위로 읽게 해 준다.

모델을 만들 때 쓴 데이터로 다시 평가하면 점수가 좋게 나온다. 이미 답을 보고 만든 규칙이기 때문이다.

그래서 데이터를 두 몫으로 나눈다. 한 몫으로 모델을 만들고, 남겨 둔 몫으로 평가한다. 남겨 둔 몫은 모델이 처음 보는 데이터가 된다.

03-02에서 쓴 학생 10명의 자료를 나눠 본다. 공부 시간 1~7시간인 7명으로 회귀식을 만들고, 8~10시간인 3명으로 평가한다.