Model Accuracy

주어진 자료에 대한 학습모델의 성능을 평가를 위하여 예측데이터 값과 실제 값을 비교해야함. 회귀모델에서는 일반적으로 다음의 평균제곱오차 (MSE; mean squared error)을 사용함. 여기서 Yi 는 i번째 관찰값에 대한 예측값임. 즉, 예측값과 실제값이 비슷할 수록 MSE는 작아짐.

mse

이때, 우리는 학습시킨 모델에 대한 MSE를 구했으므로 이것은 학습 MSE 이며, 우리에게 실제로 필요한 것은 테스트셋에 대한 것이므로 낮은 검정 MSE가 목표이다. 이 때 학습모델에 너무 과다적합(overfitting)하게 되면 실제 테스트셋에서는 잘 드러맞지 않는 일이 발생한다. 아래 그림은 그것을 설명한다. 일반적으로 검정 MSE는 U shape을 보이고 학습 MSE는 오른쪽으로 낮아진다

ISLR-Fig.2.10
Figure adapted from http://statistics-machine-learning.blogspot.com

선형회귀모델의 질은 보통 잔차표준오차 (RSE)와 R2 통계량을 사용한다. RSE는 데이터에 대한 모델의 적합성결여(lack of fit)을 나타내는 척도로 간주된다. 하지만 이것은 Y의 단위로 측정되므로 적정 RSE가 무엇인지 명확하지 않다. 반면 R통계량은 비율의 형태를 취하므로 항상 0과 1 사이의 값을 가지며 Y의 크기와 무관하다.

TSS는 반응변수 Y의 총분산을 측정하며 회귀가 수행되기 전에 반응변수에 내재하는 변동량으로 생각할 수 있다. 이에 반해 RSS는 회귀가 수행된 후에 설명되지 않고 남아있는 변동량을 측정한다. 그러므로 TSS-RSS는 회귀에 의해 설명된 반응변수의 변동량을 측정하고 R은 X를 사용하여 설명할 수 있는 Y의 변동비율을 측정한다.