가설검정

지난 시간에 이어 가설 검정이란 무엇인지 더욱 자세하게 알아보도록 하자.

가설검정이란 내가 주장하고자 하는 바가 맞는지 아닌지를 알아보는 통계적인 기법이다.

내가 어떤 주장을 하고자 할 때 (예를 들면 표본평균이 10이므로 전체 모집단의 평균도 10이라는 등)

수집한 데이터가 그 주장의 근거가 되어 줄 수 있는지 아닌지,

맞다면 어느 정도의 신뢰성을 가지고 믿어도 되는지를 나타내준다.





가설 검정은 다음과 같은 단계로 진행된다.

1. State the hypothesis: 가설을 설정한다. 2. Select the appropriate test statistic: 적절한 검정 통계값을 설정한다.  3. Specify the level of significance: 어느 정도로 신뢰성을 줄 것인지 설정한다. 4. State the decision rule regarding the hypothesis: 가설을 기각/채택할 rule을 정한다. 5. Collect the sample and calculate the sample statistics: 표본을 모으고 표본 통계값을 구한다. 6. Make a decision regarding the hypothesis: 가설에 대한 의사결정을 내린다. 7. Make a decision based on the results of the test: 검정 결과에 대한 의사결정을 내린다.

일반적으로 위 7가지 step을 따라서 표본에 대한 가설검정이 이루어진다.



가설 설정은 크게 귀무가설/대립가설로 나뉘어 할 수 있다.

귀무가설(null hypothesis)은 관측자가 reject하고자 하는 가설이고,

대립가설(alternative hypothesis)은 충분한 증가가 주어졌을 때, 귀무가설이 맞지 않다면 받아들여질 수 있는 가설을 말한다.



Test statistics란 검정을 할 때 어떤 통계값을 사용할 것인지 나타낸다.

예를 들어 표본이 표준 정규분포를 따른다면, test statistic은

(sample statistic - hypothesized value) / (standard error of the sample statistic) 이 된다.

표본이 t분포를 따른다면, sample statistics는 표준편차가 아닌 s를 쓰게 될 것이다.

즉, Test statistic이 어떤 범위 안에 있느냐에 따라 가설이 옳고 그름이 결정된다.


모아진 표본이 어떤 분포를 따르는지 살펴보고,

내가 생각하는 가설이 맞다는 가정하에 통계값을 구한다.

그리고 이것을 실제 significance level에 있는지 비교하는 것이다.



여기서 중요한 개념이 Type 1 error, Type 2 error이다.

Type 1 error는 설정한 가설이 실제로는 참인데도 기각하는 것이고,

Type 2 error는 설정한 가설이 실제로는 거짓인데도 채택하는 것이다.



실생활에서 더욱 중요한 오류는 무엇일까?

아마도 Type1이 아닐까 한다.

내가 설정한 가설이 맞는데도 아니라고 하니, 이건 생사람 잡는 것이 아닌가.

차라리 거짓인데 맞는다고 하는게 어찌보면 더 나을련지도 모르겠다 =.=;



가설 검정시에는, 이렇게 예상되는 오류인 Type1 error와 Type2 error의 비율을 조정하여야 한다.

어떻게 조정하냐구?

바로 significance level, 즉 알파(a)를 조정하여 채택하는 것이다.


저번에도 보았듯, 증거가 뚜렷하면 뚜렷할수록 알파를 줄이는 것이 가능하다.

증거가 뚜렷하다는 것은, 증인이 많다는 것, 즉 샘플의 수가 많다는 것과 같이 생각하면 될 듯하다.


하지만 샘플도 작고 증거도 불분명한데 알파를 작게 잡으면 이것은 통계상에 오류가 생길 것이다.

통계상 Type1 과 Type2 error, 둘 중 하나를 줄이면 다른 하나가 올라가는 오류가 발생하게 되는데

샘플 수가 아주아주 많으면 둘 다 줄일 수있는 이점이 있다.


Error의 수치를 조정하여, 최종적으로 Test statistic을 구하여야 한다.


그런 다음에 Critical Value for X% significance level을 구하여

Test statitic이 이 범위에 포함 되는지의 여부를 토대로 가설이 맞는지 틀린지를 확인하면 된다.





p-value (p값)는 무엇일까?

P-value는 귀무가설이 참인데도 채택하지 않을 확률을 말한다.