Social Welfare Thorn News, 福智衍, 복지비틀기

데이터분석을 공부하다보면 용어가 비슷한 것이 너무 많다. 유의수준(significance level)과 유의확률(significance probability)이 그렇고 신뢰수준(confidence level)과 신뢰구간(confidence interval)이 그렇다. 분명 이 용어들은 각각 다른 의미를 갖는다. 하지만 굳이 그것들을 구분할 필요가 있나 싶기도 하다.

컴퓨터 통계 프로그램이 계산해주는 것은 유의확률(p)이다. 그리고 이 유의확률은 영가설이 옳다는 가정 하에 검정통계량이 계산될 확률이다. 즉 영가설이 채택될 확률이다.
그리고 유의확률(p)이 유의수준(α)보다 낮을 때 영가설을 기각한다. 즉, 유의확률(p)은 영가설을 기각할 수 있는 최소한의 유의수준(α)이다. 그리고 일반적인 경우 우리는 이 유의수준(α)을 0.05로 설정하고 있다. 즉 p<α이면 영가설을 기각한다/p<.05이면 영가설을 기각한다.

· 유의수준(α): 영가설 기각을 위해 정해놓은 설정값(비교기준)
· 유의확률(p): 데이터분석을 통해 표본으로부터 구해진 값
· 신뢰수준 = 1-α

한편 신뢰수준은 모집단에서에서 취해진 확률표본을 사용하여 계산된 구간에 모수가 포함될 확률이다. 95% 신뢰수준이라는 말은 표본조사를 100번하면 95번은 같은 결과를 얻게된다는 말이다. 즉 표본집단이 얼마나 믿을만한지에 대한 설명이다.
그리고 결국 유의수준과 신뢰수준을 합하면 1이 된다. 다만 일반적으로 유의수준은 소숫점으로, 신뢰수준은 백분율(%)로 표현한다.

신뢰구간(confidence interval, CI)은 모수가 포함될 것으로 예측되는 범위로, Z점수(Z score, 표준점수) Z점수는 표준점수라고도 하는데, 원수치인 x가 평균에서 얼마나 떨어져 있는지를 나타낸다. 음수이면 평균이하, 양수이면 평균이상이다.

를 이용하여 계산한다. 표본평균(X‾)과 표본표준편차(s), 표본의 수(n)를 이용해 계산하는 공식은 아래와 같다.

이때 Z점수는 95% 신뢰수준일 때 1.96, 99% 신뢰수준일 때 2.58로 정해져있다. 그리고 를 오차한계(margin of error)라 하고, 하한값을 LL(lower limit), 상한값을 UL(upper limit)로 표시한다. 신뢰구간(CI)는 LL과 UL사이의 구간을 말한다. 그리고 검정값이 신뢰구간의 범위 안에 있으면 영가설을 채택한다. 즉 검정값은 참이 된다.

앞선 예에서 우리는 “성별(A)에 따른 TV 시청 시간(B)에 평균의 차이가 없다.”는 영가설을 세웠다. 그리고 이 영가설을 검정하기 위해 통계기법을 활용해 데이터를 분석할 것이다. 그러면 그 결과로 ‘통계량’과 ‘유의확률(p)’을 얻게 될 텐데, 우리가 할 일은 이 유의확률로부터 영가설을 기각할 수 있을지 없을지를 결론내리는 일이다.
유의확률은 p 값(p value)라고도 하며, 0∼1 사이의 숫자로 p=.137과 같이 소숫점 셋째 자리까지 표시한다. 
p<.05는 ‘유의확률이 0.05보다 작다’로 읽는다. 풀어 설명해보자면, 성별에 따른 TV 시청시간에는 평균의 차이가 없다(영가설)가 사실이라고 가정할 때, 해당 결과가 나타날 확률이 5%보다 작다는 뜻이다. 바꿔 얘기하면, 차이가 있다는 결과를 얻을 확률이 95%보다 크다가 된다. 

따라서 영가설은 기각되고, 대립가설이 채택(지지)된다. 즉, TV 시청 시간과 시력 간의 평균 비교에 있어 유의미한 차이가 있다고 결론내리게 된다.
한편, p>.05라면 어떻게 될까? 이때에는 ‘영가설을 기각할 근거가 충분하지 않다’고 말한다. 이때 이것이 영가설을 채택한다고 말하는 것은 아니다. 또한 통계적으로 유의미하지 않았다(nonsignificant)는 것이 무의미하다(insignificant)는 뜻은 아니다. 따라서 표현에 주의해야한다.