짧은 기초 통계 6 : 가설 검정, t-test(t 검정)

오늘은 저번 z 점수에 이어서 가설 검정을 확인하려고 합니다. 가설 검정은 연구에 있어서 필수적인 부분이라고 할 수 있습니다.(최근에는 가설 검정보다 탐색적 연구가 더 많은 것 같기도 합니다.)

 

추가로 t 검정에 대해서도 간단하게 확인할 예정입니다.

 

 

📌 가설 검정

 

가설 검정이란 표본 자료를 사용하여 모집단에 대한 가설을 확인하는 통계적 방법입니다. 앞서 확인했던 z-score, 확률, 표본 평균의 분포등을 결합하여 사용되는 통계적 절차로 크게 4가지 논리로 진행됩니다.

 

1. 모집단에 대한 가설을 세움(모수에 대한 가설)

ex. 매년 설 연휴에 한국 성인들은  3kg의 몸무게가 증가한다.

 

2. 가설을 사용하여 표본이 어떤 특성을 나타낼지 예측

ex. 모집단에서 평균적인 몸무게 증가가 3kg라고 예상했으니 표본 또한 3kg 근처의 평균값 증가를 나타낼 것이다.

 

3. 모집단에서 무작위로 표본 추출

ex. 100명의 한국 성인 표본 추출. 설 연휴의 몸무게 변화 측정

 

4. 얻은 표본 자료를 가설에 기반하여 예측과 비교

ex. 표본 평균이 예측과 일치한다면? 가설이 옳다. 표본 평균이 예측과  큰 차이가 있다면? 가설이 옳지 않다.

 

저번 여러 포스팅에서 계속해서 말해왔지만 우리는 표본에 관심이 있는 것이 아니라 표본을 통해 모집단에 대해 일반화하는 것에 큰 관심이 있는 것입니다. 

이러한 이유로 모집단인 한국의 모든 성인이 설 연휴 동안 3kg 무게가 증가할 것을 예상했고 이를 표본을 통해 가설 검정을 시행하는 것입니다

 

 

📌 가설 검정 4 단계

 

 

1. 가설 설정 : 모집단에 대한 가설 설정

 

- 영가설(null hypothesis, $H_0$) : 모집단에서 변화, 차이가 없다.

즉, 모집단에서 독립변수(처치)가 종속변수(점수, 값)에 아무런 영향이 없을 것이다.

 

 

- 대립가설(alternative hypothesis, $H_1$) : 모집단에서 변화, 차이가 있다.

즉, 모집단에서 독립변수(처치)가 종속변수(점수, 값)에 영향을 미칠 것이다.

 

 

 

2. 판정 기준 세우기 : 어느정도를 '다르다'라고 정의할 것인가?

 

만약 영가설이 참이라면?? 우리는 영가설에 가까운 표본 평균들 즉, 얻을 가능성이 높은(확률이 큰) 표본 평균들에서 표본을 얻은 것이고,

 

만약 영가설이 참이 아니라면?? 얻을 가능성이 낮은(확률이 작은) 표본 평균들에서 표본을 얻은 것일 겁니다.

 

 

그렇다면 이 확률이 작다 크다를 어떻게 정의할까요?

왼 : 양 극단 5%를 '다르다'라고 정의, 오 : 양 극단 1%를 '다르다'라고 정의

 

 

- 유의 수준(alpha level, $\alpha$) : 낮고 높음을 구분할 경계 확률 값 [$\alpha = .05(5%), \alpha = .001(0.1%) \ etc$]

 

- 기각역(critical region) : 유의 수준에 의해 정의된 극단의 값이 기각역을 구성

기각역은 유의 수준에 의해 정의된 경계값을 기준으로 더 높고 낮은 구역을 포함하는 영역입니다. 쉽게 아래 그림을 확인하면

 

 

 

해당 그래프를 보았을 떄 유의 수준 $\alpha$ 는 $.05$이며, 경계 값은 극단값 5%를 가운데 95%와 분리하는 값입니다.

 

양쪽 꼬리에 각 2.5% 씩 할당하여 이에 해당하는 z 점수의 경계값은 $\pm 1.96$이고, 이 경곗값을 기준으로 더 크고 작은 범위를 기각역이라고 하는 것입니다.

 

 

◼️ 영가설의 증거??

 

이렇게 우리가 정한 유의 수준을 기준으로 기각역을 구성하고, 우리의 표본 평균이 해당하는 기각역에 속한다면? 영가설과 우리의 자료가 일치하지 않는다고 하는 것이다.

 

이 부분이 매우 중요한데, 영가설과 우리의 자료가 일치하지 않는다고 하는 것은 즉, 우리의 증거가 불충분하다고 하는 것이다. 이 증거에 대해서 뒤에 더 다룰 것이고,

 

그렇다면 유의 수준은 어느정도를 기준으로 잡아야 할까? 보통 .05를 기준으로 잡는 것이 일반적인 것으로 보인다. 단, 확답할 수 없는 게, 이는 분야마다 매우 다르다. 5%와 1% 모두 희박한 확률이긴 하다. 

 

다만, 의료와 안전과 같은 분야라면? 이 4% 차이로 인해서 사람을 더 살릴 수 있다. 때문에 생명과 같은 민감한 분야에서는 이보다 훨씬 작은 유의 수준을 사용할 수 있다.

 

 

3. 자료 수집, 표본 통계량 계산

 

표본 자료를 수집하고 해당 자료의 표본 평균, 표본 분산을 계산하고 이를 통해 z 점수를 확인합니다.

$$
z  = \dfrac{X - \mu}{\sigma}
$$

 

 

4. 판정하기

 

- 표본 자료가 기각역에 속하는 경우(표본 자료의 z 점수가 기각역에 속하는 경우)

: $H_0$, 영가설을 기각한다는 판정을 내림(처치의 효과가 있다,)

 

- 표본 자료가 기각역에 속하지 않는 경우(표본 자료의 z 점수가 기각역에 속하지 않는 경우)

: $H_1$, 영가설을 채택 한다는 판정을 내림(처치의 효과가 없다.)

보라색 : 영가설 채택, 초록색 : 영가설 기각

 

 

◼️ 왜 '대립 가설 채택'이 아니라 '영가설 기각'이라고 하는 것일까?

 

앞서 증거에 대해서 말했는데, 이어서 말한다면?? '대립 가설 채택'이라고 말하는 것은 중요하지 않다고 생각할 수 있지만 이는 한 번쯤 생각해볼 필요가 있다.

 

먼저 우리가 어떤 것이 참이라고 증명하는 것보다 거짓이라는 것을 증명하는 것 자체가 쉽다. 

예를 들어 '모든 비둘기는 검정색이다'라는 영가설을 만들었다고 해보자.

 

표본 추출을 통한 한 마리의 비둘기가 검정색이라면? 가설이 증명되는가?? 아무래도 한 마리로는 일반화하기 어렵다. 즉, 증거가 불충분하고 참이라는 것을 증명하기 어렵다.

 

하지만 같은 한 마리인데 그 비둘기가 흰색이라면?? 이 한 마리의 비둘기로 인해서 영가설이 거짓이라는 것을 바로 증명할 수 있다. 즉, 증거가 충분하다는 것이다.

 

이러한 논리로 '영가설이 거짓'이라는 것은 증명하기 쉽지만 '대립 가설이 참'이라는 것은 증명하기 어려울 수 있다.

 

때문에, 영가설 기각이라는 표현이 더 보수적인 접근이라는 것이고 이는 확실성의 영역이다. 처치의 효과가 있다는 것을 확인하였기 때문에 영가설에 반대되는 증거를 찾은 것이고, 이에 따라 영가설을 기각하는 것을 확실하기 때문에 올바르다.

 

처치의 효과가 있다고 해서 처치의 효과가 있다는 대립 가설을 채택하는 것보다는 처치의 효과가 없다는 영가설을 기각하는 것이 더 보수적이고 확실한 영역이라는 의미이다.

 

좀 더 이해하기 쉽게 재판을 예로 들어보자.

 

영가설은 '피고가 범죄를 저지르지 않았다'이다. 변호가사 증거를 충분히 제시하지 못한다면 영가설 채택에 실패하고 영가설이 기각된다. 

이때 판사는 '범죄를 저지르지 않았다고 충분한 증거가 없다'라고 결론을 내린다.

 

 

📌 가설 검정의 오류

 

방금 설명한 것과 같이 가설 검정 또한, 확률에 기반한 결론의 도출이다. 

이는, 잘못된 결론을 도출할 확률도 존재한다는 뜻이다. 이에 있어서 우리는 2가지의 오류를 정의하게 된다.

 

 

- 제 1종 오류(Type 1 error) : 실제로는 영가설이 참인데 기각할 때(효과가 없는 데, 있다고 결론 내릴 경우)

 

중요한 점은 가설 검정에서 유의 수준(alpha level)은 제 1종 오류를 범할 확률과 같다. 왜냐하면 우리가 유의 수준 5%로 설정한다는 의미는? 

 

우리의 표본 평균이 5%의 우연에 의해 얻어진 것이 아니라 효과가 있다고 해석할 것이라는 의미인데, 하지만 실제로 5% 우연에 의해 얻어진 것일 수 있기 때문이다.

 

 

- 제 2종 오류(Type 2 error) : 실제로는 영가설이 거짓인데 채택할 때(효과가 있는 데, 없다고 결론 내리는 경우)

 

 

📌 t-test(t 검정)

 

t 검정을 짧게 다루는 이유는 z 검정과 크게 다를 것 없기 때문이다. 가장 큰 차이는 t 검정을 사용하는 이유뿐이라고 생각한다(개인적으로..)

 

t 검정은 기본적으로 차이 검정으로 z 검정과 같다. 단, 모집단의 표준 편차(or 분산)을 알지 못할 때 사용한다.

이게 무슨의미냐? 당연히 우리는 모집단의 분산을 실제로 알 수 없다. 그렇기 때문에 사실상 t-test를 사용하는 게 대부분이다.

 

 

◼️ 기본 가정

 

1. 종속 변수가 양적 변수여야 한다.

2. 모집단의 분산, 표준편차를 알지 못할 때 사용한다.

3. 모집단의 분포가 정규분포여야 한다.

4. 두 집단 끼리 비교 시 등분산 가정이 충족되어야 한다.(두 집단의 분산이 같다.)

 

- 단, z 분포와 다르게 표준정규분포(평균 0, 표준편차 1)가 아니다. 자유도에 따라 형태가 다르게 나타나는 분포로 표준편차가 1보다 크다.

 

 

 

 

◼️ t 검정 종류와 기본 가정

 

1. 단일 표본 t 검증(one sample t-test) 

: 표본의 종속 변수 평균값과 기준값의 차이를 검증.

 

이는 두 집단이 아니라 하나의 집단의 평균값이 통계적으로 연구자가 설정한 특정값과 차이가 있는지를 검증하는 것입니다.

 

 

2. 독립 표본 t 검증(independent sample t-test)

: 가정 추가 > 독립 변수는 범주형 변수여야 한다. 

 

이는 두 독립적인 범주 집단의 평균 차이를 검증하는 것으로 독립적인 A집단과 B집단의 평균값이 통계적으로 차이가 있는지를 검증하는 것입니다.

 

 

3. 대응 표본 t 검증(paired sample t-test)

: 가정 추가 > 종속 변수의 반복 측정을 실시해야 한다.

 

이는 두 종속적인 집단 쌍의 평균 차이를 검증하는 것으로 A 집단에서 처치 전과 후의 평균값이 통계적으로 차이가 있는지를 검증하는 것입니다.

 

 

통계적 검증의 기본적인 논리는 z 검증과 같다.

자유도에 따른 t 분포에서 유의 수준에 따른 기각역을 확인하고 내가 가진 표본의 t 값이 해당 분포의 기각역에 포함된다면 영가설은 기각되고, 기각역에 포함되지 않는다면 영가설을 채택하는 것이다.