[데이터 분석] A/B test 통계적 검정 & t-test 전제 조건

데이터 분석(data analyst)

meiren 2023. 1. 16. 05:27

A/B test 통계적 검정시 t - Test가 자주 사용됨

독립표본 t검정 사용의 조건

1. 독립성

- 두 그룹간 상호 독립성이 만족되어야 함

- MECE

2. 등분산성

- 두 그룹간의 분포가 동일하다

- python : 바틀렛 검정, 플리그너 검정, 레빈 검정

- 이분산인 경우, 이분산 t검정 (welch's test)로 대체하는 방법이 존재함

3. 정규성

- 이러한 통계적 검정 기준을 맞추다보면... 실제 데이터 중에 남는 데이터가 없다

- 그래서 이러한 기준을 완화한 유의미한 기준에 관한 논문이 나옴

아래의 수준에 든다면 어느정도 정규분포를 크게 벗어나지 않을 것으로 추정

- 왜도(skewness, 분포의 비대칭 정도) < 2

- 첨도(kurtosis, 분포의 꼬리부분의 길이와 중앙부분의 뾰족함에 대한 정보) < 7

그렇다면

두 집단의 평균이 얼마나 다른지/ 다르다고 할 수 있는지 알아보는 테스트

그룹 간 평균 차이에 비례하는 변수

평균 차이가 클수록 큰 값을 가지는 변수

표본 평균 차이 / 불확실도

- 불확실도 : 확실도를 계산할 수 없으니, 불확실도로 나눠버림

- 평균차가 클 수록 t 값은 커진다.

- 불확실도가 적을 수록 t값은 커진다.

독립표본 : 두 그룹의 사람들이 전혀 다른 사람들

대응표본 : 두 그룹의 사람이 같은 사람이다. 뚜렷한 효과를 확인할 수 있다.