Meiren

학습 기록용 컨텐츠 복붗 및 요약한 내용임. 아래 참고 자료(링크)가 원본임 목차 1. p-value와 a/b test 1-1. 결과 해석 시 유의점 1-2. 가설검정 1-3. 두 가지 오류 1-4. p-value 1-5. 유의하지 않은 결과, 그 후 2. 문제 제기(결과 및 실험 과정에 대한) 2-1. 효과 크기를 무시한 유의성 검정 2-2. 적절한 표본 크기 정하기 2-3. 실험이 안 끝났는데 결과 살펴보기 2-4. 현실적인 문제 3. 결론 Summary p-value는 통계적 유의성 확보를 위한 도구이지, 실험 결과의 중요성을 평가하는 지표가 아니다. 실험 결과가 현실적으로 어떤 중요성을 갖는지 판단해야한다. 결과를 얼마나 믿을 수 있는지는 다음 문제다. 1. p-value와 a/b test 1-1..

A/B test 통계적 검정시 t - Test가 자주 사용됨 독립표본 t검정 사용의 조건 1. 독립성 - 두 그룹간 상호 독립성이 만족되어야 함 - MECE 2. 등분산성 - 두 그룹간의 분포가 동일하다 - python : 바틀렛 검정, 플리그너 검정, 레빈 검정 - 이분산인 경우, 이분산 t검정 (welch's test)로 대체하는 방법이 존재함 3. 정규성 - 이러한 통계적 검정 기준을 맞추다보면... 실제 데이터 중에 남는 데이터가 없다 - 그래서 이러한 기준을 완화한 유의미한 기준에 관한 논문이 나옴 아래의 수준에 든다면 어느정도 정규분포를 크게 벗어나지 않을 것으로 추정 - 왜도(skewness, 분포의 비대칭 정도) < 2 - 첨도(kurtosis, 분포의 꼬리부분의 길이와 중앙부분의 뾰족함에..