Dasein's ‎Archive

5. t 검정

- t 검정은 윌리엄 고셋이 단일 표본평균의 분포를 근사화하기 위해 개발한 것으로, 두 집단 간의 평균의 차이가 유의미한지 검정하기 위해 사용하는 보편적인 검정 방법이다.

- R에서는 t.test를 이용하여 검정을 실시할 수 있다.

- 다중성(다중 비교, 많은 변수, 많은 모델 등)은 일부가 우연히 유의미하다는 결론을 내릴 위험을 증가시킨다.

- 지도 학습에서는 이를 해결하기 위해, 홀드아웃 세트를 사용해서 잘못된 결과를 피할 수 있다.

7. 자유도

- 자유도는 표본 데이터에서 계산된 통계량에 적용되며 변화가 가능한 값들의 갯수를 나타낸다.

간단히 말하면 10개의 데이터로 이루어진 표본에서 평균과 9개의 값을 알고 있다면, 마지막 10번째 데이터를 자연히 알 수 있다. 이 나머지 한 개의 값을 제외한 9개의 값만 변화가 가능하다.

- 데이터 과학 분야에서는 데이터의 크기가 대개 충분히 크기 때문에, 분모가 $n$인지 $n-1$인지 데이터 과학자에게는 거의 차이가 없다. 하지만, 회귀에서 요인 변수를 사용할 경우는 다중공선성을 피하기 위해 중요하게 여겨져야 한다.

8. 분산분석

- 여러 그룹 간의 통계적으로 유의미한 차이를 검정하는 통계적 절차를 분산분석(analysis of variance) 줄여서 ANOVA라고 한다.

1) F 통계량

- F 통계량은 잔차 오차(residual error)로 인한 분산과 그룹 평균의 분산에 대한 비율을 기초로 한다.

- R의 aov 함수를 통해 ANOVA 테이블을 손쉽게 계산할 수 있다.

2) 이원 분산분석

- A-B-C-D 요소(그룹)과 더불어 두 번째 요소를 고려한 분석을 진행할 때 필요한 것이 이원 ANOVA이다. 이것은 '상호작용 효과'를 확인하는 식으로, 일원 ANOVA와 방식은 유사하다.

9. 카이제곱검정

- 카이제곱검정(chi-square test)은 횟수 관련 데이터에 주로 사용되며 예상되는 분포에 얼마나 잘 맞는지를 검정한다.

- 카이제곱통계량은 일반적으로 변수 각 독립성에 대한 귀무가설이 타당한지를 평가하기 위해 $r$x$c$ 분할표를 함께 사용한다.

- 카이제곱 통계량($\chi^2$)은 피어슨 잔차들의 제곱합니다. 피어슨 잔차($R$)는 실제 횟수와 기대한 횟수 사이의 차이를 나타낸다.

$R=\frac{관측값-기댓값}{\sqrt{기댓값}}$

$\chi^2=\sum_i^r\sum_j^cR^2$

- R에서는 chisq.test 함수를 통해서 이 값을 계산할 수 있다.

- 카이제곱분포는 재표본 검정의 좋은 근사치를 제공하지만, 사건 발생 횟수가 매우 낮을 때(한 자리 숫자이거나, 특히 5개 이하인 경우)는 예외이다.

- 이를 위해 발생할 수 있는 모든 조합(순열)을 실제로 열거하고, 빈도를 집계하고, 관찰된 결과가 얼마나 극단적으로 발생할 수 있는지를 정확하게 결정하는 절차를 제공하는데 이를 피셔의 정확검정이라고 한다.

10. 멀티암드 밴딧 알고리즘

- 멀티암드 밴딧(multi-armed bandit; MAB) 알고리즘은 실험 설계에 대한 전통적인 통계적 접근 방식보다 명시적인 최적화와 좀 더 빠른 의사결정을 가능하게 하며, 여러 테스트, 특히 웹 테스트를 위해 이를 사용한다.

- 엡실론-그리디 알고리즘(epsilon-greedy algorithm) : A/B 검정을 위한 간단한 알고리즘

1) 0부터 1 사이의 난수를 생성한다.

2) 이 숫자가 0과 엡실론(0과 1 사이의 값으로 일반적으로 아주 작다) 사이에 존재하면, 50/50의 확률로 동전 뒤집기를 실행한다.

2-a) 그 결과 동전이 앞면이면 제안 A를 표시한다.

2-b) 동전이 뒷면이면 제안 B를 표시한다.

3) 숫자가 엡실론보다 크면, 지금까지 가장 좋은 결과를 보인 제안을 표시한다.

- 엡실론이 1이라면 간단한 표준 A/B검정을 하게 되는 셈이다.

- 엡실론이 0이라면 완전한 탐욕 알고리즘(greedy algorithm)이 되어버린다.

-> 더 이상의 실험 없이, 피실험자들을 항상 지금까지 알려진 가장 좋은 제안에 할당한다.

* 밴딧 알고리즘은 3가지 이상의 처리를 효율적으로 다루고 '최고'를 위한 최적의 선택을 하도록 돕는다. 전통적인 통계 검정의 경우, 3가지 이상의 처리를 위한 의사 결정은 전통적인 A/B 검정의 의사 결정보다 훨씬 복잡하며, 이 경우 밴딧 알고리즘의 장점이 훨씬 커진다.

11. 검정력과 표본크기

- 검정력 계산의 주된 용도는 표본크기가 어느 정도 필요한가를 추정하는 것이다.

- 검정력 혹은 필요한 표본크기의 계산과 관련된 4가지의 중요한 요소들이 있다.

• 표본크기
• 탐지하고자 하는 효과크기
• 가설검정을 위한 유의수준
• 검정력

- 가장 일반적으로 표본크기를 알고 싶을 경우가 많다. 이때, 나머지 3가지 요소를 정해야 한다. 아래의 R 코드는 같은 크기의 두 표본을 고려한 검정을 위해 사용된다.

pwr.2p.test(h=... , n=..., sig.level=..., power=...)

 h=효과크기(비율), n=표본크기, sig.level=검정을 수행할 유의수준(알파),power=검정력(효과크기를 알아낼 확률)이다.

< 참고자료 >
1. Peter Brucs & Andrew Brucs (2018), 데이터 과학을 위한 통계. 한빛미디어. 이용준 옮김.