- 추론(inference) : 제한된 데이터로 주어진 실험 결과를 더 큰 과정 또는 모집단에 적용하려는 의도를 반영한다.
1. A/B 검정
- 두 처리 방법, 제품, 혹은 절차 중 어느 쪽이 다른 쪽보다 더 우월하다는 것을 입증하기 위해 실험군을 두 그룹으로 나누어 진행하는 실험이다.
| 용어 | 의미 |
| 처리(treatment) | 어떤 대상에 주어지는 특별한 환경이나 조건 |
| 처리군(treatment group) | 특정 처리에 노출된 대상들의 집단 |
| 대조군(control group) | 어떤 처리도 하지 않은 대상들의 집단 |
| 랜덤화(randomization0 | 처리를 적용할 대상을 임의로 결정하는 과정 |
| 대상(subject) | 처리를 적용할 개체 대상 |
| 검정통계량(test statistic) | 처리 효과를 측정하기 위한 지표 |
- 대조군의 경우, 관심 처리를 뺀 나머지는 처리 그룹과 동일한 조건이 적용되기 때문에 대조군은 설정은 필수적이다.
2. 가설검정
- 가설검정(hypothesis test)은 유의성 검정(significance test)라고도 불리며, 그 목적은 관찰된 효과가 우연에 의한 것인지 여부를 알아내는 것이다.
| 용어 | 의미 |
| 귀무가설(null hypothesis) | 우연 때문이라는 가설 |
| 대립가설(alternative hypothesis) | 귀무가설과의 대조(증명하고자 하는 가설) |
| 일원검정(one-way test) | 한 방향으로만 우연히 일어날 확률을 계산하는 가설검정 |
| 이원검정(two-way test) | 양방향으로 우연히 일어날 확률을 계산하는 가설검정 |
1) 귀무가설
- 그룹 간의 차이는 우연에 의한 결과라는 것을 기본 가정으로 설정하고 이를 귀무가설이라고 부른다. 결국, 귀무가설이 틀렸다는 것을 입증해서, A 그룹과 B 그룹 간의 차이가 우연이 아니라는 것을 보여주는 것이 목적이다.
2) 대립가설
- 귀무가설과 대립 가설이 모든 가능성을 설명할 수 있어야 한다.
귀무가설 : 그룹 A와 그룹 B의 평균에는 차이가 없다.
대립가설 : 그룹 A와 그룹 B의 평균은 다르다(더 크거나 작을 수 있다).
-> 모든 가능성을 설명할 수 있기 때문에 올바른 가설 검정이다.
귀무가설 : A < B
대립가설 : A > B
-> A=B라는 가능성을 설명할 수 없기 때문에 올바르지 않은 가설설정이다.
3) 일원 가설검정
- 우연에 의한 극단적인 결과에 대해 한 방향만을 고려하여 p 값을 계산한다.
4) 이원 가설검정
- 우연에 의한 극단적인 결과가 양쪽에서 나타날 p 값을 계산한다.
3. 재표본추출
- 재표본추출이란 랜덤한 변동성을 알아보자는 일반적인 목표를 가지고, 관찰된 데이터의 값에서 표본을 반복적으로 추출하는 것을 의미한다. 부트스트랩과 순열검정이라는 두 가지 주요 유형이 있다.
- 부트스트랩은 추정의 신뢰성을 평가하는 데 사용되며, 순열검정은 일반적으로 두 개 이상의 그룹과 관련된 가설을 검증하는 데 사용한다.
| 용어 | 의미 |
| 순열검정(permutation test) | 두 개 이상의 표본을 함께 결합하여 관측값들을 무작위로(또는 전부를) 재표본으로 추출하는 과정을 말한다. |
| 복원/비복원(with or without replacement) | 표본을 추출할 때, 이미 한번 뽑은 데이터를 다음번 추출을 위해 다시 제자리에 돌려 놓거나/다음 추출에서 제외하는 표집 방법 |
1) 순열검정
- 순서를 바꾼다(permute)라는 의미의 영어 표현은 말 그대로 어떤 값들의 집합에서 값들의 순서를 변경한다는 의미가 있다.
perm_fun <- function(x, n1, n2)
{
n <- n1 + n2 # 여러 그룹의 데이터를 하나의 그룹으로 합친다.
idx_b <- sample(1:n, n1) # 기존의 그룹과 동일한 크기로 표본을 비복원 추출한다.
idx_a <- setdiff(1:n, idx_b) # 기존의 그룹과 동일한 크기로 표본을 비복원 추출한다.
mean_diff <- mean(x[idx_b]) - mean(x[idx_a])
return(mean_diff)
}위의 랜덤 셔플링 절차를 임의순열검정(random permutation test) 또는 임의화검정(randomization test)이라고 부르며 이 외에도 전체순열검정(exhaustive permutation test)와 부트스트랩 순열검정(bootstrap permutation test)가 있다.
전체순열검정
- 데이터를 무작위로 섞고 나누는 대신 실제로 나눌 수 있는 모든 가능한 조합을 찾는다. 그렇기 때문에 샘플이 작을 경우에만 실용적이다.( 셔플링을 반복할수록, 임의순열검정의 결과는 전체순열검정의 결과와 거의 유사하게 근접한다.)
부트스트랩 순열검정
- 샘플링 과정을 복원 추출로 수행한다. 이러한 경우 모집단에서 개체를 선택할 때 임의성을 보장하며, 개체가 처리 그룹에 할당될 때에도 임의성을 보장한다.
* 순열검정은 랜덤한 변이가 어떤 역할을 하는지 알아보기 위해 사용되는 휴리스틱한 절차이다.
* 리샘플링의 장점 중 하나는 추론에서 '모두에게 맞는' 접근 방식이라고 말할 수 있다는 점이다.
4. 통계적 유의성과 p 값
- 통계적 유의성이란, 실험이나 연구 결과가 우연히 일어난 것인지 아니면 우연히 일어날 수 없는 극단적인 것인지를 판단하는 방법이다.
| 용어 | 의미 |
| p 값(p-value) | 귀무가설을 구체화한 기회 모델이 주어졌을 때, 관측된 결과와 같이 특이하거나 극단적인 결과를 얻을 확률 |
| 알파(alpha) | 실제 결과가 통계적으로 의미 있는 것으로 간주되기 위해, 우연에 의한 기회 결과가 능가해야 하는 '비정상적인' 가능성의 임계 확률 |
| 제1종 오류(type I error) | 우연에 의한 효과가 실제 효과라고 잘못 결론 내리는 것 |
| 제2종 오류Itype II error) | 실제 효과를 우연에 의한 효과라고 잘못 결론 내리는 것 |
1) p 값
- 우리가 p 값을 통해 전달하고자 하는 것 : 결과가 우연에서 비롯될 확률.
- 실제 p 값이 나타내는 것 : 랜덤 모델이 주어졌을 때, 그 결과가 관찰된 결과보다 더 극단적일 확률.
2) 오류
- 1종 오류 : 어떤 효과가 우연히 발생한 것인데, 그것이 사실이라고 잘못 판단하는 경우
- 2종 오류 : 어떤 효과가 실제로 있는 것인데, 그것이 우연히 발생한 것이라고 잘못 판단하는 경우
* 유의성 검정의 기본 기능은 어쩌다 우연히 일어난 일에 속지 않도록 하는 것이다. 따라서 보통은 1종 오류를 최소화하도록 가설을 설계한다.
< 참고자료 >
1. Peter Brucs & Andrew Brucs (2018), 데이터 과학을 위한 통계. 한빛미디어. 이용준 옮김.
'공부 > 데이터 과학을 위한 통계(한빛미디어)' 카테고리의 다른 글
| 11. 회귀와 예측(1) (0) | 2020.10.25 |
|---|---|
| 10. 통계적 실험과 유의성 검정(2) (0) | 2020.10.20 |
| 8. 통계학에서의 여러가지 분포(2) (0) | 2020.10.09 |
| 7. 통계학에서의 여러가지 분포(1) (0) | 2020.10.08 |
| 6. 데이터와 표본 (0) | 2020.10.06 |