Dasein's ‎Archive

- 추론(inference) : 제한된 데이터로 주어진 실험 결과를 더 큰 과정 또는 모집단에 적용하려는 의도를 반영한다.

1. A/B 검정

- 두 처리 방법, 제품, 혹은 절차 중 어느 쪽이 다른 쪽보다 더 우월하다는 것을 입증하기 위해 실험군을 두 그룹으로 나누어 진행하는 실험이다.

- 대조군의 경우, 관심 처리를 뺀 나머지는 처리 그룹과 동일한 조건이 적용되기 때문에 대조군은 설정은 필수적이다.

2. 가설검정

- 가설검정(hypothesis test)은 유의성 검정(significance test)라고도 불리며, 그 목적은 관찰된 효과가 우연에 의한 것인지 여부를 알아내는 것이다.

1) 귀무가설

- 그룹 간의 차이는 우연에 의한 결과라는 것을 기본 가정으로 설정하고 이를 귀무가설이라고 부른다. 결국, 귀무가설이 틀렸다는 것을 입증해서, A 그룹과 B 그룹 간의 차이가 우연이 아니라는 것을 보여주는 것이 목적이다.

2) 대립가설

- 귀무가설과 대립 가설이 모든 가능성을 설명할 수 있어야 한다.

귀무가설 : 그룹 A와 그룹 B의 평균에는 차이가 없다.

대립가설 : 그룹 A와 그룹 B의 평균은 다르다(더 크거나 작을 수 있다).

-> 모든 가능성을 설명할 수 있기 때문에 올바른 가설 검정이다.

귀무가설 : A < B

대립가설 : A > B

-> A=B라는 가능성을 설명할 수 없기 때문에 올바르지 않은 가설설정이다.

3) 일원 가설검정

- 우연에 의한 극단적인 결과에 대해 한 방향만을 고려하여 p 값을 계산한다.

4) 이원 가설검정

- 우연에 의한 극단적인 결과가 양쪽에서 나타날 p 값을 계산한다.

3. 재표본추출

- 재표본추출이란 랜덤한 변동성을 알아보자는 일반적인 목표를 가지고, 관찰된 데이터의 값에서 표본을 반복적으로 추출하는 것을 의미한다. 부트스트랩과 순열검정이라는 두 가지 주요 유형이 있다.

- 부트스트랩은 추정의 신뢰성을 평가하는 데 사용되며, 순열검정은 일반적으로 두 개 이상의 그룹과 관련된 가설을 검증하는 데 사용한다.

1) 순열검정

- 순서를 바꾼다(permute)라는 의미의 영어 표현은 말 그대로 어떤 값들의 집합에서 값들의 순서를 변경한다는 의미가 있다.

perm_fun <- function(x, n1, n2)
{
	n <- n1 + n2 # 여러 그룹의 데이터를 하나의 그룹으로 합친다.
	idx_b <- sample(1:n, n1) # 기존의 그룹과 동일한 크기로 표본을 비복원 추출한다.
    idx_a <- setdiff(1:n, idx_b) # 기존의 그룹과 동일한 크기로 표본을 비복원 추출한다.
    mean_diff <- mean(x[idx_b]) - mean(x[idx_a])
    return(mean_diff)
}

위의 랜덤 셔플링 절차를 임의순열검정(random permutation test) 또는 임의화검정(randomization test)이라고 부르며 이 외에도 전체순열검정(exhaustive permutation test)와 부트스트랩 순열검정(bootstrap permutation test)가 있다.

전체순열검정

- 데이터를 무작위로 섞고 나누는 대신 실제로 나눌 수 있는 모든 가능한 조합을 찾는다. 그렇기 때문에 샘플이 작을 경우에만 실용적이다.( 셔플링을 반복할수록, 임의순열검정의 결과는 전체순열검정의 결과와 거의 유사하게 근접한다.)

부트스트랩 순열검정

- 샘플링 과정을 복원 추출로 수행한다. 이러한 경우 모집단에서 개체를 선택할 때 임의성을 보장하며, 개체가 처리 그룹에 할당될 때에도 임의성을 보장한다.

* 순열검정은 랜덤한 변이가 어떤 역할을 하는지 알아보기 위해 사용되는 휴리스틱한 절차이다.

* 리샘플링의 장점 중 하나는 추론에서 '모두에게 맞는' 접근 방식이라고 말할 수 있다는 점이다.

4. 통계적 유의성과 p 값

- 통계적 유의성이란, 실험이나 연구 결과가 우연히 일어난 것인지 아니면 우연히 일어날 수 없는 극단적인 것인지를 판단하는 방법이다.

1) p 값

- 우리가 p 값을 통해 전달하고자 하는 것 : 결과가 우연에서 비롯될 확률.

- 실제 p 값이 나타내는 것 : 랜덤 모델이 주어졌을 때, 그 결과가 관찰된 결과보다 더 극단적일 확률.

2) 오류

- 1종 오류 : 어떤 효과가 우연히 발생한 것인데, 그것이 사실이라고 잘못 판단하는 경우

- 2종 오류 : 어떤 효과가 실제로 있는 것인데, 그것이 우연히 발생한 것이라고 잘못 판단하는 경우

* 유의성 검정의 기본 기능은 어쩌다 우연히 일어난 일에 속지 않도록 하는 것이다. 따라서 보통은 1종 오류를 최소화하도록 가설을 설계한다.

< 참고자료 >
1. Peter Brucs & Andrew Brucs (2018), 데이터 과학을 위한 통계. 한빛미디어. 이용준 옮김.