[Reference] Imputation Methods to Deal With Missing Responses in Computerized Adaptive Multistage Testing

Cetin-Berber, D. D., Sari, H. I., & Huggins-Manley, A. C. (2019). Imputation methods to deal with missing responses in computerized adaptive multistage testing. Educational and Psychological Measurement, 79(3), 495-511.

 

- missing은 피험자의 능력 추정을 복잡하게 하고, 잘못된 routing을 초래할 수 있음. 따라서 신중한 처리가 필요함

- MST에서 두가지 imputation 방법을 적용하여 FIML(full information maximum likelihood)로 추정하였음 

 

Introduction

- ca-MST에서는 라우팅 모듈(초기 모듈)에 대한 피험자의 성과에 따라 다음 단계의 다른 모듈을 선택하게됨(Luecht, Brumfield, & Breithaupt, 2006)

- MST를 응시하는 피험자들은 모듈 내 문항을 순서대로 응답하거나, 건너뛸 수 있다는 점에서 CAT와 차이가 있음. 이러한 점으로 인해 missing 데이터가 발생할 가능성이 있음 

- missing이 편향된 능력 추정치를 생성할 수 있다는 참고문헌은 많이 있음(Demars, 2002; Finch, 2008)

- missing을 처리하기 위한 가장 간단한 방법은 틀렸다고 하는 것

- rounting decision(다음 단계에서 어떤 module을 고를지)을 정오답 갯수(Number-correct scores)로 하는 경우에는 bias가 없지만, information-based methods를 이용하는 경우에는 missing이 module안에 있을 때 정확하게 능력을 추정하지 못할 수 있음 

- 모듈 내 missing은 시험 중에 피험자가 응시하게 되는 경루에 영향을 미치므로, 피험자의 잠재 특성에 대한 최종 추정치에 영향을 미칠 수 있음

 

- missing 데이터를 처리하기 위한 방법

1.지워버림 (예. listwise deletion)

2. full information maximum likelihood 이용

3. single imputation

4. multiple imputation

(+5. modeling approach (e.g., Holman & Glas, 2005; Moustaki & Knott, 2000; Rose, von Davier, & Xu, 2010))

 

적절한 missing 데이터를 처리하는 방법을 결정하기 위해서는 missing 메커니즘과 데이터의 구조와 같은 여러 측면을 고려해야 한다. Deciding which missing data handling method might work well for the data challenge at hand depends on several aspects such as missingness mechanisms and data structure (Eekhout et al., 2014; Finch, 2008). 

 

missing 데이터를 처리하는 방법은 메커니즘에 민감

- MCAR인 경우에 listwise deletion이 unbias (Van Ginkel et al., 2010)

- MAR인 경우에 FIML, imputation(Gottschall, West, & Enders, 2012)

- CAT에서 아이템 선정의 과정에서 나타나는 missing은 MAR(Guo, 2014; Mislevy, 2017)

- 그러나 피험자가 누락하는 경우에 발생하는 missing은 MNAR(Wang, Jiao, & Xiang, 2013; Wolkowitz & Skorupski, 2013)

 

일반 검사에서는 다른 문항에 대한 수험자의 응답이나, 다른 수험자의 해당 문항에 대한 응답으로 missing을 처리할 수 있으나, MST 특성상 PMI, PPI와 FIML을 고려(FInch, 2008에서 다른 맥락에서 해당 조건 시뮬레이션) 

 

Method

-missing handle method: PMI, PPI, FIML, incorrect

-MST design: 1-3, 1-2-2, 1-2-3, 1-3-3 // 검사길이: 30, 60

-missing type: MCAR, MAR, MNAR // missing %: 5% 15% 30% 50%

-100번의 반복시행, N(0,1)의 피험자 900명

-문항모수는 Schnipke & Reese (1999)에서 추출, 3개의 panel을 만들고 300명씩 피험자를 배정

-theta_1=-1, theta_2=0, theta_3=1에서 추출(easy, medium, hard)

-routing module은 medium, 1-2-2인 경우에는 medium 없음; routing method는 maxium Fisher information method

-expected posterior method with a prior distribution(N(0,1))로 능력 추정 

 

Result

1) missing %가 늘어날수록 Bias가 커짐

2) incorrect 일때 가장 높은 RMSE,  BIAS 차이 큼

3) 결측에 관계없이 FIML이 가장 낮은 RMSE, 우수한 BIAS

4) PMI와 PPI 방법이 동일한 RMSE

 

1) missing %가 커질수록 correlation 낮아짐

2) FIML이 가장 correlation 높음

*예외* missing이 50%일때 MNAR의 incorrect 방법은 correlation이 높았음

-> 이것은 missing methods가 missing data가 작을 수록 잘 작동한다는 선행과 일치하는 결과(Enders, 2004; Finch, 2008; Sijtsma & van der Ark, 2003)

3) missing 50%일때 MCAR의 incorrect 방법은 correlation이 낮았음

4) PMI와 PPI는 차이 없었음

 

 

- 검사의 길이나 test design은 영향을 미치지 못함

- 검사 응시 전에는 missing의 %을 알 수 없기 때문에 모든 missing %에서 일관된 결과를 내는 FIML이 최상의 접근 중 하나라고 봄

- 본 연구는 single imputation만을 사용했다는 단점이 있음;향후 연구에는 multiple imputation을 사용 고려

- 향후연구로 MST의 시간 제한을 고려하여 다 풀지 못한 문항을 처리하는 방법을 조사할 수 있음