강태훈(2011). 무시할 수 없는 결측치와 IRT 능력모수 추정의 정확성. 교육평가연구, 24(2), 445-462
요약
무시할 수 없는 결측치 자료가 존재할 때, 전통적 2모수 로지스틱 모형과 결측치를 모형에 포함하여 다루는 확장된 다차원적인 2모수 모형을 능력모수 추정의 정확성 측면에서 비교함
전통적 2모수 모형에 비하여 확장된 2모수 모형이 상대적으로 정확하게 피험자 능력모수를 복원하였음
결측치가 무선적일때는 두 모형이 매우 비슷하게 능력모수를 복원함
서론
IRT를 통해 자료분석을 정확하게 하기 위해서는 피험자가 성실하게 응답을 해야함; 그러나 결측치가 흔히 발생하게됨
결측치 발생 기제는 다음과 같이 세가지로 나눌 수 있음
- 결측치가 무선적으로 발생하는 경우(MCAR: Missing completely at random)로 MCAR가 발생할 확률은 다른 관찰된 자료나 혹은 관찰되지 않은 어떤 자료와 아무 관련 없음 - 피험자가 자신의 부주의나 실수 때문에 어떤 문항들에 대한 답을 답안지에 기록하지 못해서 발생함, 문항 모수 연계(linking)나 차별적 기능문항 탐색 등의 목적으로 자료의 설계 자체가 상당량의 결측치를 포함하는 경우
- 결측 자료가 발생하는 패턴이 ‘관찰되지 않은 어떤 요인’에 의해서 발생한 것은 아니지만 이미 관찰된 자료들에 의해 영향을 받는 것으로 보이는 경우(MAR: missing at random, 무선결측) - 컴퓨터개별적응검사(computerized adaptive test, 이하 CAT)에서 발생하는 결측 자료
- 결측 자료의 발생 패턴이 ‘측정하고자 하는 잠재변수와 비독립적인 관계를 맺고 있는, 관찰되지 않은 어떤 체계적 원인’의 영향을 받고 있는 경우(MNAR: missiong not at random, MNAR, 비무선결측) - 낮은 능력을 가진 피험자가 어려운 문항을 접했을 때 당황하거나 혼란하여 응답하지 못하는 경우, 다른 어려운 문제를 해결하다가 적절한 시간 안배를 못해 응답하지 못하는 경우
- Rubin(1976)은 최대우도법을 사용하여 통계적 모형의 모수를 추정할 경우, MCAR이나 MAR은 추정 모수에 영향을 주지 않기 때문에 무시할 수 있다고 하였음(Bock & Aitkin, 1981도 마찬가지)
- Rubin(1976), Schafer(1997) 베이지안 모수추정에서도 무선적 결측치는 모수추정을 왜곡하지 않는 것으로 알려져 있음
- MNAR IRT 관련 선행연구는 MNAR 결측치가 자료 분석에 미치는 영향을 주로 '문항' 모수 추정과 관련하여 연구하여 왔음(DeMars, 2002; Glas & Pimentel, 2006; Holman & Glas, 2005; Pimentel, 2005).
- 모형 기반 접근: 다차원 문항반응모형을 사용하여 무시할 수 없는 결측치를 발생시킨 기제에 의한 결과 까지 함께 분석하려는 시도(Holman & Glas, 2005)
* 결측치 기제를 포함하는 문항반응모형
- 검사 문항에 대한 정상적인 응답 반응을 담고있는 자료 행렬(X: person j by item i)과 결측치 기제에 관한 행렬(D: persons j by items i)로 구성됨. 자료행렬 X는 X_ij=1이면 정답, X_ij=0이면 오답, 결측치 행렬 D_ij=1이면 응답, D_ij=0이면 결측치
- 자료행렬 X에서 결측치를 9로 코딩한 경우, 결측치 행렬 D에서는 0으로 코딩
- 부수적 모수(incidental parameter) 크사이ξ: 문항에 답하고자 하는 경향성
- 구조적 모수(structure parameter) 제타ζ: 곤란도 - 제타가 클수록 문항에 응답하기 어렵기에 더 많은 결측이 생길것임
- 구조적 모수(structure parameter) 람다λ : 변별도 - 람다가 클수록 해당 문항에서 크사이에 더 민감하게
피험자 능력과 크사이가 상호 독립이라면, 문항에 대한 정답 확률은 크사이와 무관하게 결정될 것이며, 크사이도 정답 확률과 무관하게 결정됨 -> 무시할 수 없는 결측치 자료 생성을 위해 두 모수(크사이, 세타)간 상관이 0이 아니면 된다
Holman& Glas(2005)에 따르면 해당 논문의 2PLM-NI 말고도 몇가지 모형 기반 접근방법 있음
1) 세타가 결측여부(d)에 영향을 미치도록 하는 것
2) 크사이가 정오답반응(x)에 영향을 주도록 하는 것
3) 이 둘을 함께 고려하는 것
연구방법
1. 상관 (0, 0.3, 0.6, 0.9,)
2. 제타(곤란도) 한검사의 모든 문항이 같은 제타값을 가진다고 가정하고 -4, -2, -1, 0을 고려
3. 람다(변별도) 모든 문항에서 1로 고정
4. 각 조건에서 100개의 모의자료, 문항 수 30문항, 피험자수는 2000을 고정적으로 적용하였음
연구결과
1. 제타값이 커짐에 따라 -4일때는 결측치가 전체 자료에서 차지하는 비중이 5%, -2일때는 20&%, -1일떄는 30%, 0일떄는 50%로 나타났음
2. 상관이 0일때는 두 모형간 차이 없음. 상관이 0이 아닐때는 차이가 점차 커짐
3. 제타가 증가할 수록 능력모수 추정의 정확성이 떨어짐; 사용가능한 자료가 줄어들기 때문
4. 그러나 같은 수준의 제타 안에서 2PLM은 상관이 증가할 수록(=결측치 무시불가성이 커질수록) 능력모수 추정의 정확도가 떨어지나, 2PLM-NI는 반대로 값이 증가했음
5. 크사이의 복원 결과는 결측 수준/비율이 높아질 수록 보다 정확한 추정이 이루어지고, 상관이 클 수록 정확한 복원 가능해짐
시사점
1. 결측 원인에 대한 보다 현실적인 접근 필요(본 연구에서는 한가지만 고려하였음)
2. 결측의 수준 혹은 비율에 있어서 다양한 수준을 고려할 필요가 있음(본연구에서는 제타의 변화)
3. 피험자 수와 문항 수를 고정하였으나 다른 경우를 고려할 필요가 있음
4. 대척도 검사에서 3PL을 고려하는 경우가 종종 있으므로 확장할 필요가 있음
5. 자료수준에서 결측치를 다루는 다른 방법들(대체법, 오답처리, 부분점수 부여 등)을 적용하였을 때 실제적 시사점을 얻을 수 있을것 같음