강혜진, 이규민 (2020). 잠재변수의 비정규성, 검사 문항 수, 피험자 수가 Davidian 곡선을 적용한 IRT 모수 추정에 미치는 영향. 교육평가연구, 33(2). 533-559.
서론
- 문항반응이론에서 문항 및 능력모수를 추정할 때 보통 피험자의 능력 분포는 정규분포를 가정하고 분석이 진행됨
- 검사의 난이도가 매우 쉬울 경우에 피험자 점수 분포는 부적 편포를 이룰 수 있고, 반대로 검사의 난이도가 매우 어려운 경우 정적 편포를 이루게 됨
- 피험자의 잠재적 특성 변수가 정규분포가 아님에도 정규분포를 가정하고 분석하는 경우 모수 추정치에 편의가 발생할 수 있음
- Woods(2015)는 잠재변수가 편포를 이루고 있을 때, 정규분포를 가정한 주변최대우도추정(marginal maximum likelihood
estimation: MMLE) 방법을 통해 추정된 문항 모수 추정값은 무시할 수 없는 수준의 편의가 있음을 지적하였음
- 이러한 한계를 극복하기 위해 MMLE를 이용하여 문항 모수를 추정할 때 피험자의 기저 능력 분포도 함께 추정하는 방법이 제안됨
- 경험적 히스토그램 방법: 문항 모수와 더불어 지정된 구분구적점마다 모집단 분포의 확률밀도를 함께 추정하는 방식
- Ramsay: 다항함수(polynomial function)의 선형 연계를 활용하여 능력 분포를 추정
- Davidian: Ramsay 곡선 방법의 복잡성을 극복하기 위하여 다항함수의 제곱과 표준정규함수의 곱으로 정의되는 Davidian 곡선을 활용; 다항함수의 차수(1부터 10)로 만들 수 있는 모형을 적용한 후에, 적합도가 적절한 모형을 선택(Woods & Lin, 2009).
- Woods & Lin(2009)의 연구에서는 피험자의 능력모수 분포를 표준정규분포, 정적편포, 이봉분포로 나누어 모의실험 연구를 진행하여 경험적 히토그램방법, Ramsay 곡선 방법, Davidian 곡선 방법을 적용한 결과를 비교; Ramsay와 Davidian이 경험적히스토그램 방법보다 더 정확. 분포가 편포되어 있을 때 Ramsay보다 Davidian이 능력모수를 정확하게 추정
-연구문제: 1. 피험자 능력 분포의 비정규성이 Davidian 곡선을 적용한 IRT 문항 및 능력 모수 추정에 미치는 영향은 어떠하고, 잠재변수에 대한 정규분포 가정은 능력 분포의 비정규성에 대해 어느 정도 강인성(robustness)을 갖는가?
2. 검사의 문항 수가 Davidian 곡선을 적용한 IRT 문항 및 능력 모수 추정에 미치는 영향은 어떠한가?
3. 피험자 수가 Davidian 곡선을 적용한 IRT 문항 및 능력 모수 추정에 미치는 영향은 어떠한가?
연구방법
-심한정적편포, 약한정적편포, 피험자수(500, 2000, 5000), 문항수(10, 20, 40): 연구조건 27개, 100번 반복생성
- bias와 RMSE
연구결과
- 분포가 편포되어있을 때는 Davidian 곡선 방법이 정규분포를 가정한 방법보다 편의가 작음, 편포가 심해질 수록 그 차이가 커짐
- 편포가 커질수록, 문항수는 작을수록, 피험자수는 작을수록 normal과 Davidian의 문항모수의 bias가 크게 나타남; normal과 Davidian의 차이는 편포 정도가 심화될 수록 커짐
- 편포가 커질수록, 피험자의 수가 작을수록, 문항수가 작아질수록 normal과 Davidian의 문항모수, 능력모수의 bias가 크게 나타남.
결론 및 논의
첫째, 피험자 능력 모수 분포가 편포되어있을 때 Davidian 곡선 방법이 정규분포를 가정한 방법보다 모수 추정에 더 작은 편의를 산출하였고, 두 방법 간 편의 차이는 편포 정도가 심한 경우에 더 커졌다.
둘째, 피험자 능력 모수 분포가 편포되어있을 때 검사 길이가 길어질수록 Davidian 곡선방법이 산출하는 문항 모수 및 능력 모수 추정치의 편의가 작아진다.
셋째, 피험자 능력 모수 분포가 편포되어있을 때 Davidian 곡선 방법이 산출하는 IRT 모수추정의 편의는 피험자 수가 증가할수록 작아진다.