Zheng, Y., & Chang, H. H. (2015). On-the-fly assembled multistage adaptive testing. Applied Psychological Measurement, 39(2), 104-118.
- CAT와 MST의 한계점을 보완하는 OMST(on-the-fly assembled multistage adaptive testing)를 제안함
- CBT가 빠른 속도로 발전하였음; 적응형 테스트(CAT, MST)는 검사를 각 수험자의 능력 수준에 맞게 조정하여 너무 쉽지도, 어렵지도 않도록 만드는 것(Lord, 1970)- 검사 시간을 효율적으로 줄일 수 있음. 선형 검사에 비해 CAT의 검사길이 감소는 30%~50% 정도임(Wainer & Eignor, 2000)- CAT는 문제은행에서 즉석으로 문항을 선택함; 반면 MST는 미리 문항을 선정하는 과정이 필요- 패널은 여러 단계로 구성되고, 각 단계에는 특정 수의 모듈이 있음- 수험생은 시험을 응시하게 되면 여러 병렬 패널중에 하나를 응시하게 되며, 1단계부터 시작하여 응답 패턴에 따라 그 다음 단계의 특정 모듈로 이어지게 됨
- OMST의 단계는 MST와 달리 즉석으로 생성됨- 먼저 1단계를 중간 난이도로 구성 --> 1단계의 문항에 대한 응답을 기반으로 잠정적 능력 추정치가 계산 --> 2단계 문항 모듈 구성 --> 2단계의 문항에 대한 응답을 기반으로 잠정적 능력 추정치가 계산 --> ...(반복)...--> 종료- OMST는 원하는 만큼 단계를 가질 수 있음; 문항노출을 조절할 수 있음; 또한 원하는 측정 정확도에 도달하면 테스트를 종료하는 종료 규칙이 있을 수 있음; 모듈 내 문항의 수도 정할 수 있음
⁕비통계적(nonstatistical) 제약조건이 없는 검사 - 비통계적 제약(예. 내용 범위, 단어 수)이 없는 경우, 문항 선택 방법은 CAT에서 사용하는 것을 OMST에서 사용이 가능함(예. maximum Fisher information)⁕비통계적(nonstatistical) 제약조건이 있는 검사
1. Strategy 1: Constraint-controlled item selection methods
- 0-1프로그래밍 접근: 모든제약조건을 만족시킨다고 보장할 수 있으나, 계산이 intense하고, 강력한 solver software에 의존해서, 주어진 문제은행이 모든 제약이 만족하지 못하는 경우에 solution을 가지지 못할 수 있음
- 휴리스틱 접근: 모든 제약조건을 만족시킨다고 할순 없으나, 계산이 매우 빠르고, solver software에 의존하지 않아서 실행 불가능성의 문제는 없음; weighted deviation model (WDM; Swanson & Stocking, 1993), normalized weighted absolute deviation heuristic (NWADH; Luecht, 1998), maximum priority index (MPI; Cheng & Chang, 2009).
2. Strategy 2: The item replacement step
- 제약 조건을 엄격하게 충족해야 하고 선택된 문항 선택 방법이 이를 보장할 수 없는 경우(예. 휴리스틱 접근) 처음 문항 선택 후에 교체단계를 추가할 수 있음
- 선택된 문항이 제약조건을 충족하지 못하는 경우, 적합하지 않은 문항을 문제은행에서 information이 최대가 되도록 대체함
⁕ OMST의 노출제어
- Sympson–Hetter (SH; Sympson & Hetter, 1985), multinomial Sympson–Hetter (MSH; Stocking & Lewis, 1995) 방법
- SH 방법은 MSH 방법보다 최대 노출을 제어하는데 효과적임, 그러나 0-1 programming 에서는 계산 시간이 너무 오래 걸리기 때문에 0-1 programming에서는 MSH, 휴리스틱접근에서는 SH를 권장
- 문제은행 계층화
⁕ CAT의 대안-MST
- CAT의 과대/과소추정의 문제로 인해 (Fisher information) 등장; 유능한 피험자가 실수로 몇가지 문항에 대해 잘못 답하는 경우/ 무능한 피험자가 우연히 몇가지 문항에 대해 올바르게 답하는 경우 짧은 테스트 내에서 실제 능력 수준으로 측정되기 어려움; MST는 첫단계가 완료될 때까지 능력을 추정하지 않기 때문에 이러한 문제에 영향을 받지 않음
- CAT는 문항 건너뛰기/돌아오기를 허용하지 않기 때문에 수험생에게 불필요한 스트레스를 줌
- MST는 검사를 검토할 수 있다는 장점이 있으나; 수많은 검사형이 있는 경우 사람의 직접검토가 어렵거나 비용이 많이 들 수 있음; OMST가 등장하게 된 이유
- OMST는 각 개인의 능력 수준에맞게 즉석에서 조립되기 때문에 MST보다 개별 수험자의 information을 더 많이 제공할 것임. 능력척도 극단에서 MST보다 측정 효율성이 증가할 것임
- OMST는 즉석에서 문항을 선택하기 때문에 테스트 보안의 문제에서 벗어날 수 있음
⁕ 시뮬레이션연구; CAT, MST, OMST
- 3PL. MATLAB, 문항 352개, 500명(-3.5, 3.5), 50번의 시행, 시험길이 45, 3단계, 각 15문항, 콘텐츠 범주를 기반으로 한 비통계적 제약 있음(각 콘텐츠 범주에서 1개 이상의 문항이 있어야 함)
- 수험자의 능력은 MLE와 EAP로 추정; 모두 맞거나 틀리면 MLE 사용할 수 없음. 모두 맞거나 틀리면 EAP 사용
- bottom-up approach, 1-3-3 디자인, 첫 라우팅 모듈의 난이도는 0, 1단계 병렬모듈 11개, 2,3단계 병렬모듈 각 2개이므로 사용된 문항의 수는 총 345개((병렬모듈 1단계 11+ 2단계 6+3단계 6) * ( 모듈 당 문항수 15개))
- MPI(휴리스틱 접근)와 shadow test(0-1 approach)으로 평가, 문항 노출을 막기 위해 SH와 MSH 방법 사용 (r= 0.15)
- item bank 계층화는 첫번째 단계는 잘 사용되지 않는 하위 item bank, 나머지 30개 항목은 잘 사용되는 item bank에서
Result
- OMST와 CAT는 bias의 정도는 비슷하지만 MST는 더 큰 bias를 보임
- SH 가 MSH보다 효율적; 휴리스틱 접근인 경우 SH 선택해야 할 것임
- item bank 계층화를 통해 OMST와 CAT가 비슷한 수준에서 측정 정확도를 유지하며 사용하지 않는 문항의 수를 줄임
- 테스트 보안의 측면에서 MST보다 CAT와 OMST가 더 다양한 테스트가 진행됨