나우열 (2022). 모의실험을 통한 설문자료 내 불성실 응답 탐지 이후의 자료 처리 방안 비교. 교육평가연구, 35(3), 489-520.
서론
- 자기보고식 설문지에서는 응답자의 동기부족이나 설문 참여에 따른 보상 유무나 응답자의 성격특성 등 다양한 요인으로 인해 주의깊게 응답하지 않는 경우가 발생할 수 있음
- 응답자의 부주의 등으로 인해 발생한 부정확한 응답을 "불성실 응답"으로 정의; 불성실 응답이 전체 자료의 약 5%~10% 정도만 포함되더라도 상관계수 추정을 부정확하게 하거나, 상관계수의 가설 검정 결과가 왜곡되거나, CFA시 모형 적합도를 악화시키기도 함
- 불성실 응답을 무작위적 응답 / 비무작위적 응답으로 구분
- 무작위적 응답(random responding:) 응답자가 설문 문항의 내용을 무시하고 무작위로 응답 보기를 선택하는 유형의 불성실 응답
- 비무작위적 응답(non-random responding): 문항의 내용과는 상관없이 연속적으로 동일한 보기에 응답하는 한 줄 응답(straightlining) 등과 같이 일정한 패턴이 나타나는 유형의 불성실 응답
- 불성실 응답을 탐지하기 위한 지표: 최대 한 줄 응답(maximum long-string), 개인 내 응답 변량(IRV), 마할라노비스 거리(Mahalanobis distance), 개인 내적 일관성(individual consistency)을 나타내는 지수인 홀-짝 일관성(odd-even consistency), 심리측정학적 동의어 및 반의어(psychometric synonym and antonym) 등은 무작위적 혹은 비무작위적인 불성실 응답을 탐지하는 데에 유용한 지표
- 불성실 응답자를 탐지하기 위해: 다중허들 접근법(multiple-hurdle approach; Goldammer et al., 2020-다양한 지표들마다 불성실 응답 판정을 위한 기준점을 설정하고 최종적으로는 불성실 응답 탐지를 위한 지표들 중 하나 이상에서 불성실 응답으로 탐지된 사례들을 최종 불성실 응답자로 판정)이나 잠재계층 모형(latent class-LPA 실시)을 활용한 접근법(Meade & Craig, 2012)
- 자료의 처리방안: 그대로 이용하여 분석 / 사례별 제거법(casewise deletion) / 다중대체(multiple imputation)
- 그대로 이용: 분석 결과에 있어 편향이 발생한다는 제한점
- 사례별 제거법: 불성실 응답이 분석에서 다루고 있는 심리적 구인들과 관련성이 있을 경우, 불성실 응답자를 제외하는 것은 표본의 대표성을 저해하는 동시에 분석 결과에 있어 편향을 야기할 가능성이 있음
- 다중대체: 표본 크기의 손실없이 분석 결과의 편향을 어느정도 경감할 수 있다는 점에서 유리
이론적배경
- 불성실응답의 원인: 맥락적 요인(설문 문항의 길이, 강제성, 온라인 환경 등의 응답자의 설문 응답 환경), 개인적요인(낮은 동기, 개인의 성격적, 심리적 특성)
- 불성실 응답의 탐지 방법: 사전적 탐지(가짜 문항)/사후적 탐지(최대 한줄 응답, 개인 내 응답 변량, 홀짝 일관성 등)
- 불성실 응답 탐지 방안을 적용하여 불성실 응답을 판정한 후 이에 대해 결측 대체를 적용하는 것에는 어려움이 있음. 왜냐하면, 이러한 방법들을 적용하여 불성실 응답자를 판정하는 접근법은 개별 사례 단위에서 불성실 응답자를 탐지할 수 있지만, 어떤 문항에서 불성실 응답자가 불성실한 응답을 실시하였는가에 대해서는 제한점이 있음; 불성실 응답자의 응답을 일괄 결측으로 변환할 경우, 탐지된 불성실 응답자는 모든 문항에서 결측값을 보이는 응답자 수준의 결측(person-level missing)이 됨. --> 불성실 응답 탐지를 위한 지표들을 결측값 대체를 위한 보조변수(auxiliary variables)로 활용
연구방법
- 리커트 형식 자기보고식 설문 자료에 존재하는 불성실 응답을 탐지한 후의 처리 방안을 적용하였을 때, 분석 결과와 모수 추정의 정확성 등 자료 분석 결과에 어떠한 영향을 미치는가에 대한 모의실험을 진행; 요인당 10문항 3요인(총 30문항)
- 모의실험 조건: 표본의 크기(500/1000), 불성실 응답자의 비율(10%, 20%, 30%), 불성실 응답 문항의 비율(30%적은문항-50% 많은 문항, 50% 적은문항-70% 많은문항,80%적은문항-100%많은문항) 불성실 응답과 구인과의 관계(응답과 심리적 구인이 독립/의존)
연구결과
1. 불성실 응답-구인 간 독립인 경우
- 불성실응답까지 완전자료로 포함한 경우 가장 좋지않은 모형적합도 지수 나타냄, 불성실 응답자 비율이 높거나 불성실 응답 문항의 비율이 높을 수록 보다 명확함
- 사례별 제거법이 가장 좋은 모형 적합도 지수
-요인 부하량은 다중대체가 RMSE 제일 높고, 요인 공분산에서는 완전자료의 RMSE가 가장 높게 나타남
2. 불성실 응답-구인 간 의존인 경우
- 독립과 유사한 양상이 나타남
첫째, 사례별 제거법의 경우, 대부분의 모의실험 조건에서 모형 적합도 지수와 모수 추정 정확도의 측면에서 비교적 양호한 결과가 나타났다.
둘째, 완전자료를 활용하여 분석하는 방안의 경우에는 모형 적합도 지수 결과에서는 가장 양호하지 않은 결과가 나타났으며, 구인 간 관계 추정에서도 부정확한 결과가 나타났다.
셋째, 결측대체법의 경우 완전자료를 활용한 처리 방법보다 양호한 모형 적합도 결과가 나타났으며, 구인 간 관계 추정 시에도 비교적 정확한 것으로 나타났다. 그러나 결측대체법을 적용할 경우, 요인부하량의 추정에서는 다소 부정확한 결과
가 나타났다; 불성실 응답 탐지 방법과 관련.. 탐지된 불성실 응답자의 응답을 모두 결측값으로 변환한 후 대체하기 때문에 문항 수준이 아닌 응답자 수준의 결측값을 대체허가에는 어려움이 있음