Questionnaire Pretesting Methods: Do Different Techniques and Different Organizations Produce Similar Results?

Abstract

Méthodes de pré-test de questionnaire, les différentes techniques et organisations produisent-elles des résultats semblables ? : Depuis 20 ans, il y a eu un accroissement significatif dans l'utilisation de formes nouvelles de pré-tests de questionnaires. Diverses techniques d'évaluations ont été utilisées pour signaler les points forts et faibles de ces méthodes. Des études limitées ont été faites sur l'efficacité des interviews cognitifs dans la résolution des problèmes de questionnaire. Mais ces études n'ont pas distingué les effets des méthodes des effets de l'organisation. L'objectif de cette recherche est de déterminer comment des méthodes diverses utilisées par trois instituts d'enquête par questionnaire (U.S. Census Bureau, Westat Inc. et Research Triangle Institute) arrivent à prédire les problèmes. Pour cette recherche, plusieurs chercheurs dans chacun des instituts ont utilisé trois méthodes de pré-test (revue informelle par experts, un système formel d'évaluation cognitive, et l'interview cognitif) sur trois questionnaires dans une expérience tridimensionnelle de tris multiples. Une classification est faite des problèmes identifiés par les méthodes et ces problèmes sont comparés les uns aux autres. Nous calculons le degré d'accord entre les instituts et entre les méthodes. Nous concluons sur l'utilité et l'adéquation de chaque méthode, et le degré d'accord et le caractère systématique de ces résultats.