English Title: Multivariate methods of test construction

Preview

PDF, German Download (12MB) | Terms of use

Abstract

In der vorliegenden Arbeit wird der Nutzen von multivariaten Methoden der Itemselektion untersucht. Im Gegensatz zu herkömmlichen Methoden zur Konstruktion psychologischer Tests anhand von Itemkennwerten berücksichtigen diese Methoden, dass die Wirkung eines Items auf die Gütekriterien des Tests nicht unabhängig davon beurteilt werden kann, welche Items außerdem im Test enthalten sind. Ausgehend von einer Darstellung der klassischen Testtheorie, die streng zwischen tautologischen Aussagen und Sätzen mit empirischem Gehalt differenziert, wird gezeigt, dass multivariate Methoden der Skalenkonstruktion auf der Nutzbarmachung von Suppressionseffekten beruhen. Es wird eine formale Definition von Suppression in der Testkonstruktion präsentiert und deren Nutzen bei der Interpretation von empirischen Daten demonstriert. Außerdem werden im empirischen Teil der Arbeit die diskutierten Itemselektionsmethoden sowohl durch Monte-Carlo Simulationen als auch anhand empirischer Daten verglichen. Es zeigt sich, dass multivariate Methoden der Skalenkonstruktion nur dann zu valideren Tests führen als herkömmliche Methoden, wenn der Stichprobenumfang groß, der Itempool mehrdimensional oder die Kommunalität der Kriteriums groß ist. Ansonsten führen multivariate Methoden nur in der Stichprobe zu einer besonders hohen Validität, während sie in der Population vor allem bei der Auswahl eines geringen Teils der Items zu wenig validen Skalen führen. Außer bei einem eindimensionalen Itempool führen multivariate Methoden der Itemselektion dagegen zu Tests von vergleichsweise geringer Reliabilität. Die Selektion anhand der Trennschärfe führt bei mehrdimensionalem Itempool dagegen nur bei der Auswahl von wenigen Items zu Tests mit befriedigender Validität, während bei der Aufnahme eines Großteils der Items häufig sogar weniger valide Skalen resultieren als bei zufälliger Auswahl. Bei Optimierung von Cronbach’s alpha resultieren, außer bei eindimensionalem Itempools, Skalen mit hoher Reliabilität, aber mit sehr geringer Validität. Die Selektion anhand der Itemvalidität führt dagegen unabhängig von den Eigenschaften des Itempools zu reliablen und validen Skalen. Die Sicherung der Itemvalidität kann daher als einzige der untersuchten Methoden unabhängig von den Eigenschaften des Itempools empfohlen werden, während die anderen Verfahren nur dann angewendet werden sollten, wenn die entsprechenden Voraussetzung erfüllt sind.

Translation of abstract (English)

The present study explores the utility of multivariate methods of item selection. Contrary to conventional methods of scale construction based on item parameters, these methods take account of the fact that the impact of an item on the validity and reliability of a test cannot be determined without considering the other items. Based on a presentation of classical test theory that differentiates strictly between tautological propositions and theorems with empirical content, it is shown that multivariate methods of scale construction rely on the utilization of suppressor effects. A formal definition of suppression within the framework of classical test theory is given and its usefulness is demonstrated in light of empirical data. Furthermore, the empirical section of the present study contains a comparison of the discussed methods of item selection with Monte-Carlo simulations and empirical data sets. The results indicate that multivariate methods of scale construction lead only to more valid tests than conventional methods if the sample size is large, the item pool is multidimensional or the communality of the criterion is substantial. Otherwise, multivariate methods only lead to a particular high validity in the sample, whereas the validity within the population is low. Except for a unidimensional item pool, scales with comparably low reliability arise from multivariate methods of item selection. The selection of items with high scale correlations leads to a satisfactory test validity only if a few items are selected, whereas the selection of a great part of the item pool results in tests that are often even less valid than random selection. Optimization of Cronbach’s a leads to tests with high reliability, but low validity if the item pool has more than one latent dimension. On the other hand, the selection of items with regard to their validity results in scales with high reliability and validity independent of the properties of the item pool. Hence, ensuring high item validity is the only method that could be recommended regardless of the properties of the item pool, whereas the other considered methods should only be applied if certain conditions are given.