Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Konstruktion und Evaluation eines Studierendenauswahlverfahrens für Psychologie an der Universität Heidelberg

Heene, Moritz

English Title: Construction and Evaluation of a Student Admission Test for Psychology at the University of Heidelberg

[thumbnail of Diss_Text7_final_published.pdf]
Preview
PDF, German
Download (1MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Das Ziel der vorliegenden Studie bestand in der Konstruktion und Evaluation eines Studierendenauswahlverfahrens für das Studienfach Psychologie an der Universität Heidelberg vor dem Hintergrund der Reform des Hochschulzulassungsgesetztes (s. Reich, 2002), das eine stärkere Autonomie der Hochschulen bei der Auswahl von Studienbewerbern vorsieht. Basierend auf einer Anforderungsanalyse wurden fachspezifische Testverfahren nach Maßgabe der Rasch-Modelle konstruiert und an einer Gesamtstichprobe von N = 434 Studierender verschiedener Fachrichtungen konstruktevaluiert. Die resultierenden Testverfahren wurden zunächst hinsichtlich ihrer fachspezifischen Differenzierungsfähigkeit zwischen Studierendenstichproben aus dem ersten Semester verschiedener Fachrichtungen überprüft. Die zentrale Hypothese der Studie im Kontext der Kriteriumsvalidität war, dass eine substanzielle Verbesserung der Vorhersagegenauigkeit in Bezug auf Studienerfolg in Form von Studiennoten durch die Kombination von Resultaten aus kognitiven Leistungstests mit der Abiturdurchschnittsnote in multiple Regressionsanalysen resultieren würde (so genannte inkrementelle Validität). Weiterhin wurde analysiert in wie weit sich Kriteriumsvaliditäten von Persönlichkeitsfragebögen gegenüber einer im Selektionskontext sehr wahrscheinlichen Antwortverfälschung als stabil erweisen. Hierzu war die Hälfte der Persönlichkeitsfragebögen mit einer Instruktion versehen, nach welcher sich die Studienteilnehmer möglichst positiv in den Fragebögen darstellen sollten (Faking-good-Instruktion), wohingegen die andere Hälfte der Teilnehmer keine derartige Instruktion erhielten. Hinsichtlich der fachspezifischen Differenzierungsfähigkeit erzielte die Testbatterie nach statistischer Kontrolle der Abiturdurchschnittsnote lediglich befriedigende Resultate. Die Hinzunahme der Testergebnisse zur Abiturdurchschnittsnote in multiplen Regressionen erhöhte die prädiktive Güte insgesamt geringfügig bei drei von vier Kriterien. Zudem erwiesen sich die regressionsanalytischen Ergebnisse in Kreuzvalidierungen als instabil. Die Analysen zur Validität von Persönlichkeitsfragebögen unter experimentell induzierter Antwortverfälschung ergaben, dass unter der Normalinstruktion beobachtbare Kriteriumsvaliditäten unter der Faking-good-Instruktion bis zur Insignifikanz abfielen. Im allgemeinen war dieser Effekt nicht durch korrelationsmindernde Varianzunterschiede zwischen den Skalenrohwerten beider Instruktionsversionen erklärbar. Insgesamt bestätigen die Hauptbefunde dieser Arbeit bisherige Befunde, welche die Abiturnote als besten Prädiktor für universitäre Leistungen ausweisen (u.a. Baron-Boldt, 1989). Diese Schlussfolgerung wird in Bezug auf der inkrementellen Validität als nützlichem Evaluationsstandard bei Selektionsentscheidungen diskutiert. Schließlich wird erörtert, dass Testverfahren anhand korrekter Klassifikationen (sog. True Positives und True Negatives) unter Beachtung von Basisraten evaluiert werden sollten (s. auch Schonemann & Thomson, 1996; Schonemann, 1997).

Translation of abstract (English)

The aim of the present study was the construction and evaluation of a student admission test for the subject of Psychology at the University of Heidelberg in the context of the reform of the general university selection law (see Reich, 2002) which intends greater autonomy of universities in respect to the selection of applicants for university places. Based on a work analysis, subject-specific cognitive ability tests were designed and construct evaluated in accordance with Rasch model requirements with a total sample of N = 434 students from different subjects. The resulting tests were first examined regarding their subject-specific discrimination power between first semester student samples from different subjects. The central criterion validity hypothesis of this study was that a substantial improvement in the prediction accuracy of success in the form of grades would be obtained by combining the results from cognitive tests to the average grade of the "Abitur" certificate in multiple regression analyses (so-called incremental validity). In addition, the stability of criterion validities of personality questionnaires was analysed in relation to very probably faked responses in a selection context. For this condition, one half of the study participants was instructed to present themselves as positively as possible in their responses to the personality questionnaires (Faking good), whereas the respondents to the other half of the personality questionnaires received no such instruction. The test battery obtained only satisfactory results in terms of subject-specific discrimination power after controlling statistically for the "Abitur" grade. Including the test results with the "Abitur" grade in multiple regression analyses increased the predictive validity only slightly with three of four criteria. Moreover, the regression analysis results proved unstable in cross validations. The analyses of the validity of personality questionnaires under experimentally induced faked responses showed that criterion validities observed under the normal instruction decreased to insignificance under the faking-good instruction condition. Generally, this effect was not explainable by possible correlation-reducing variance differences between the scale raw scores of both instruction versions. In summary, the main results of this study confirmed past findings, which show the "Abitur" grade as the best predictor for study success (see e.g. Baron Boldt, 1989). This conclusion is discussed in relation to the utility of incremental validity as an evaluation standard in respect to selection decisions. Finally it is argued that tests should be evaluated on the basis of correct classification rates (so-called true positives and true negatives) while taking base rates into account (Schonemann & Thomson, 1996; Schonemann, 1997).

Document type: Dissertation
Supervisor: Amelang, Prof. Dr. Manfred
Date of thesis defense: 20 July 2007
Date Deposited: 30 Oct 2007 11:32
Date: 2006
Faculties / Institutes: The Faculty of Behavioural and Cultural Studies > Institute of Psychology
DDC-classification: 150 Psychology
Controlled Keywords: Psychologische Diagnostik
Uncontrolled Keywords: Studierendenauswahlverfahren , Zulassungstests , Fähigkeitstest , Rasch-Modellstudent admission tests , admission tests , ability test , Rasch model
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative