English Title: Student selection - proving and evaluation of a multidimensional diagnostic test battery for prediction of study success at the University of Applied Sciences Heidelberg

Preview

PDF, German Download (1MB) | Terms of use

Abstract

Aufgrund rechtlicher Änderungen, andauernder hochschulpolitischer Diskussionen sowie einem absehbaren Bewerberüberhang an der Fachhochschule Heidelberg sollte im Rahmen der vorliegenden Arbeit ein erster Grundstein für eine zukünftig erfolgreiche Studierendenauswahl an der Fachhochschule Heidelberg gelegt werden. Aus ökonomischen sowie profilbildenden Gründen sollte eine Testbatterie im Sinne der Erfassung allgemeiner Studierfähigkeit zusammengestellt werden, die hochschulweit und fachübergreifend anwendbar ist. Hierfür wurden zunächst in Anlehnung an die Critical Incident Technique von Flanagan (1954) in Einzelgesprächen mit den Studiengangsleitern der beteiligten Studienrichtungen (Soziale Arbeit, Wirtschaftspsychologie, Informatik, Betriebswirtschaftslehre, Ingenieurwesen, Wirtschaftsrecht) die allgemeinen Studienanforderungen für den „FH-Heidelberg-Studenten“ ermittelt. Aus den Antworten bzw. Ergebnissen wurden die fünf globalen Anforderungsdimensionen „Problemlösekompetenz“, „Belastbarkeit/stabile Persönlichkeit“, „Zielorientierung und Motivation“, „Soziale Kompetenz“ sowie „Ausdrucksvermögen“ abgeleitet. Diese bildeten die Grundlage für die anschließende Testauswahl. Die unter der Maßgabe eines fächerübergreifenden und möglichst ökonomischen Studierfähigkeitstests zusammengestellte Testbatterie umfasste auf kognitiver Ebene Skalen zu verbalen, numerischen, figural-räumlichen Fähigkeiten und schlussfolgerndem Denken sowie auf nicht-kognitiver Ebene die sechs Persönlichkeitsmerkmale Belastbarkeit (vs. Neurotizimus), Offenheit, Verträglichkeit, Extraversion, Gewissenhaftigkeit und Leistungsmotivation. Die Evaluation dieser Testbatterie bildete den empirischen Teil der Studie. Datengrundlage waren die Testantworten sowie die Noten der Hochschulzugangsberechtigung von n = 416 zum damaligen Zeitpunkt an der Fachhochschule Heidelberg neu immatrikulierten Studierenden der oben genannten Studienrichtungen. Im Sinne der prognostischen Validität wurden 12 bis 14 Monate nach der ersten Erhebung von denselben Studierenden der aktuelle Notenstand sowie die allgemeine Studienzufriedenheit erfasst. Da in hochschulpolitischen Debatten auch das Thema Studierendenbindung immer wieder aufgegriffen wird, sollte diesem Aspekt mit dem zusätzlichen Einsatz einer Commitment-Skala Rechnung getragen werden. Weil das Konzept Commitment bisher fast ausschließlich im Unternehmens- und Arbeitskontext untersucht worden ist, musste im Rahmen der vorliegenden Studie zunächst die prinzipielle Übertragbarkeit des Konzeptes auf den Hochschulkontext geprüft werden. Die Ergebnisse bestätigten den Stellenwert der Note der Hochschulzugangsberechtigung als besten Einzelprädiktor für die Studienleistung. Des Weiteren zeigte sich eine inkrementelle Validität durch die Hinzunahme der beschriebenen Testbatterie. Hinsichtlich des Kriteriums der allgemeinen Studienzufriedenheit stellte sich die Testbatterie, weniger die Note der Hochschulzugangsberechtigung, als sinnvolles Prädiktionsmaß heraus, wenngleich die Varianzaufklärung geringer als für die Studienleistung ausfiel. Eine differenzierte und vergleichende Betrachtung der prognostischen Validitäten für die einzelnen Studienrichtungen erwies sich aufgrund teilweise geringer Fallzahlen als nicht aussagekräftig. Da sich jedoch bei der Mittelwertsanalyse zwischen den Studienrichtungen auf Skalenebene teilweise signifikante Unterschiede gezeigt haben, sollten weitere Untersuchungen mit größeren Fallzahlen für weitere Aufklärung sorgen. Hinsichtlich der Commitment-Skala konnte anhand der Ergebnisse aus Skalen-, Faktoren- und Validitätsanalysen von einer grundsätzlichen Übertragbarkeit des Konzeptes ausgegangen werden. Zwei Ergebnisse der Arbeit scheinen dabei in besonderer Weise erwähnenswert. Zum einen, dass die eingesetzte Testbatterie trotz großem Allgemeinheitsgrad dennoch einen deutlichen inkrementellen Beitrag zur Studienerfolgsprognose leisten konnte. Zum anderen wurden sowohl auf Prädiktor- als auch Kriteriumsseite neben den üblicherweise primär kognitiv orientierten Leistungsmaßen auch nicht-kognitive Merkmalsbereiche (z. B. Motivation, Gewissenhaftigkeit, Zufriedenheit) berücksichtigt. Die damit verbundenen Ergebnisse lieferten Anknüpfungspunkte für weitere Forschungsvorhaben. Darüber hinaus sollten für eine ganzheitliche Betrachtung und Optimierung des Systems Hochschule zukünftig neben der Studierendenauswahl weitere Aspekte, insbesondere die Studienberatung und –information, beispielsweise in Form von webbasierten Self-Assessments im Vorfeld der Studienbewerbung und Studierendenauswahl ins Auge gefasst und ausgebaut werden.

Translation of abstract (English)

Against the present background of changes in the law, ongoing discussions in university politics as well as a foreseeable backlog of applicants to the University of Applied Sciences Heidelberg, the present thesis aims to lay the foundation for a successful student selection process at said university in the future. For economic and profiling reasons, the objective was to compile a battery of tests that would capture the general ability to study and employ an interdisciplinary approach that could be applied to all fields of study at the university. First, and in line with Flanagan’s Critical Incident Technique (1954), the general requirements for admission as a student at the University of Applied Sciences Heidelberg were identified on the basis of interviews with the deans of six study programs (social work, business psychology, business law, informatics, business administration, engineering). Based on the answers, the following five global requirement dimensions were established: problem-solving, work capacity/stable personality, target orientation and motivation, social competence and verbal abilities. These results were then used as the basis for selecting the tests. The final test battery was put together based on the requirement to produce an interdisciplinary and preferably economic tool that would test the person’s ability to study. It comprised cognitive scales for verbal, numeric, and spatial abilities and for reasoning, as well as non-cognitive scales for the “Big Five” personality traits (neuroticism, extraversion, agreeableness, openness, conscientiousness) and achievement motivation. The evaluation of this test battery constituted the empirical part of the present analysis and was based on the test answer data and the secondary school examination grades of n = 416 freshmen enrolled in the above-mentioned study programs at the University of Applied Sciences Heidelberg. For the sake of prognostic validity, the same students were polled 12 to 14 months after the first survey with regard to their grades and satisfaction with their course of study. Since the topic of “student commitment” continues to dominate university discussions, this aspect was also taken into account by including a commitment scale. Because the concept of commitment has so far only been investigated in organizational and business contexts, the present study initially served to prove whether it could be transferred to a university context. The results not only confirmed the status of secondary school leaving examination grades as the single, most valid predictor of study success, they also demonstrated the incremental validity of the test battery described here. As regards the criterion of general study satisfaction, the test battery turned out to be a more useful predictor than the school grades, even though the explained variance in this case was less than for study success. Because of the small number of students involved, a differentiated and comparative consideration of the prognostic validity of the different study programs did not prove convincing. The variations in the mean scores of the scale levels for the different study programs were to some degree significant, however further research with larger numbers of cases should provide more clarification here. With regard to the commitment scale, the results of the scale, factor and validity analyses indicate that the commitment concept can in general be transferred to a university context. Two results in particular seem worth mentioning. On the one hand, the applied test battery - in spite of its universality - was able to make an incremental contribution to the prediction of study success. On the other hand, besides measuring cognitive performance in the usual way, the test battery assessed non-cognitive attributes (such as motivation, conscientiousness, satisfaction) from both the predictor and criterion points of view. These results have provided stimuli for future research projects. Furthermore, if we wish to view the university system and its organization holistically in future, issues other than applicant selection need to be targeted and expanded, in particular in the areas of information and counseling for students. In this instance, a suitable measure might be web-based self-assessment by the students ahead of application and selection.