Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik (InSe)

Ergebnisse von Schülerinnen und Schülern aus standardisierten Leistungstests werden häufig dazu genutzt, den individuellen Lernstand von Schülerinnen und Schülern zu erfassen, die Qualität von Schule, Unterricht und anderer pädagogischer Massnahmen zu beurteilen oder Bildungssysteme auf nationaler und internationaler Ebene zu vergleichen. Die Sicherstellung der Instruktionssensitivität von Test bzw. Testitems ist dabei eine wichtige Voraussetzung, um gültige Rückschlüsse über Schule und Unterricht ziehen zu können. 

Mit dem Projekt zur Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik wurde insbesondere das Ziel verfolgt, Erkenntnisse im Bereich der Methode zur Evaluation der Instruktionssensitivität von Testitems zu gewinnen.

Mehr erfahren

Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items. Das beantragte Projekt verfolgt vier Ziele:
-    die Weiterentwicklung des LML-DIF-Modells
-    die Untersuchung der Qualität und Bedingungen der Parameterschätzung
-    die Validierung von statistischen Indikatoren für Instruktionssensitivität
-    die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene
Die Arbeitspakete zur Erreichung dieser Ziele lassen sich einteilen in die Bereiche Modellentwicklung, Simulationsstudien, Sekundäranalysen und eine Datenerhebung an Schweizer Schulen.
Eine Weiterentwicklung des Modells soll hinsichtlich des Einbezugs der Instruktionssensitivität auf Testebene, des Einbezugs von Prädiktorvariablen, der Modellierung variierender Itemdiskriminationen, der Verallgemeinerung auf mehrstufige Antworten und der Anwendung auf Trenddaten erfolgen. Simulationsstudien unterstützen die Modellentwicklung und dienen der Erforschung der Qualität und Bedingungen der Parameterschätzung (z. B. Stichprobenanforderungen). Sekundäranalysen dienen der Entwicklung von Kriterien für "hohe" oder "geringe" Instruktionssensitivität; hierzu sollen so viele geeignete Datensätze wie möglich reanalysiert werden. Darüber hinaus sollen statistische Indikatoren für Instruktionssensitivität validiert werden, indem deren Zusammenhänge mit Prädiktoren auf Klassen- und Itemebene gezeigt werden. Einige weitere Sekundäranalysen dienen darüber hinaus der Ersterprobung von neu entwickelten Modellvarianten. Da in den Daten aus bereits vorliegenden Studien einige für unsere Fragestellungen interessante Variablen fehlen, ist schliesslich die Erhebung eigener Testdaten an Schweizer Schulen geplant. In Zusammenarbeit mit dem Lehrmittelverlag St.Gallen erfolgt eine Erhebung der Schulleistungen von Schülerinnen und Schüler im Fach Mathematik zu mehreren Messzeitpunkten. Parallel dazu sind detaillierte Untersuchungen des Unterrichtsinhalts und umfassende Expertinnen- und Experten-Einschätzungen der Testaufgaben bezüglich ihrer Nähe zum Unterricht vorgesehen. Die Zusammenführung der erhobenen Daten liefert eine vielversprechende Grundlage für die Validierung statistischer Indikatoren sowie die Entwicklung von Kriterien zur Klassifikation der Instruktionssensitivität von Testitems.

Institut Kompetenzdiagnostik
Leitung

Prof. Dr. Jan Hochweber (PHSG)

Prof. Dr. Johannes Hartig (DIPF)

Team

M.A. Stephanie Musow (PHSG)

Dr. Alexander Naumann (DIPF)

Kooperationspartner DIPF Frankfurt am Main
Laufzeit 1. Oktober 2015 - 28. Februar 2019
Finanzierung

Projektanteil PHSG: Schweizerischer Nationalfonds (SNF)

Projektanteil DIPF: Deutsche Forschungsgemeinschaft (DFG)

Publikationen

  • Naumann, A., Rieser, S., Musow, S., Hochweber, J. & Hartig, J. (2019). Sensitivity of Test Items to Teaching Quality. Learning and Instruction, 60, 41–53. doi: https://doi.org/10.1016/j.learninstruc.2018.11.002
  • Naumann, A., Musow, S., Aichele, C., Hochweber, J. & Hartig, J. (2019). Instruktionssensitivität von Tests und Items. Zeitschrift für Erziehungswissenschaften, 22(1), 181-202. https://doi.org/10.1007/s11618-018-0832-0
  • Naumann, A., Hartig, J. & Hochweber, J. (2017). Absolute and relative measures of instructional sensitivity. Journal of Educational and Behavioral Statistics, 42(6), 678-705.
  • Naumann, A., Hochweber, J. & Klieme, E. (2016). A psychometric framework for the evaluation of instructional sensitivity. Educational Assessment, 21 (2), 89-101.

In der Projektdatenbank finden Sie Projektbeschreibungen und Resultate aktueller und abgeschlossener Forschungsprojekte.

Team PHSG

Partner

Logo Schweizerischer Nationalfonds SNF
DIPF-Logo