Schlagwort-Archive: Pilotierung

„Prüfung – bitte nicht stören!“ – Pilotierung des OSTE für das Unterrichtsfach Physik

Das PERFORM-LA-Team ist gut in das neue Jahr gestartet und konnte sich mittlerweile auch vom Reisemarathon des vergangenen Jahres erholen. Das heißt natürlich nicht, dass es bei uns keine interessanten Entwicklungen gäbe, von denen wir berichten möchten – im Gegenteil:

Ein neuer Performanztest! – Nein, eigentlich sieben…

Nachdem im Sommer 2023 bereits die Haupterhebungen für Thomas’ Performanztest für das Unterrichtsfach Englisch und Philipps Performanztest für den bildungswissenschaftlichen Bereich stattfanden, konnten wir in dieser Woche nun auch endlich den OSTE (Objective Structured Teaching Examination) für das Unterrichtsfach Physik pilotieren. Der OSTE besteht Im Gegensatz zu den Performanztests in den Fächern Englisch und Bildungswissenschaften aus insgesamt sieben einzelnen Prüfungsstationen, die innerhalb eines ca. 2,5-stündigen Prüfungsparcours durchlaufen werden – ganz ähnlich einem OSCE in der medizinischen Ausbildung, den wir uns bereits in Aktion am KISS in Köln ansehen durften. Einige der Prüfungsstationen haben Jana und Lea für den OSTE komplett neu entwickelt, andere wurden basierend auf Vorarbeiten aus dem Projekt ProfileP+ (Kulgemeyer et al., 2021; Schröder et al., 2020; Vogelsang et al., 2019; Kulgemeyer & Tomczyszyn, 2015) und der Dissertation von Markus Feser (Feser, 2019) sowie auch Philipps Test zur Beratungskompetenz weiterentwickelt. Die Prüfungsstationen richten sich an Lehramtsstudierende mit dem Unterrichtsfach Physik und orientieren sich an den vier Kompetenzbereichen Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2022). Dabei sind einige der Stationen eher fachspezifisch (Unterrichtsplanung, Erklären physikalischer Phänomene, Reflexion von Physikunterricht, Beurteilen von Schüler*innentexten) und einige eher fächerübergreifend (Beratung, Konfliktlösung, Unterrichtsentwicklung). Im Gegensatz zu Thomas‘ und Philipps Performanztests dauern die einzelnen Stationen des OSTE nur etwa 15-20 Minuten, um die Gesamtzeit des Prüfungsparcours im Rahmen zu halten. Neu beim OSTE ist außerdem, dass nicht alle der Stationen rollenspielbasiert sind, sondern auch ausschließlich schriftliche Materialien beinhalten oder aus simulierten Videokonferenzen bestehen.

Schauspieltraining & logistische Herausforderungen

Dennoch sind auch im OSTE drei rollenspielbasierte Stationen enthalten, in denen unsere studentischen Hilfskräfte wieder mit ihrem schauspielerischen Talent glänzen konnten. Glücklicherweise bekamen wir im Dezember Unterstützung von Ella, Eike und Carlo, die nun mit Jasmin und Elena das Hilfskraft-Team im Forschungsbereich des PLAZ bilden. So startete vor Weihnachten das Schauspieltraining für die rollenspielbasierten OSTE-Stationen. Für unsere Hilfskräfte hieß das: Rollenbeschreibungen lernen, Verbal Trigger verinnerlichen und natürlich: Viel üben! In unterschiedlichsten Konstellationen und mit Unterstützung des gesamten Teams wurden die Gesprächssimulationen geprobt, bis sich alle bereit gefühlt haben für die Pilotierung mit Lehramtsstudierenden. Neben der Entwicklung der Prüfungsstationen und dem Schauspieltraining spielte auch die Logistik eine wesentliche Rolle bei den Vorbereitungen der Pilotierung: die Lehramtsstudierenden sollten parallel und möglichst ohne Leerlauf die sieben Stationen durchlaufen. Geeignete Räumlichkeiten wurden organisiert, Ablaufpläne erstellt und eine Menge Material zur Bearbeitung und Evaluation der Stationen vorbereitet. Am 29. Januar war es dann endlich so weit, und erst einmal vier Lehramtsstudierende des Unterrichtsfachs Physik stellten sich den sieben OSTE-Stationen. Wie schon bei den bereits entwickelten Performanztests haben wir auch bei der Pilotierung des OSTE Kameras an den rollenspielbasierten Stationen aufgestellt, um die simulierten Gespräche zu videografieren. An den anderen Stationen haben wir den Arbeitsprozess der Lehramtsstudierenden per Bildschirmaufzeichnung dokumentiert und ihre schriftlichen Notizen und Ergebnisse festgehalten.

Die erste Hürde ist geschafft!

Die Studierenden füllten außerdem nach der Bearbeitung jeder einzelnen Station einen Kurzfragebogen aus, in dem sie die Authentizität und Immersion der Stationen bewerteten. So sind zahlreiche Aufzeichnungen und Beurteilungen des Prüfungsparcours entstanden, die in einem nächsten Schritt gesichtet und ausgewertet werden, um den OSTE für unseren nächsten geplanten Testdurchlauf im Sommersemester 2024 auf dieser Grundlage weiterzuentwickeln. Obwohl wir im Vorhinein noch etwas skeptisch waren, was den reibungslosen Ablauf der Pilotierung angeht, können wir nun ein positives Fazit ziehen: Die Studierenden konnten alle Stationen im Zeitrahmen bearbeiten, und unsere Hilfskräfte haben nicht nur schauspielerische Höchstleistungen erbracht, sondern durch ihre Unterstützung auch für einen reibungslosen Ablauf am Pilotierungstag gesorgt. Wir sind gespannt, was die Auswertung der Dokumente und Aufzeichnungen ergibt und wie sich der OSTE bis zum nächsten Testlauf weiterentwickeln wird.

Literatur:

  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., Kempin, M., Kulgemeyer, C., … & Schröder, J. (2019). Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik. Analysen zu valider Testwertinterpretation. Zeitschrift für Pädagogik, 65(4), 473-491. (Online)

„Markierung Nicht Entfernen!“

 Ein Einblick in den Simulations-Alltag der PERFORM-LA Pilotierungsphase

Ein bisschen Orientierung muss sein (c) Philipp Wotschel.

Auch wenn wir in diesem Blog eine stetig größer werdende Vielfalt an Themen behandeln, liegt unser Hauptfokus im Forschungsprojekt PERFORM-LA weiterhin auf der Entwicklung und Erprobung von handlungsnahen Prüfungsformaten für verschiedene Bereiche des Lehramtsstudiums. 

Vor diesem Hintergrund eröffneten sich mit dem Beginn des Frühjahres 2022 wieder Möglichkeiten zur Zusammenkunft in Präsenz, was zugleich den Start für das Schauspieltraining unserer Hilfskräfte, Jasmin, Elena und Hannah, markierte.

Hilfskräfte erhalten ein Schauspieltraining?

Die zu entwickelnden Prüfungsformate für das Fach Englisch und die Bildungswissenschaft sind performanzorientiert und sollen es ermöglichen, die Handlungen von Studierenden in simulierten Gesprächen in der Rolle als Lehrkraft zu den Themen Feedback und Beratung zu bewerten. Damit dies den Prüfungskriterien der Fairness, Objektivität und Transparenz Rechnung trägt, ist es entscheidend, dass die Simulationen einen bestimmten Grad der Standardisierung erreichen: Es soll ein Raum für variable und interaktive Handlungen eröffnet werden, während die Vergleichbarkeit verschiedener Simulationsdurchläufe durch denselben thematischen Gesprächsfokus und wiederkehrende Wortäußerungen (verbal Trigger) sichergestellt wird. In Bezug auf das Schauspieltraining bedeutet dies konkret, einzuüben, die Balance zwischen diesen beiden Schwerpunkten im Schauspiel zu halten und die Rollen als Schülerin beziehungsweise Elternteil im Gespräch mit den Studierenden sicher zu inszenieren.

Wie wurde trainiert?

In einem Zeitraum von etwa acht Wochen von Mai bis Juli trafen wir uns mehrmals in der Woche in mehrstündigen Sitzungen für das Schauspieltraining. Im Vordergrund stand dabei neben der Einübung der spezifischen Rollenskripte und der verbal Trigger (standardisierte Aussagen und Fragen zur Evokation bestimmter Handlungsweisen), vor allem die Erprobung der Gesprächssimulationen. Rollenspielartig wurden dafür in wechselnder Besetzung, also eine Person als Lehrkraft mit zwei weiteren Personen als Schülerin und Elternteil, die spezifischen Feedback-  und Beratungsszenarien geprobt. Sämtliche Eindrücke, Auffälligkeiten und Erfahrungen wurden anschließend, teilweise videogestützt, reflektiert und für die weiteren Proben aufgearbeitet. Im Weiteren durften auch Thomas und ich in der Lehrkraftrolle mitwirken, um unter anderem gezielt Handlungsweisen zu inszenieren, die eher weniger konstruktiv für ein Feedback– bzw. Beratungsgespräch sind (natürlich wurde dabei auch viel gelacht). Den Abschluss des Trainings bildete die Teilnahme weiterer Kolleginnen und Kollegen aus dem Zentrum für Bildungsforschung und Lehrerbildung (PLAZ) und der Englischdidaktik in Paderborn, die sich dankbarerweise dazu bereit erklärt haben, ebenfalls in der Lehrkraftrolle zur Erprobung der Simulationen beizutragen.

Neben dem schauspielerischen Schwerpunkt lag ein weiterer Fokus des Trainings auf dem Testen der technischen, räumlichen und organisatorischen Realisationsmöglichkeiten. Konkret begleiteten uns dabei die Fragen nach der optimalen Konfiguration der Tische und Stühle, der idealen Kamerapositionen und -perspektiven im Raum, den besten Winkeln für eine gute Ausleuchtung und Audioqualität und der effizientesten zeitlichen Abläufe.

Der Szenenaufbau für die Gesprächssimulationen (c) Philipp Wotschel.

Und wie ging es dann weiter?

Im direkten Anschluss an das Schauspieltraining erfolgte die Pilotierungsphase, in der die Gesprächssimulationen mit Lehramtsstudierenden getestet wurden, um Erkenntnisse über die Durchführbarkeit und Akzeptanz zu gewinnen und etwaige Anpassungen für die Hauptuntersuchung vornehmen zu können. Die Simulationen sind dabei neben weiteren Erhebungsinstrumenten, wie etwa Fragebögen zu pädagogischen, Sprach- und Beratungskompetenzen oder Interviews zur Wahrnehmung der Gesprächssimulationen, eingebettet. Die Daten sollen später für Zusammenhangsanalysen genutzt werden, mit denen differenzierte Aussagen über die unterschiedlichen feedback- und beratungsspezifischen Kompetenzbereiche getroffen werden können. Natürlich möchten wir mit Hinblick auf die kommende Haupterhebung an dieser Stelle noch nicht zu viel über die Inhalte verraten, um nicht zu viele Informationen (vor allem für die noch teilnehmenden Studierenden) vorwegzunehmen.

Was kann denn über den Ablauf der Gesprächssimulationen gesagt werden?

Die teilnehmenden Studierenden erhalten eine gewisse Vorbereitungszeit, um sich mit von uns schriftlich ausgehändigten Kontextinformationen zu den kommenden Gesprächen, vertraut zu machen. Darauffolgend werden die Kameras eingeschaltet und es klopft an der Tür. Die Schauspielerinnen betreten die „Bühne“. Je nach Szenario treten sie alleine oder zu zweit auf und versuchen, sofern die Studierenden bestimmte Gesprächsaspekte nicht selbst einleiten, diese durch gezielte Aussagen und Fragen dahinzubewegen. Dies kann mitunter Handlungsdruck erzeugen, der jedoch auf einem für die Studierenden bewältigbaren Niveau bleibt und zugleich (wie viele Studierenden berichteten) alles um sich herum „vergessen“ lässt. Die Kameras geraten somit in den Hintergrund und die Gespräche können ihren interaktiven Charakter entfalten, was insbesondere dadurch gekennzeichnet wird, dass Ideen und Aussagen von Studierenden, die noch nicht durch das Schauspieltraining antizipiert werden konnten, problemlos durch kleine Improvisationen in die Szenarien integriert werden können. Solche Situationen werden, genau wie die Gesprächssimulationen im Allgemeinen, im Nachgang reflexiv aufgearbeitet, sodass das Darstellungsrepertoire unserer Schauspielerinnen stetig umfassender wird.

Wie geht es weiter?

Es zeichnet sich bereits eine gute Passung zwischen den konzeptuellen Vorüberlegungen und der tatsächlichen Durchführbarkeit der Gesprächssimulationen und den anderen Aspekten der Befragung ab. Bevor dann ab Oktober 2022 die Haupterhebung beginnen soll, womit insbesondere die Anzahl der Teilnehmenden erhöht wird, wird es notwendig sein, weitere Anpassungen an den Erhebungsszenarien vorzunehmen. Hierbei stehen vor allem die Validierungsverfahren zur Durchführbarkeit der Gesprächssimulationen und der einzelnen verbal Trigger im Vordergrund, die für die Haupterhebung so gekürzt werden können, dass die Erhebungsszenarien in ihrem zeitlichen Umfang kompakter werden. Wir sind auf jeden Fall gespannt, wie die Hauptuntersuchung anlaufen wird und welche neuen Situationen sich in den Gesprächssimulationen zeigen werden.

Solltet ihr derzeit ein Lehramtsstudium absolvieren und möchtet die Gelegenheit bekommen, einmal eure Fähigkeiten in einem geschützten Handlungsrahmen auszuprobieren, dann meldet euch gerne bei uns und nehmt an unserer Studie teil!