Es geht voran…

Es war ein ereignisreicher Sommer! Nach der Pilotierung unseres Prototypen einer Objective Structured Teaching Examination (OSTE) für (angehende) Lehrkräfte im Fach Physik stand das Sommersemester 2024 ganz im Zeichen einer breiteren Erprobung. Das Konzept des OSTE stammt ursprünglich aus der Professionalisierung von Ausbildenden der Medizin (Fakhouri & Nunes, 2019). Dabei handelt es sich um eine Art Prüfungsparcours, in dem die Geprüften an verschiedenen Stationen typische Anforderungen des Berufs bewältigen müssen. Die Stationen sind möglichst handlungsnah gestaltet, um auch die tatsächlichen, im späteren Beruf notwendigen Fähigkeiten zu adressieren (z.B. das Geben von Feedback an angehende Ärzt*innen im praktischen Jahr). Technisch gesprochen: Sie müssen Performanz zeigen (Blömeke, Gustafson & Shavelson, 2015). Für einen Einsatz als Prüfung besteht eine zentrale Herausforderung darin, dass die geprüften Situationen möglichst authentisch bzw. berufsrelevant sein müssen (Gulikers et al., 2008), aber zugleich auch eine gewisse Standardisierung aufweisen, damit Leistungen zwischen einzelnen Personen möglichst fair verglichen werden können. Daher werden in den Stationen typischerweise Schauspieler*innen eingesetzt, die geschult sind, möglichst vergleichbare Anforderungen herzustellen, aber zugleich eine adaptive Interaktion ermöglichen.

OSTEs für die Lehrkräftebildung

Die Simulation berufstypischer Situationen mit Schauspieler*innen findet sich auch schon vereinzelt in der Lehrkräftebildung, bisher allerdings hauptsächlich als Übungsformat oder als Assessment-Verfahren im Rahmen von Forschungsprojekten (z.B. Fischer & Opitz, 2022; Gerich & Schmitz, 2016). In unserem Projekt haben wir einen OSTE entwickelt, der als Prototyp als Prüfungsverfahren einsetzbar sein soll. Da Anforderungen an Lehrkräfte zu großen Teilen auch fachspezifisch sind, bezieht sich unser OSTE auf Lehramtsstudierende mit dem Unterrichtsfach Physik. Bei der Entwicklung sollten einige Bedingungen berücksichtigt werden. Erstens muss natürlich die Validität der einzelnen Stationen sichergestellt werden. Es sollten also Kompetenzen, die für den Beruf relevant und in Bezug auf entsprechende Kompetenzmodelle darstellbar sind, abgebildet, passende Situationen gestaltet und entsprechende Bewertungskategorien entwickelt werden. Zweitens muss die Erfassung der Performanz – wie bei Instrumenten in der Bildungsforschung üblich – ausreichend reliabel erfolgen, wobei innerhalb eines OSTE Reliabilität auch über die Anzahl von Stationen beeinflusst werden kann. Drittens muss der Einsatz unter den üblichen Bedingungen eines Studiums erfolgen können. Das betrifft bspw. die zur Verfügung stehende Prüfungszeit oder die Akzeptanz durch die Studierenden und Dozierenden, die derartige Prüfungen ja selbst durchführen müssten.

Unser vor diesem Hintergrund entwickelte Prototyp eines OSTE für das Lehramt Physik umfasst nach aktuellem Stand insgesamt sieben Prüfungsstationen. Nach der Pilotierung und auch im Verlauf der Erprobung wurde er so modifiziert, dass er insgesamt in zwei Stunden absolviert werden kann bzw. absolviert werden können sollte. Dies entspricht einem Zeitumfang von zehn Minuten pro Station (mit Ausnahme einer 20-minütigen Station) plus Wechselpausen. Die handlungsrelevanten Situationen wurden entlang der vier Kompetenzbereiche Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2024) ausgewählt und repräsentieren typische Core Practices von Physiklehrkräften (vgl. Fraefel & Scheidig, 2018). Für einige Stationen konnten wir auf Vorarbeiten von vielen geschätzten Kolleg*innen zurückgreifen (Danke!), andere Stationen sind komplette Neuentwicklungen. Alle Stationen simulieren typische Anforderungen, aber nicht alle Stationen benötigen Schauspieler*innen. Zum Teil ist der Bearbeitungsmodus schriftlich – wie es auch im Beruf erfolgt (z.B. bei der Planung von Unterricht). Eine Übersicht über die Prüfungsstationen ist in der nachfolgenden Tabelle dargestellt.

Kompetenzbereich	Station/Situation	Modus	Quellen
Unterrichten	Unterrichtsplanung	Schriftlich	Schröder et al. (2020)
Unterrichten	Unterrichtsreflexion	Simulation einer Videokonferenz	Kulgemeyer et al. (2021)
Unterrichten	Erklärung eines physikalischen Phänomens	Simulation mit Schauspieler*innen	Kulgemeyer et al. (2015)
Beurteilen	Beratungsgespräch	Simulation mit Schauspieler*innen	Wotschel et al. (2023), Eigenentwicklung
Beurteilen	Beurteilung von Schüler*innentexten	Schriftlich	Feser (2019)
Erziehen	Moderation eines Konfliktgesprächs	Simulation mit Schauspieler*innen	Eigenentwicklung
Innovieren	Gespräch zur Unterrichtsentwicklung	Simulation einer Videokonferenz	Eigenentwicklung

Gemäß der Standards (KMK, 2024) haben die einzelnen Stationen einen mal stärkeren (z.B. Unterrichtsplanung), mal weniger starken Bezug zum Fach Physik (z.B. Konfliktgespräch). Dies lässt sich allerdings nicht immer eindeutig disjunkt unterscheiden, da in beruflichen Situationen meist ein Bezug zu mehreren Bereichen des Professionswissens von Lehrkräften besteht (vgl. Blömeke et al., 2015).

On the road

Um zu prüfen, ob der entwickelte OSTE-Prototyp nicht nur auf theoretischer Seite ein geeignetes Prüfungsformat darstellt, sondern auch im praktischen Einsatz umsetzbar ist, haben wir ihn an drei verschiedenen Universitätsstandorten mit Lehramtsstudierenden erprobt. Dabei zeigten sich einige rein organisatorische Herausforderungen. Um den OSTE zu erproben, musste er in den Rahmen des Vorlesungsbetriebes im Sommersemester 2024 eingebettet werden. Das heißt, dass neben den zwei Stunden für den reinen Prüfungsparcours nur wenig zeitlicher Spielraum für die geplanten Erhebungen zu Einschätzungen der Studierenden zur Akzeptanz des Formats vorlagen. Dank der Geduld der Studierenden konnten wir aber glücklicherweise viel umsetzen. Logistisch mussten wir für jeden Testeinsatz vier unserer studentischen Schauspieler*innen und eine Menge technisches Equipment (z.B. Kameras, Tablets, schriftliches Testmaterial) jeweils rechtzeitig vor Ort bringen und einsatzbereit machen. Zusätzlich werden für die Durchführung mehrere Räume benötigt, die für den Zeitraum des OSTEs frei gehalten werden müssen.

Unser erster Tourstopp führte uns im April nach Bremen, wo wir den OSTE mit Unterstützung von Prof. Dr. Christoph Kulgemeyer und seinem Team erproben konnten. An zweiter Stelle gab es im Juni ein Heimspiel an der Universität Paderborn mit Unterstützung von Prof. Dr. Josef Riese (mit weniger logistischem Aufwand 😉 ). Der dritte Tourstopp führte uns Anfang Juli in die Nachbarschaft nach Bielefeld, in der uns Prof. Dr. Lisa Stinken-Rösner unterstützte. Zusätzlich konnten wir die Station zur Simulation eines Konfliktgesprächs in zwei erziehungswissenschaftlichen Seminaren an der Universität Paderborn bei unseren Kolleginnen Dr. Nicole Gruchel und Prof. Dr. Sandra Landhäußer erproben.

Lessons learned

Grundsätzlich ziehen wir ein sehr positives Fazit aus unser OSTE-Tour im Sommer 2024. Sowohl das Feedback der Studierenden in den informellen Gesprächen nach und während der Durchführung als auch die ersten Einblicke in unsere parallel durchgeführten Fragebogenerhebungen zeigen, dass gerade die Authentizität und berufliche Relevanz des OSTE sehr positiv eingeschätzt werden. Kritischer sind die Studierenden dahingehend, inwiefern sie ihr bisheriges Lehramtsstudium auf diese Prüfungsanforderungen vorbereitet hat. Für die Durchführung des OSTE begegnen wir bei jedem Versuch noch neuen Fallstricken, die bei der Organisation zu beachten sind. Insbesondere das Einhalten eines genauen Zeitplans ist wichtig, um einen reibungslosen Ablauf zu garantieren, da es nach dem Beginn wenig Ausweichmöglichkeiten gibt, wenn man nicht jede Station mehrfach anbieten kann. Auch hatten wir teilweise mit Abbrüchen in der Internetverbindung für unsere simulierten Videokonferenzen zu kämpfen. Generell zeigt sich, dass das große Potential, dass OSTEs für die Lehrkräftebildung bieten, auch wirklich eingelöst werden könnte. Und das nicht nur im Fach Physik. Bis dahin liegt allerdings noch etwas Arbeit vor uns, wie die Auswertung der zahlreich aufgenommenen Videos, der im Nachgang geführten Interviews und der Analysen zum Zusammenhang zum Professionswissen.

Abschließend möchten wir allen danken, die uns bei unserer ersten OSTE-Erprobung unterstützt haben: unseren Kolleg*innen in Bielefeld, Bremen und Paderborn, unseren Schauspieler*innen Ella, Eike, Carlo (für den Einsatz am eigenen Geburtstag), Elena und Jasmin und ganz besonders allen Studierenden, die sich für uns und unser Projekt Zeit genommen haben! Ohne euch hätten wir alles nicht durchführen können. Vielleicht sehen wir uns ja nochmal zur geplanten OSTE-Tour im Wintersemester.

Literatur:

• Blömeke, S., Gustafsson, J. E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie. 223, 3-13. (Online)
• Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
• Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
• Fischer, F., & Opitz, A. (2022). Learning to diagnose with simulations: Examples from teacher education and medical education. Springer Nature. (Online)
• Fraefel, U., & Scheidig, F. (2018). Mit Pragmatik zu professioneller Praxis? Der Core-Practices-Ansatz in der Lehrpersonenbildung. BzL-Beiträge zur Lehrerinnen-und Lehrerbildung, 36(3), 344-364. (Online)
• Gerich, M., & Schmitz, B. (2016). Using Simulated Parent-Teacher Talks to Assess and Improve Prospective Teachers‘ Counseling Competence. Journal of Education and Learning, 5(2), 285-301. (Online)
• Gulikers, J. T., Kester, L., Kirschner, P. A., & Bastiaens, T. J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes. Learning and Instruction, 18(2), 172-186. (Online)
• KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
• Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
• Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
• Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
• Wotschel, P., Janzen, T., Meier, J., & Vogelsang, C. (2023, 1.4 September). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden [Vortrag]. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF). Universität Potsdam.