Schlagwort-Archive: Simulation

OSTE-Tour – Sommersemester 2024

Es geht voran…

Es war ein ereignisreicher Sommer! Nach der Pilotierung unseres Prototypen einer Objective Structured Teaching Examination (OSTE) für (angehende) Lehrkräfte im Fach Physik stand das Sommersemester 2024 ganz im Zeichen einer breiteren Erprobung. Das Konzept des OSTE stammt ursprünglich aus der Professionalisierung von Ausbildenden der Medizin (Fakhouri & Nunes, 2019). Dabei handelt es sich um eine Art Prüfungsparcours, in dem die Geprüften an verschiedenen Stationen typische Anforderungen des Berufs bewältigen müssen. Die Stationen sind möglichst handlungsnah gestaltet, um auch die tatsächlichen, im späteren Beruf notwendigen Fähigkeiten zu adressieren (z.B. das Geben von Feedback an angehende Ärzt*innen im praktischen Jahr). Technisch gesprochen: Sie müssen Performanz zeigen (Blömeke, Gustafson & Shavelson, 2015). Für einen Einsatz als Prüfung besteht eine zentrale Herausforderung darin, dass die geprüften Situationen möglichst authentisch bzw. berufsrelevant sein müssen (Gulikers et al., 2008), aber zugleich auch eine gewisse Standardisierung aufweisen, damit Leistungen zwischen einzelnen Personen möglichst fair verglichen werden können. Daher werden in den Stationen typischerweise Schauspieler*innen eingesetzt, die geschult sind, möglichst vergleichbare Anforderungen herzustellen, aber zugleich eine adaptive Interaktion ermöglichen.

Bildnachweis: OSTE-Stationsplan – Bremen, (c) Christoph Vogelsang

OSTEs für die Lehrkräftebildung

Die Simulation berufstypischer Situationen mit Schauspieler*innen findet sich auch schon vereinzelt in der Lehrkräftebildung, bisher allerdings hauptsächlich als Übungsformat oder als Assessment-Verfahren im Rahmen von Forschungsprojekten (z.B. Fischer & Opitz, 2022; Gerich & Schmitz, 2016). In unserem Projekt haben wir einen OSTE entwickelt, der als Prototyp als Prüfungsverfahren einsetzbar sein soll. Da Anforderungen an Lehrkräfte zu großen Teilen auch fachspezifisch sind, bezieht sich unser OSTE auf Lehramtsstudierende mit dem Unterrichtsfach Physik. Bei der Entwicklung sollten einige Bedingungen berücksichtigt werden. Erstens muss natürlich die Validität der einzelnen Stationen sichergestellt werden. Es sollten also Kompetenzen, die für den Beruf relevant und in Bezug auf entsprechende Kompetenzmodelle darstellbar sind, abgebildet, passende Situationen gestaltet und entsprechende Bewertungskategorien entwickelt werden. Zweitens muss die Erfassung der Performanz – wie bei Instrumenten in der Bildungsforschung üblich – ausreichend reliabel erfolgen, wobei innerhalb eines OSTE Reliabilität auch über die Anzahl von Stationen beeinflusst werden kann. Drittens muss der Einsatz unter den üblichen Bedingungen eines Studiums erfolgen können. Das betrifft bspw. die zur Verfügung stehende Prüfungszeit oder die Akzeptanz durch die Studierenden und Dozierenden, die derartige Prüfungen ja selbst durchführen müssten.

Unser vor diesem Hintergrund entwickelte Prototyp eines OSTE für das Lehramt Physik umfasst nach aktuellem Stand insgesamt sieben Prüfungsstationen. Nach der Pilotierung und auch im Verlauf der Erprobung wurde er so modifiziert, dass er insgesamt in zwei Stunden absolviert werden kann bzw. absolviert werden können sollte. Dies entspricht einem Zeitumfang von zehn Minuten pro Station (mit Ausnahme einer 20-minütigen Station) plus Wechselpausen. Die handlungsrelevanten Situationen wurden entlang der vier Kompetenzbereiche Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2024) ausgewählt und repräsentieren typische Core Practices von Physiklehrkräften (vgl. Fraefel & Scheidig, 2018). Für einige Stationen konnten wir auf Vorarbeiten von vielen geschätzten Kolleg*innen zurückgreifen (Danke!), andere Stationen sind komplette Neuentwicklungen. Alle Stationen simulieren typische Anforderungen, aber nicht alle Stationen benötigen Schauspieler*innen. Zum Teil ist der Bearbeitungsmodus schriftlich – wie es auch im Beruf erfolgt (z.B. bei der Planung von Unterricht). Eine Übersicht über die Prüfungsstationen ist in der nachfolgenden Tabelle dargestellt.

KompetenzbereichStation/SituationModusQuellen
UnterrichtenUnterrichtsplanungSchriftlichSchröder et al. (2020)
UnterrichtenUnterrichtsreflexionSimulation einer VideokonferenzKulgemeyer et al. (2021)
UnterrichtenErklärung eines physikalischen PhänomensSimulation mit Schauspieler*innenKulgemeyer et al. (2015)
BeurteilenBeratungsgesprächSimulation mit Schauspieler*innenWotschel et al. (2023), Eigenentwicklung
BeurteilenBeurteilung von Schüler*innentextenSchriftlichFeser (2019)
ErziehenModeration eines KonfliktgesprächsSimulation mit Schauspieler*innenEigenentwicklung
InnovierenGespräch zur UnterrichtsentwicklungSimulation einer VideokonferenzEigenentwicklung
Tab. 1 „OSTE-Physik: Stationsübersicht“


Gemäß der Standards (KMK, 2024) haben die einzelnen Stationen einen mal stärkeren (z.B. Unterrichtsplanung), mal weniger starken Bezug zum Fach Physik (z.B. Konfliktgespräch). Dies lässt sich allerdings nicht immer eindeutig disjunkt unterscheiden, da in beruflichen Situationen meist ein Bezug zu mehreren Bereichen des Professionswissens von Lehrkräften besteht (vgl. Blömeke et al., 2015).

Bildnachweis: OSTE-Team – Bremen, (c) Christoph Vogelsang, Danke an Stefan Oltmans für das Foto

On the road

Um zu prüfen, ob der entwickelte OSTE-Prototyp nicht nur auf theoretischer Seite ein geeignetes Prüfungsformat darstellt, sondern auch im praktischen Einsatz umsetzbar ist, haben wir ihn an drei verschiedenen Universitätsstandorten mit Lehramtsstudierenden erprobt. Dabei zeigten sich einige rein organisatorische Herausforderungen. Um den OSTE zu erproben, musste er in den Rahmen des Vorlesungsbetriebes im Sommersemester 2024 eingebettet werden. Das heißt, dass neben den zwei Stunden für den reinen Prüfungsparcours nur wenig zeitlicher Spielraum für die geplanten Erhebungen zu Einschätzungen der Studierenden zur Akzeptanz des Formats vorlagen. Dank der Geduld der Studierenden konnten wir aber glücklicherweise viel umsetzen. Logistisch mussten wir für jeden Testeinsatz vier unserer studentischen Schauspieler*innen und eine Menge technisches Equipment (z.B. Kameras, Tablets, schriftliches Testmaterial) jeweils rechtzeitig vor Ort bringen und einsatzbereit machen. Zusätzlich werden für die Durchführung mehrere Räume benötigt, die für den Zeitraum des OSTEs frei gehalten werden müssen.

Unser erster Tourstopp führte uns im April nach Bremen, wo wir den OSTE mit Unterstützung von Prof. Dr. Christoph Kulgemeyer und seinem Team erproben konnten. An zweiter Stelle gab es im Juni ein Heimspiel an der Universität Paderborn mit Unterstützung von Prof. Dr. Josef Riese (mit weniger logistischem Aufwand 😉 ). Der dritte Tourstopp führte uns Anfang Juli in die Nachbarschaft nach Bielefeld, in der uns Prof. Dr. Lisa Stinken-Rösner unterstützte. Zusätzlich konnten wir die Station zur Simulation eines Konfliktgesprächs in zwei erziehungswissenschaftlichen Seminaren an der Universität Paderborn bei unseren Kolleginnen Dr. Nicole Gruchel und Prof. Dr. Sandra Landhäußer erproben.

Bildnachweis: Konfliktstation Kurzfragebogen – Paderborn, (c) Christoph Vogelsang

Lessons learned

Grundsätzlich ziehen wir ein sehr positives Fazit aus unser OSTE-Tour im Sommer 2024. Sowohl das Feedback der Studierenden in den informellen Gesprächen nach und während der Durchführung als auch die ersten Einblicke in unsere parallel durchgeführten Fragebogenerhebungen zeigen, dass gerade die Authentizität und berufliche Relevanz des OSTE sehr positiv eingeschätzt werden. Kritischer sind die Studierenden dahingehend, inwiefern sie ihr bisheriges Lehramtsstudium auf diese Prüfungsanforderungen vorbereitet hat. Für die Durchführung des OSTE begegnen wir bei jedem Versuch noch neuen Fallstricken, die bei der Organisation zu beachten sind. Insbesondere das Einhalten eines genauen Zeitplans ist wichtig, um einen reibungslosen Ablauf zu garantieren, da es nach dem Beginn wenig Ausweichmöglichkeiten gibt, wenn man nicht jede Station mehrfach anbieten kann. Auch hatten wir teilweise mit Abbrüchen in der Internetverbindung für unsere simulierten Videokonferenzen zu kämpfen. Generell zeigt sich, dass das große Potential, dass OSTEs für die Lehrkräftebildung bieten, auch wirklich eingelöst werden könnte. Und das nicht nur im Fach Physik. Bis dahin liegt allerdings noch etwas Arbeit vor uns, wie die Auswertung der zahlreich aufgenommenen Videos, der im Nachgang geführten Interviews und der Analysen zum Zusammenhang zum Professionswissen.

Abschließend möchten wir allen danken, die uns bei unserer ersten OSTE-Erprobung unterstützt haben: unseren Kolleg*innen in Bielefeld, Bremen und Paderborn, unseren Schauspieler*innen Ella, Eike, Carlo (für den Einsatz am eigenen Geburtstag), Elena und Jasmin und ganz besonders allen Studierenden, die sich für uns und unser Projekt Zeit genommen haben! Ohne euch hätten wir alles nicht durchführen können. Vielleicht sehen wir uns ja nochmal zur geplanten OSTE-Tour im Wintersemester.

Bildnachweis: OSTE-Team – Bielefeld, (c) Christoph Vogelsang, Danke an Lisa Stinken-Rösner für das Foto

Literatur:

  • Blömeke, S., Gustafsson, J. E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie. 223, 3-13. (Online)
  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal137, 193-200. (Online)
  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • Fischer, F., & Opitz, A. (2022). Learning to diagnose with simulations: Examples from teacher education and medical education. Springer Nature. (Online)
  • Fraefel, U., & Scheidig, F. (2018). Mit Pragmatik zu professioneller Praxis? Der Core-Practices-Ansatz in der Lehrpersonenbildung. BzL-Beiträge zur Lehrerinnen-und Lehrerbildung, 36(3), 344-364. (Online)
  • Gerich, M., & Schmitz, B. (2016). Using Simulated Parent-Teacher Talks to Assess and Improve Prospective Teachers‘ Counseling Competence. Journal of Education and Learning, 5(2), 285-301. (Online)
  • Gulikers, J. T., Kester, L., Kirschner, P. A., & Bastiaens, T. J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes. Learning and Instruction, 18(2), 172-186. (Online)
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften26(1), 103-122. (Online)
  • Wotschel, P., Janzen, T., Meier, J., & Vogelsang, C. (2023, 1.4 September). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden [Vortrag]. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF). Universität Potsdam.

1 Jahr danach – Datenerhebungsphase (vorläufig) abgeschlossen

Am 27.06.2022 fanden unsere ersten Simulationen mit Studierenden in der Pilotierungsphase unserer Datenerhebung statt. Ziemlich genau ein Jahr später ist diese Phase nun vorläufig abgeschlossen. Nach 61 Simulationen in Englisch (10 in der Pilotierung und 51 in der Haupterhebung) und 72 in Bildungswissenschaften (9 in der Pilotierung in 63 in der Haupterhebung), haben wir die Haupterhebungsphase des Projekts (vorläufig) beendet. Nachdem wir euch schon einen Einblick in den Alltag unserer Simulationen gegeben haben, ist nun ein guter Punkt, um zurückzublicken und das letzte Jahr ein bisschen Revue passieren zu lassen!

Am Anfang stand die Frage…

„Du studierst Englisch oder ein anderes Fach auf Lehramt?“. Mit diesem Flyer (siehe unten) machten wir uns auf die Suche nach Studierenden, die an unseren Simulationen teilnehmen wollten. Wir reisten durch die Universität, um Poster aufzuhängen, machten Werbung in Vorlesungen und Seminaren, verteilten Flyer in der Mensa, teilten Posts auf Facebook und Instagram. Die Nachricht verbreitete sich anfangs allerdings eher schleppend, und nicht selten fragten wir uns, ob wir das Ziel von 50 Teilnehmenden pro Teilprojekt in der Haupterhebung überhaupt erreichen können. Doch mühsam ernährt sich das Eichhörnchen und nach und nach erreichten uns mehr und mehr Anmeldungen.

(c) Universität Paderborn, Johannes Pauly; Thomas Janzen

Eat, Sim, Sleep, Repeat

Von nun an hieß es montags und dienstags: Simulieren! In der Pilotierungsphase betrug die Dauer der Teilnahme noch drei Stunden, sodass wir jeweils am Tag bis zu zwei Simulationen anbieten konnten. Durch ein abgestimmtes System und drei verfügbaren Räumen, war es uns möglich, in beiden Projekten parallel zu erheben. In der Haupterhebung haben wir, durch einen stärkeren Fokus, die Teilnahmezeit auf etwa zweieinhalb Stunden verkürzen und somit bis zu 16 Termine in der Woche anbieten können.

„Casting is 85 to 90 percent of the picture for me”- Martin Scorsese

Was Scorsese sagt, trifft auch für unsere Simulationen zu. Ohne kompetente Schauspieler*innen ist es nahezu unmöglich, Daten mit der Qualität zu erheben, die für die Entwicklung und Validierung performanzorientierter Prüfungsformate notwendig sind. Möglich gemacht wurde das Ganze durch unsere Schauspielerinnen Elena, Hannah und Jasmin. Sie haben in den Simulationen von morgens bis abends die Rollen von Mia, Alex und Christina eingenommen. Um in den Situationen möglichst authentisch und standardisiert zu agieren, absolvierten sie ein mehrwöchiges Training und diverse Testdurchläufe mit Kolleg*innen des PLAZ und der Englischdidaktik Paderborn. Ab der Pilotierung lief es dann so gut wie von selbst: Es war auf einmal ganz natürlich erst eine unsichere 9. Klässlerin zu mimen und keine 20 Minuten später als Elternteil nicht ganz zu verstehen, warum man zum Elternsprechtag kommen muss. Den Einsatz und die Flexibilität unserer drei Schauspielerinnen können wir nicht genug honorieren!

Unser Simulationsteam (v.l.): Philipp Wotschel, Thomas Janzen, Jasmin Heinrichs, Elena Seifert und Hannah Grummel (c) Philipp Wotschel

Bridge over troubled water

Zum Forschungsalltag gehörte es auch, mit Unsicherheiten umgehen zu lernen. Termine von Studierenden wurden manchmal weit im Voraus, oftmals kurzfristig abgesagt – oder einfach kommentarlos ausfallen gelassen. Vor dem Hintergrund des organisatorischen Aufwands war dies vor allem zu Stoßzeiten, mit vielen Terminanfragen, besonders ärgerlich. Manchmal gab es kleine Zweifel, ob die erhoffte Zahl an Teilnehmenden noch zu erreichen ist.

Doch von nichts kommt nichts und zum Glück hatten wir auch viel Unterstützung von Kolleg*innen: Das gesamte Team der Englischdidaktik Paderborn hat es uns ermöglicht in Vorlesungen und Seminaren mehrfach Werbung für unser Projekt zu machen – unser Dank geht hier insbesondere an Dominik Rumlich und Katharina von Elbwart, sowie Peter Hohwiller, Maike Bauer, Julie Intveen, Jeanette Böttcher, Dagmar Keatinge, Heike Niesen und Benedikt Wagner. Das PLAZ Kommunikationsteam um Björn Herdeegen und Angelina Berisha sowie die Fachschaft Lehramt haben durch ihre Werbung auf Facebook und Instagram viel Aufmerksamkeit für unser Projekt geschaffen. Durch die Hilfe von Frauke Matz, Jens Folkerts und der gesamten Münsteraner Englischdidaktik konnten wir auch an der Universität Münster Studierende für unsere Erhebung gewinnen und unsere Simulationen vor Ort durchführen. Vielen, vielen Dank – ihr habt alle entscheidend zum Erfolg von PERFORM-LA beigetragen.

Selbstverständlich gilt unser größter Dank den Studierenden, die an unserer Studie teilgenommen haben. Ohne die Bereitschaft und das Vertrauen alles Teilnehmenden wäre die Umsetzung des Projekts nicht möglich gewesen.

Letztendlich haben wir es geschafft, genug Teilnehmende zu erreichen und können nun zufrieden mit den von uns erhobenen Daten in die nächste Projektphase gehen.

Cold hard facts

Was ist denn nun der Ertrag unserer Erhebung in ein paar konkreten Zahlen?

  • Insgesamt durchgeführte Simulationen: 123
  • Speichermenge der Aufnahmen (Videos + Audios der Interviews): ca. 200 GB
  • Laufzeit des Videomaterials: Über 1000 Minuten

What‘s next?

Der Ball liegt nun wieder in unserem Feld. Unser Ziel ist es jetzt zu schauen, inwieweit sich mit rollenspiel-basierten Simulationen valide Leistungen erheben und bewerten lassen. Daher befinden wir uns aktuell in der Entwicklung eines Bewertungsinstruments für die Simulationen. Mit Hilfe der Videos können wir dann die weiteren Schritte unternehmen, wie die Validierung durch externe Kooperationspartner*innen und Expert*innen. Außerdem dienen sie uns als Ankerbeispiele, um bestimmte Handlungsoptionen zu kategorisieren und einzuordnen.

Quellen:

  • Scorsese, M. https://www.masterclass.com/classes/martin-scorsese-teaches-filmmaking/chapters/casting-actors.