Schlagwort-Archive: performance assessment

OSTE-Tour – Sommersemester 2024

Es geht voran…

Es war ein ereignisreicher Sommer! Nach der Pilotierung unseres Prototypen einer Objective Structured Teaching Examination (OSTE) für (angehende) Lehrkräfte im Fach Physik stand das Sommersemester 2024 ganz im Zeichen einer breiteren Erprobung. Das Konzept des OSTE stammt ursprünglich aus der Professionalisierung von Ausbildenden der Medizin (Fakhouri & Nunes, 2019). Dabei handelt es sich um eine Art Prüfungsparcours, in dem die Geprüften an verschiedenen Stationen typische Anforderungen des Berufs bewältigen müssen. Die Stationen sind möglichst handlungsnah gestaltet, um auch die tatsächlichen, im späteren Beruf notwendigen Fähigkeiten zu adressieren (z.B. das Geben von Feedback an angehende Ärzt*innen im praktischen Jahr). Technisch gesprochen: Sie müssen Performanz zeigen (Blömeke, Gustafson & Shavelson, 2015). Für einen Einsatz als Prüfung besteht eine zentrale Herausforderung darin, dass die geprüften Situationen möglichst authentisch bzw. berufsrelevant sein müssen (Gulikers et al., 2008), aber zugleich auch eine gewisse Standardisierung aufweisen, damit Leistungen zwischen einzelnen Personen möglichst fair verglichen werden können. Daher werden in den Stationen typischerweise Schauspieler*innen eingesetzt, die geschult sind, möglichst vergleichbare Anforderungen herzustellen, aber zugleich eine adaptive Interaktion ermöglichen.

Bildnachweis: OSTE-Stationsplan – Bremen, (c) Christoph Vogelsang

OSTEs für die Lehrkräftebildung

Die Simulation berufstypischer Situationen mit Schauspieler*innen findet sich auch schon vereinzelt in der Lehrkräftebildung, bisher allerdings hauptsächlich als Übungsformat oder als Assessment-Verfahren im Rahmen von Forschungsprojekten (z.B. Fischer & Opitz, 2022; Gerich & Schmitz, 2016). In unserem Projekt haben wir einen OSTE entwickelt, der als Prototyp als Prüfungsverfahren einsetzbar sein soll. Da Anforderungen an Lehrkräfte zu großen Teilen auch fachspezifisch sind, bezieht sich unser OSTE auf Lehramtsstudierende mit dem Unterrichtsfach Physik. Bei der Entwicklung sollten einige Bedingungen berücksichtigt werden. Erstens muss natürlich die Validität der einzelnen Stationen sichergestellt werden. Es sollten also Kompetenzen, die für den Beruf relevant und in Bezug auf entsprechende Kompetenzmodelle darstellbar sind, abgebildet, passende Situationen gestaltet und entsprechende Bewertungskategorien entwickelt werden. Zweitens muss die Erfassung der Performanz – wie bei Instrumenten in der Bildungsforschung üblich – ausreichend reliabel erfolgen, wobei innerhalb eines OSTE Reliabilität auch über die Anzahl von Stationen beeinflusst werden kann. Drittens muss der Einsatz unter den üblichen Bedingungen eines Studiums erfolgen können. Das betrifft bspw. die zur Verfügung stehende Prüfungszeit oder die Akzeptanz durch die Studierenden und Dozierenden, die derartige Prüfungen ja selbst durchführen müssten.

Unser vor diesem Hintergrund entwickelte Prototyp eines OSTE für das Lehramt Physik umfasst nach aktuellem Stand insgesamt sieben Prüfungsstationen. Nach der Pilotierung und auch im Verlauf der Erprobung wurde er so modifiziert, dass er insgesamt in zwei Stunden absolviert werden kann bzw. absolviert werden können sollte. Dies entspricht einem Zeitumfang von zehn Minuten pro Station (mit Ausnahme einer 20-minütigen Station) plus Wechselpausen. Die handlungsrelevanten Situationen wurden entlang der vier Kompetenzbereiche Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2024) ausgewählt und repräsentieren typische Core Practices von Physiklehrkräften (vgl. Fraefel & Scheidig, 2018). Für einige Stationen konnten wir auf Vorarbeiten von vielen geschätzten Kolleg*innen zurückgreifen (Danke!), andere Stationen sind komplette Neuentwicklungen. Alle Stationen simulieren typische Anforderungen, aber nicht alle Stationen benötigen Schauspieler*innen. Zum Teil ist der Bearbeitungsmodus schriftlich – wie es auch im Beruf erfolgt (z.B. bei der Planung von Unterricht). Eine Übersicht über die Prüfungsstationen ist in der nachfolgenden Tabelle dargestellt.

KompetenzbereichStation/SituationModusQuellen
UnterrichtenUnterrichtsplanungSchriftlichSchröder et al. (2020)
UnterrichtenUnterrichtsreflexionSimulation einer VideokonferenzKulgemeyer et al. (2021)
UnterrichtenErklärung eines physikalischen PhänomensSimulation mit Schauspieler*innenKulgemeyer et al. (2015)
BeurteilenBeratungsgesprächSimulation mit Schauspieler*innenWotschel et al. (2023), Eigenentwicklung
BeurteilenBeurteilung von Schüler*innentextenSchriftlichFeser (2019)
ErziehenModeration eines KonfliktgesprächsSimulation mit Schauspieler*innenEigenentwicklung
InnovierenGespräch zur UnterrichtsentwicklungSimulation einer VideokonferenzEigenentwicklung
Tab. 1 „OSTE-Physik: Stationsübersicht“


Gemäß der Standards (KMK, 2024) haben die einzelnen Stationen einen mal stärkeren (z.B. Unterrichtsplanung), mal weniger starken Bezug zum Fach Physik (z.B. Konfliktgespräch). Dies lässt sich allerdings nicht immer eindeutig disjunkt unterscheiden, da in beruflichen Situationen meist ein Bezug zu mehreren Bereichen des Professionswissens von Lehrkräften besteht (vgl. Blömeke et al., 2015).

Bildnachweis: OSTE-Team – Bremen, (c) Christoph Vogelsang, Danke an Stefan Oltmans für das Foto

On the road

Um zu prüfen, ob der entwickelte OSTE-Prototyp nicht nur auf theoretischer Seite ein geeignetes Prüfungsformat darstellt, sondern auch im praktischen Einsatz umsetzbar ist, haben wir ihn an drei verschiedenen Universitätsstandorten mit Lehramtsstudierenden erprobt. Dabei zeigten sich einige rein organisatorische Herausforderungen. Um den OSTE zu erproben, musste er in den Rahmen des Vorlesungsbetriebes im Sommersemester 2024 eingebettet werden. Das heißt, dass neben den zwei Stunden für den reinen Prüfungsparcours nur wenig zeitlicher Spielraum für die geplanten Erhebungen zu Einschätzungen der Studierenden zur Akzeptanz des Formats vorlagen. Dank der Geduld der Studierenden konnten wir aber glücklicherweise viel umsetzen. Logistisch mussten wir für jeden Testeinsatz vier unserer studentischen Schauspieler*innen und eine Menge technisches Equipment (z.B. Kameras, Tablets, schriftliches Testmaterial) jeweils rechtzeitig vor Ort bringen und einsatzbereit machen. Zusätzlich werden für die Durchführung mehrere Räume benötigt, die für den Zeitraum des OSTEs frei gehalten werden müssen.

Unser erster Tourstopp führte uns im April nach Bremen, wo wir den OSTE mit Unterstützung von Prof. Dr. Christoph Kulgemeyer und seinem Team erproben konnten. An zweiter Stelle gab es im Juni ein Heimspiel an der Universität Paderborn mit Unterstützung von Prof. Dr. Josef Riese (mit weniger logistischem Aufwand 😉 ). Der dritte Tourstopp führte uns Anfang Juli in die Nachbarschaft nach Bielefeld, in der uns Prof. Dr. Lisa Stinken-Rösner unterstützte. Zusätzlich konnten wir die Station zur Simulation eines Konfliktgesprächs in zwei erziehungswissenschaftlichen Seminaren an der Universität Paderborn bei unseren Kolleginnen Dr. Nicole Gruchel und Prof. Dr. Sandra Landhäußer erproben.

Bildnachweis: Konfliktstation Kurzfragebogen – Paderborn, (c) Christoph Vogelsang

Lessons learned

Grundsätzlich ziehen wir ein sehr positives Fazit aus unser OSTE-Tour im Sommer 2024. Sowohl das Feedback der Studierenden in den informellen Gesprächen nach und während der Durchführung als auch die ersten Einblicke in unsere parallel durchgeführten Fragebogenerhebungen zeigen, dass gerade die Authentizität und berufliche Relevanz des OSTE sehr positiv eingeschätzt werden. Kritischer sind die Studierenden dahingehend, inwiefern sie ihr bisheriges Lehramtsstudium auf diese Prüfungsanforderungen vorbereitet hat. Für die Durchführung des OSTE begegnen wir bei jedem Versuch noch neuen Fallstricken, die bei der Organisation zu beachten sind. Insbesondere das Einhalten eines genauen Zeitplans ist wichtig, um einen reibungslosen Ablauf zu garantieren, da es nach dem Beginn wenig Ausweichmöglichkeiten gibt, wenn man nicht jede Station mehrfach anbieten kann. Auch hatten wir teilweise mit Abbrüchen in der Internetverbindung für unsere simulierten Videokonferenzen zu kämpfen. Generell zeigt sich, dass das große Potential, dass OSTEs für die Lehrkräftebildung bieten, auch wirklich eingelöst werden könnte. Und das nicht nur im Fach Physik. Bis dahin liegt allerdings noch etwas Arbeit vor uns, wie die Auswertung der zahlreich aufgenommenen Videos, der im Nachgang geführten Interviews und der Analysen zum Zusammenhang zum Professionswissen.

Abschließend möchten wir allen danken, die uns bei unserer ersten OSTE-Erprobung unterstützt haben: unseren Kolleg*innen in Bielefeld, Bremen und Paderborn, unseren Schauspieler*innen Ella, Eike, Carlo (für den Einsatz am eigenen Geburtstag), Elena und Jasmin und ganz besonders allen Studierenden, die sich für uns und unser Projekt Zeit genommen haben! Ohne euch hätten wir alles nicht durchführen können. Vielleicht sehen wir uns ja nochmal zur geplanten OSTE-Tour im Wintersemester.

Bildnachweis: OSTE-Team – Bielefeld, (c) Christoph Vogelsang, Danke an Lisa Stinken-Rösner für das Foto

Literatur:

  • Blömeke, S., Gustafsson, J. E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie. 223, 3-13. (Online)
  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • Fischer, F., & Opitz, A. (2022). Learning to diagnose with simulations: Examples from teacher education and medical education. Springer Nature. (Online)
  • Fraefel, U., & Scheidig, F. (2018). Mit Pragmatik zu professioneller Praxis? Der Core-Practices-Ansatz in der Lehrpersonenbildung. BzL-Beiträge zur Lehrerinnen-und Lehrerbildung, 36(3), 344-364. (Online)
  • Gerich, M., & Schmitz, B. (2016). Using Simulated Parent-Teacher Talks to Assess and Improve Prospective Teachers‘ Counseling Competence. Journal of Education and Learning, 5(2), 285-301. (Online)
  • Gulikers, J. T., Kester, L., Kirschner, P. A., & Bastiaens, T. J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes. Learning and Instruction, 18(2), 172-186. (Online)
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Wotschel, P., Janzen, T., Meier, J., & Vogelsang, C. (2023, 1.4 September). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden [Vortrag]. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF). Universität Potsdam.

„Prüfung – bitte nicht stören!“ – Pilotierung des OSTE für das Unterrichtsfach Physik

Das PERFORM-LA-Team ist gut in das neue Jahr gestartet und konnte sich mittlerweile auch vom Reisemarathon des vergangenen Jahres erholen. Das heißt natürlich nicht, dass es bei uns keine interessanten Entwicklungen gäbe, von denen wir berichten möchten – im Gegenteil:

Ein neuer Performanztest! – Nein, eigentlich sieben…

Nachdem im Sommer 2023 bereits die Haupterhebungen für Thomas’ Performanztest für das Unterrichtsfach Englisch und Philipps Performanztest für den bildungswissenschaftlichen Bereich stattfanden, konnten wir in dieser Woche nun auch endlich den OSTE (Objective Structured Teaching Examination) für das Unterrichtsfach Physik pilotieren. Der OSTE besteht Im Gegensatz zu den Performanztests in den Fächern Englisch und Bildungswissenschaften aus insgesamt sieben einzelnen Prüfungsstationen, die innerhalb eines ca. 2,5-stündigen Prüfungsparcours durchlaufen werden – ganz ähnlich einem OSCE in der medizinischen Ausbildung, den wir uns bereits in Aktion am KISS in Köln ansehen durften. Einige der Prüfungsstationen haben Jana und Lea für den OSTE komplett neu entwickelt, andere wurden basierend auf Vorarbeiten aus dem Projekt ProfileP+ (Kulgemeyer et al., 2021; Schröder et al., 2020; Vogelsang et al., 2019; Kulgemeyer & Tomczyszyn, 2015) und der Dissertation von Markus Feser (Feser, 2019) sowie auch Philipps Test zur Beratungskompetenz weiterentwickelt. Die Prüfungsstationen richten sich an Lehramtsstudierende mit dem Unterrichtsfach Physik und orientieren sich an den vier Kompetenzbereichen Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2022). Dabei sind einige der Stationen eher fachspezifisch (Unterrichtsplanung, Erklären physikalischer Phänomene, Reflexion von Physikunterricht, Beurteilen von Schüler*innentexten) und einige eher fächerübergreifend (Beratung, Konfliktlösung, Unterrichtsentwicklung). Im Gegensatz zu Thomas‘ und Philipps Performanztests dauern die einzelnen Stationen des OSTE nur etwa 15-20 Minuten, um die Gesamtzeit des Prüfungsparcours im Rahmen zu halten. Neu beim OSTE ist außerdem, dass nicht alle der Stationen rollenspielbasiert sind, sondern auch ausschließlich schriftliche Materialien beinhalten oder aus simulierten Videokonferenzen bestehen.

Schauspieltraining & logistische Herausforderungen

Dennoch sind auch im OSTE drei rollenspielbasierte Stationen enthalten, in denen unsere studentischen Hilfskräfte wieder mit ihrem schauspielerischen Talent glänzen konnten. Glücklicherweise bekamen wir im Dezember Unterstützung von Ella, Eike und Carlo, die nun mit Jasmin und Elena das Hilfskraft-Team im Forschungsbereich des PLAZ bilden. So startete vor Weihnachten das Schauspieltraining für die rollenspielbasierten OSTE-Stationen. Für unsere Hilfskräfte hieß das: Rollenbeschreibungen lernen, Verbal Trigger verinnerlichen und natürlich: Viel üben! In unterschiedlichsten Konstellationen und mit Unterstützung des gesamten Teams wurden die Gesprächssimulationen geprobt, bis sich alle bereit gefühlt haben für die Pilotierung mit Lehramtsstudierenden. Neben der Entwicklung der Prüfungsstationen und dem Schauspieltraining spielte auch die Logistik eine wesentliche Rolle bei den Vorbereitungen der Pilotierung: die Lehramtsstudierenden sollten parallel und möglichst ohne Leerlauf die sieben Stationen durchlaufen. Geeignete Räumlichkeiten wurden organisiert, Ablaufpläne erstellt und eine Menge Material zur Bearbeitung und Evaluation der Stationen vorbereitet. Am 29. Januar war es dann endlich so weit, und erst einmal vier Lehramtsstudierende des Unterrichtsfachs Physik stellten sich den sieben OSTE-Stationen. Wie schon bei den bereits entwickelten Performanztests haben wir auch bei der Pilotierung des OSTE Kameras an den rollenspielbasierten Stationen aufgestellt, um die simulierten Gespräche zu videografieren. An den anderen Stationen haben wir den Arbeitsprozess der Lehramtsstudierenden per Bildschirmaufzeichnung dokumentiert und ihre schriftlichen Notizen und Ergebnisse festgehalten.

Die erste Hürde ist geschafft!

Die Studierenden füllten außerdem nach der Bearbeitung jeder einzelnen Station einen Kurzfragebogen aus, in dem sie die Authentizität und Immersion der Stationen bewerteten. So sind zahlreiche Aufzeichnungen und Beurteilungen des Prüfungsparcours entstanden, die in einem nächsten Schritt gesichtet und ausgewertet werden, um den OSTE für unseren nächsten geplanten Testdurchlauf im Sommersemester 2024 auf dieser Grundlage weiterzuentwickeln. Obwohl wir im Vorhinein noch etwas skeptisch waren, was den reibungslosen Ablauf der Pilotierung angeht, können wir nun ein positives Fazit ziehen: Die Studierenden konnten alle Stationen im Zeitrahmen bearbeiten, und unsere Hilfskräfte haben nicht nur schauspielerische Höchstleistungen erbracht, sondern durch ihre Unterstützung auch für einen reibungslosen Ablauf am Pilotierungstag gesorgt. Wir sind gespannt, was die Auswertung der Dokumente und Aufzeichnungen ergibt und wie sich der OSTE bis zum nächsten Testlauf weiterentwickeln wird.

Literatur:

  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., Kempin, M., Kulgemeyer, C., … & Schröder, J. (2019). Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik. Analysen zu valider Testwertinterpretation. Zeitschrift für Pädagogik, 65(4), 473-491. (Online)

20. EARLI-Konferenz – „Education as a Hope in Uncertain Times“

Bildnachweis: © European Association for Research on Learning and Instruction

Im Jahr 2019 fand die biennale Konferenz der European Association for Research on Learning and Instruction (EARLI) zuletzt in Präsenz statt, damals quasi „nebenan“ in Aachen. Nach einer pandemiebedingten Online-Ausgabe 2021 hießen uns und mehr als 2.500 weitere Teilnehmer*innen in diesem Sommer nun die Aristoteles Universität und die Universität von Makedonien in Thessaloniki zur bisher größten EARLI-Konferenz willkommen. Unter dem Motto „Education as a Hope in Uncertain Times“ wurde vom 22.-26. August 2023 in der griechischen Sommerhitze intensiv diskutiert, präsentiert und Networking betrieben. Wir waren als Projektteam auch dabei und möchten einige Einblicke in unsere Erlebnisse schildern.

Mit zwei Vorträgen von Thomas und Christoph und einem Posterbeitrag von Philipp war das PERFORM-LA-Team gut auf der Konferenz vertreten. Am frühen Mittwochmorgen berichtete Christoph über die Akzeptanz simulationsbasierter Prüfungsformate durch Lehramtsstudierende auf Basis von Befragungs- und Interviewdaten, bevor Thomas direkt im Anschluss die Pilotstudie seines Performanztests für das Unterrichtsfach Englisch (zur Erfassung von Feedbackkompetenz) vorstellte. Im Rahmen einer Postersession präsentierte Philipp am darauffolgenden Tag die Ergebnisse seiner Pilotstudie eines Performanztests für das bildungswissenschaftliche Studium (zur Erfassung von Beratungskompetenz).

Eine Frage der Validität

Bei insgesamt 2065 Beiträgen in 21 Panels fiel es oft nicht leicht, sich für einzelne (und damit gegen viele andere) Sessions zu entscheiden – geschweige, die Highlights dieser intensiven Woche herauszufiltern. Ein Thema, dass uns jedoch in ganz unterschiedlichen Beiträgen immer wieder begegnete und das auch für unser Projekt eine wichtige Rolle spielt, war die Frage nach der Validität von Test- und Prüfungsinstrumenten. Insbesondere das Symposium „Examining the Validity of Standardized Approaches to Measuring Teaching Quality“ und die Diskussion der vier Beiträge durch Anna-Katharina Praetorius blieben Lea dabei in Erinnerung. Unterschiedliche Perspektiven auf die Validität der Erfassung von Unterrichtsqualität standen in den Beiträgen im Vordergrund: Der Vergleich zwischen Präsenz- und Online-Unterricht (Jaekel et al., 2023), die Validität von Schüler*inneneinschätzungen als Indikator von Unterrichtsqualität (Gisladottir et al., 2023), die Förderung der Beobachtungskompetenz von Lehrkräften bei der Beurteilung von Unterrichtsqualität in Unterrichtsbesuchen sowie Urteilsfehler und -tendenzen in Beobachtungsstudien zur Unterrichtsqualität. Anna-Katharina Praetorius von der Universität Zürich griff in ihrer Diskussion grundsätzliche Fragen zum Thema des Symposiums auf, zum Beispiel nach der Validität von master scorings (= Expert*innenurteilen), und gab uns damit noch etwas „food for thought“ für die restlichen Konferenztage auf den Weg.

Core Practices

Ein weiteres Highlight-Symposium für Thomas war das zu „The Development of Core Practices from a Cross-National Perspective.“ Die Thematik um Core Practices spielt ja auch in unserem Projekt eine große Rolle, und in diesem Symposium war Pam Grossman, die Mitbegründerin dieses Konzepts (vgl. Grossman, 2021), Co-Chair und hat in ein paar einleitenden Worten das Konzept kurz dargestellt. Sie nannte auch gleich mehrere Gründe, warum wir uns auf Core Practices fokussieren sollten: Fehlende Vision für das was wir als „guten Unterricht“ bezeichnen würden, das „Technologiedefizit“ in der Lehrkräftebildung sowie die fehlenden reliablen Messmöglichkeiten. Der letzte Punkt wurde auch von der Diskutantin Tina Seidel aufgeworfen – hoffentlich können wir mit unserem Projekt hier einen Beitrag leisten, Core Practices handlungsnah und möglichst valide messen und prüfen zu können. Es gab vier spannende Vorträge aus verschiedenen Nationen. Im ersten Vortrag von Hannah Westbroek et al. (2023) von der Vrije Universiteit Amsterdam ging es um eine motivationale Perspektive auf Core Practices und wie Lehramtsstudierende zwei verschiedene Kurse bewerten, in denen sie ihren eigenen Lernbedürfnisse nachgehen konnten. Im Beitrag von Kirsti Klette et al. (2023) der Universität Oslo ging es um die Theorie-Praxis-Verzahnung mit Core Practices. Sie haben untersucht, wie der Fokus auf Core Practices im Lernprozess Studierende dabei unterstützen kann z.B. ihren analytischen Blick zu schärfen. Im dritten Teil stellten Kjersti Waege et al. (2023) von der Norwegian University of Science and Technology eine Studie vor, in der es darum ging, inwieweit der Erwerb von Core Practices durch Team Teaching-Komponenten unterstützt werden kann. Der letzte Beitrag war eine deutsch-deutsche Koproduktion der Universitäten Freiburg und Lüneburg von Hadmut Hipp et al. (2023). Sie stellten unter anderem eine Studie vor in der sie untersucht haben, ob eine Reflektion über oder Ausüben einer Core Practice (am Beispiel des Ansatzes des Reciprocal Reading, Palinscar & Brown, 1984) in halbstandardisierten Rollenspielen gewinnbringender für Studierende sind.

Bildnachweis: © Philipp Wotschel | Das PERFORM-LA Team am ersten Konferenztag (v. l. Philipp, Christoph, Lea, Thomas)

Simulationen in der Lehrkräftebildung in Israel

Philipps Highlights standen ganz im Zeichen von Untersuchungen aus dem HaLev – The Center for Simulation in Education der Bar llan Universität in Israel. Das Zentrum entwickelte das erste simulationsbasierte Lernprogramm für die Lehrkräfteausbildung in Israel und bietet umfassende Kurse und Workshops an. Zudem unterstreicht die Finanzierung durch das Israelische Bildungsministerium, dass die Institutionalisierung eines solchen Zentrums möglich ist und zeigt somit auch für unser eigenes Projekt weitere Perspektiven auf. Vor diesem Hintergrund präsentierte Ronen Kasperski unter dem Titel „The differential effect of simulations on SEL among preservice, beginner, and experienced educators“ eine Studie, zur Untersuchung der Wirkung von klinischen Simulationen auf die Entwicklung sozial-emotionaler Lernkompetenzen bei Lehrkräften. Die Ergebnisse deuten auf einen Kompetenzzuwachs bei allen Gruppen hin, während sich Unterschiede bezüglich der einzelnen Berufsphasen abzeichnen. Lehramtsstudierende profitierten am meisten, gefolgt von Berufseinsteigern und erfahrenen Lehrkräften. Ähnliches konnte auch Shira Iluz mit ihrer Posterpräsenation unter dem Titel, „Simulation based learning for facilitating understanding of others’ emotions in preservice teachers“, zeigen. Sie betonte, dass die Verwendung von simulationsbasiertem Lernen, zur Förderung sozial-emotionaler Fähigkeiten von Lehrkräften, einen vielversprechenden Bestandteil der Lehrkräftebildung darstellt, bisher jedoch nur wenige Forschungsarbeiten existierten, die eine entsprechende Wirksamkeit nachwiesen. In diesem Zusammenhang stellte sie mit ihrer Studie ein validiertes Testinstrument vor, das als Proof-of-Concept-Nachweis belegt, dass schon ein einziger Tag Simulationstraining bei Lehramtsstudierenden helfen kann, ihr emotionales Wissen im Sinne einer Perspektivübernahme zu erweitern.

Und sonst so?

Neben Beiträgen, die Themen adressieren, mit denen wir uns auch in unserer eigenen Forschungsarbeit beschäftigen, bot die EARLI auch viele Vorträge in andere Bereiche der empirischen Bildungsforschung. Christoph ist bspw. der Vortrag von Christian Kraler et al. (2023) von der Universität Innsbruck im Gedächtnis geblieben, der von Sabrina Bacher präsentiert wurde. Darin berichtete sie von einer Befragung von N=133 angehender Lehrkräfte im Masterstudium, in denen diese nach ihren future visions gefragt wurden. Damit sind Einstellungen und Orientierungen bezogen auf eine (wünschenswerte oder befürchtete) Zukunft gemeint, die auch schon einen Einfluss auf das Handeln in der Gegenwart haben können. Die inhaltsanalytische Auswertung von drei langen offenen Antworten ergab, dass 51% der Studierenden eher neutral, 30% positiv und 19% pessimistisch auf die Welt im Jahr 2040 blicken. Dabei ließen sich ihre Antworten auf sechs Hauptkategorien beziehen: Digitalisierung, Gesellschaft, Wirtschaft, Nachhaltigkeit & Klima, formale Bildung und Konflikte & Krisen. Es ergab sich also ein sehr heterogenes Bild der future visions. Welchen Einfluss diese nun genau auf das Studium und auch das schulische Handeln in der Gegenwart haben, ist Gegenstand weiterer Schritte der Kolleg*innen aus Österreich. Ebenfalls interessant war der Beitrag „Don’t we need two control groups in large Randomized Controlled Trials?“ von Sarah Pariser & André Tricot (2023) von der Université Paris 8 bzw. Université Paul Valéry in Montpellier. Darin beschäftigten sie sich mit der Frage, warum viele in kontrollierten Studien beobachtete Effekte von Lehr-Lern-Innovationen für die Schule verschwinden, wenn sie in größerem Maßstab im Bildungssystem implementiert werden. Sie vermuteten, dass dies daran liegen könnte, dass auch die Lehrkräfte in Kontrollgruppen dieser Studien die typischen Voraussetzungen im Bildungssystem abbilden und daher schon im Studiendesign verschiedene Gruppen berücksichtigt werden sollten, um die Wirkung im Hinblick auf eine mögliche Implementation in die Praxis abzuschätzen. Sie schlugen daher vor, in randomisierten Interventionsstudien zwei Kontrollgruppen zu bilden: eine Gruppe aus (wie üblich) freiwillig teilnehmenden Lehrkräften und eine Gruppe aus unfreiwillig teilnehmenden Lehrkräften. An einer Beispieluntersuchung mit 43 Klassen konnten sie beobachten, dass sich zwischen den Klassen der beiden Arten von Kontrollgruppen tatsächlich unterschiedliche Ergebnisse ergaben, die darauf hinweisen, dass sich Verzerrungen in typischen Interventionsstudien für Lehr-Innovationen in der Schule ergeben. Als Physikdidaktiker freute sich Christoph aber auch über den Vortrag von Benedikt Gottschlich et al. (2023) von der Universität Tübingen, der von einer aufwändigen Interventionsstudie zum kontextorientierten Physikunterricht unter Feldbedingungen berichtete, in der sich aber entgegen der Erwartung kein Vorteil für einen Elektrizitätsunterricht mit Kontexten im Vergleich zu einem Unterricht ohne Kontexte zeigte. Gründe hierfür werden von den Kolleg*innen noch analysiert (ob eine zweite Kontrollgruppe sinnvoll wäre, ist auch hier eine interessante Frage 😉 ).

Wer arbeitet…

Als abschließendes Highlight der EARLI 2023 darf natürlich auch der Gesellschaftsabend nicht unerwähnt bleiben: Vor spektakulärer Kulisse luden die Organisator*innen am Freitagabend in den „Ippikos Members Club“ zu tollem Essen und Kulturprogramm in Form von traditionellen Musik- und Tanzbeiträgen und der Professor*innen-Rockband der gastgebenden Universitäten ein (vielleicht auch eine Idee für die UPB…?). Für uns ein großartiger Abschluss dieser sehr intensiven Konferenzwoche!

Bildnachweis: © Lea Grotegut | Conference Dinner im Ippikos Members Club

Wir bedanken uns herzlich für die tolle Organisation und Umsetzung dieser riesigen EARLI 2023 (darunter die Konferenz-App, Verpflegung, detaillierte Lagepläne und natürlich die Helfer*innen vor Ort!) und ganz besonders für die zahlreichen Vorträge, Anregungen und Diskussionen. Bis zum nächsten Mal!

Vorträge:

  • Daltoé, T., Maier, J., Ruth-Herbein, E., Goellner, R., Trautwein, U. & Fauth, B. C. (2023, 23. August). Classroom Observation Ratings of Teaching Quality – An Investigation of a Teacher Training. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Gisladottir, B., Tengberg, M., Roe, A. & Christensen, A. S. (2023, 23. August). Student Perceptions as Indicator of Teaching Quality: A Report from Nordic Classrooms. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Gottschlich, B., Burge, J.-P., Wilhelm, T., Dopatka, L., Spatz, V., Schubatzky, T.; Haagen-Schützenhöfer, C., Invanjek, L., & Hopf, M. (2023, 25. August). Does using real-world contexts in science teaching improve learning? A field study on electricity. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Grossman, P. (Ed.). (2021). Teaching core practices in teacher education. Harvard Education Press.
  • Hipp, H., Holstein, A., Nückles, M., & Kleinknecht, M. (2023, 24. August). How Can the Acquisition of Core Practices be optimally fostered? A Research Agenda and First Results. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Iluz, S., Yablon, Y. B. (2023, 24. August). Simulation based learning for facilitating understanding of others’ emotions in preservice teachers. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Jaekel, A.-K. & Goellner, R. (2023, 23. August). Students’ Perceptions of Teaching Quality in In-person Classrooms and Distance Education. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Kasperski, R., Hemi, M. (2023, 21. August). The differential effect of simulations on SEL among preservice, beginner, and experienced educators. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Klette, K., Staal Jenset, I. & Brataas, G. (2023, 24. August). Using Core Practices to Improve Connections between Theory and Practice in Teacher Education. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Kraler, C., Bacher, S., & Schreiner, C. (2023, 25. August). Future Vision of Teacher Education Students. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Palinscar, A. S., & Brown, A. L. (1984). Reciprocal teaching of comprehension-fostering and comprehension-monitoring activities. Cognition and Instruction, 1(2), 117-175. (Online)
  • Pariser, S., & Tricot, A. (2023, 25. August). Don’t we need two control groups in large Randomized Controlled Trials?. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Waege, K., Fauskanger, J. & Mosvold, R. (2023, 24. August). Supporting teachers’ learning through co-planning, rehearsing and co-enacting instruction. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • Westbroek, H., Kaal, A. & Donszelmann,S. (2023, 24. August). A motivational perspective on learning core practices: the case of a Dutch teacher education program. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.
  • White, M. (2023, 23. August). Evaluating the Robustness of Observational Studies’ Results to Rater Error with a Linking Data Set. 20. Biennale Konferenz der European Association for Research on Learning and Instruction (EARLI), Thessaloniki, Griechenland.

Willkommen im Team!

Wir freuen uns, bekannt geben zu können, dass wir nun seit dem 17.07. von Lea Grotegut als Post-Doc unterstützt werden! Nach knapp anderthalb Jahren löst Lea Jana Meier ab, die als Lehrkraft für besondere Aufgaben ans Institut für Erziehungswissenschaft gewechselt ist.

Bildnachweis: (C) Lea Grotegut

Als wissenschaftliche Mitarbeiterin wird es Leas primäre Aufgabe sein, anknüpfend an Janas Arbeiten performanzorientierte Lehr- und Prüfungsverfahren für die Lehramtsausbildung im Fach Physik und den Bildungswissenschaften weiterzuentwickeln. Bestehende Performanztests zur Unterrichtsplanung, Reflexion und zum Erklären im Physikunterricht sollen durch Lea als zusammenhängende Serie von Anforderungen i. S. eines OSTE (objective structured teaching examination / objektiv strukturierte Lehrprüfungen)-Prototypen kombiniert und umfassend validiert werden.
Erfahrungen für die Nachwuchsforschungsgruppe bringt Lea u. a. aus ihrer im Juni 2023 abgeschlossenen Promotion mit, im Rahmen derer sie sich mit der Entwicklung einer digitalen Simulation zur Förderung diagnostischer Kompetenz angehender Lehrkräfte auseinandergesetzt hat – also inhaltlich schon ziemlich nah an dem, was wir in PERFORM-LA so machen! Zu ihren Forschungsinteressen zählen neben der diagnostischen Kompetenz professionelles Wissen (angehender) Lehrkräfte sowie hochschulische Prüfungen. Wir freuen uns sehr darüber, nun wieder vollständig zu sein und in neuer Besetzung in die nächste Projektphase zu starten!

Kurzzusammenfassung: „Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht“

Das erste Paper im Kontext unserer Nachwuchsgruppe ist nun open access verfügbar! In dem Artikel gehen wir der Frage nach, wie Lehramtsstudierende rollenspielbasierte Simulationen wahrnehmen. In dieser Kurzzusammenfassung geben wir euch einen kurzen Überblick über die wichtigsten Aspekte. Tiefergehende Informationen z.B. zur Theorie und Methodik findet ihr im Artikel selbst. Hier kommt ihr direkt zum Artikel in der Zeitschrift die hochschullehre.

Was sind Kontext und Ziele der Studie?

Oft wird kritisiert, dass das Lehramtsstudium einen zu geringen Bezug zur späteren Berufspraxis habe (vgl. Cramer, 2014). Wie wir auf diesem Blog auch schon oft angesprochen haben, könnten rollenspielbasierte Simulationen eine Möglichkeit sein, handlungsnahe Kompetenzen, die relevant für die spätere Berufspraxis sind, schon in der Hochschule zu üben und insbesondere zu prüfen. Um einen ersten Eindruck davon zu gewinnen, wie Studierende als prospektive Testpersonen solche Formate wahrnehmen, haben wir einen Teil davon befragt.

Unsere Forschungsfragen waren:

  • Inwiefern haben Lehramtsstudierende im Laufe ihres Studiums Erfahrungen mit Rollenspielen (oder ähnlichen Simulationen) als Prüfungs- und/oder Übungsformat gemacht?
  • Wie beurteilen Lehramtsstudierende Rollenspiele (oder ähnliche Simulationen) als Prüfungsformat im Lehramtsstudium?

Wie sind wir vorgegangen?

In einer standardisierten Online-Umfrage haben wir N = 620 Lehramtsstudierende aus dem Master of Education an der Universität Paderborn befragt. In dem Fragebogen gab es sowohl offene Fragen, als auch geschlossene Fragen. Die offenen Fragen haben wir inhaltsanalytisch (Kuckartz, 2016), die geschlossenen Fragen zunächst deskriptiv ausgewertet und im Anschluss durch Faktorenanalyse zu Skalen (Authentizität, Fairness, Transparenz) zusammengefasst.

Was sind die wichtigsten Ergebnisse?

  • Ein Großteil der Studierenden (71,8%) hat noch keinerlei Erfahrungen mit Rollenspielen oder anderen simulationsbasierten Formaten, egal ob als Übung oder Prüfung.
  • 85,8% der Studierenden gaben an, keine Erfahrungen mit Rollenspielen als Prüfungsformat zu haben.
  • 8,5% der Studierenden haben Erfahrungen mit Rollenspielen als unbenotete Prüfung, 0,5% (n=3) als benotete Prüfung.
  • Studierende, unabhängig ob mit oder ohne Erfahrung, sehen in Rollenspielen einen hohen Grad an Authentizität, sind aber eher skeptisch was Transparenz und Fairness angeht.
  • Positiv wurde von den Studierenden herausgestellt, dass Rollenspiele einen hohen Bezug zur Berufspraxis aufzeigen würden. Kritisch wurde aber betrachtet, ob so ein Format es wirklich erlaube zu zeigen, was man könne und ob dies objektiv bewertbar sei.

Wie sind die Ergebnisse zu betrachten?

Studierende im Lehramt der Universität Paderborn haben bisher wenig Berührungspunkte mit rollenspielbasierten Simulationen, obwohl andere Professionen, wie die Medizin, diese schon länger einsetzen.

Erkennbar ist, dass Studierenden das Format als authentisch für den späteren Beruf einschätzen, aber auch, dass es für sie wichtig ist, dass die Bewertungsmaßstäbe transparent und möglichst objektiv sind. Wir vermuten, dass es hier, trotz Erklärungen im Fragebogen, aber auch zu Missverständnissen gekommen sein könnte, was das Format des Rollenspiels angeht, und diese nicht mit dem Grad der Standardisierung assoziiert wurden, wie es in simulationsorientierten Prüfungen üblich ist. Den aktuellen Arbeiten in den Projekten von Philipp und Thomas, in denen sie sich mit Bewertungsmöglichkeiten von rollenspielbasierten Simulationen auseinandersetzen, kommt also auch aus Studierendensicht eine zentrale Relevanz zu.

Einschränkend möchten wir erwähnen, dass die Befragung nur an einer Universität statt. Letztendlich gibt uns diese Studie aber erste Indizien darauf, was Studierende mit Rollenspielen im Lehramt verbinden und welche Einstellungen Sie bezüglich des Einsatzes dieser als Prüfung haben.

Interesse geweckt? Die umfassende Darstellung des Vorgehens und der Ergebnisse sind im Artikel zusammengefasst und open-access abrufbar. Wir freuen uns über Nachfragen, Anmerkungen und weitere, anregende Ideen!

Literatur:

  • Cramer, C. (2014). Theorie und Praxis in der Lehrerbildung. Bestimmung des Verhältnisses durch Synthese von theoretischen Zugängen, empirischen Befunden und Realisierungsformen. DDS – Die Deutsche Schule, 106(4), 344–357. (Link)
  • Kuckartz, U. (2016). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. Beltz.
  • Meier, J., Janzen, T., Wotschel, P. & Vogelsang, C. (2023). Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht. die hochschullehre, Jahrgang 9/2023. (Link)

Tag der Lehre 2023 – „Teaching to the Test?“

Nachdenken über Prüfungen

Dieses Bild hat ein leeres Alt-Attribut. Der Dateiname ist cropped-original-on-transparent-1-2048x756.png

Bildnachweis: (c) Universität Paderborn

Am 23. Mai 2023 fand der 11. Tag der der Lehre an der Universität Paderborn nach längerer pandemiebedingter Unterbrechung wieder in Präsenz statt. Der Tag der Lehre bietet Lehrenden und Studierenden aller Fakultäten die Möglichkeit, über Fragen der Lehre an der Hochschule in den Austausch zu treten. Dabei werden innovative Lehr-Lern-Formate vorgestellt, sowie hochschuldidaktische Entwicklungen und Möglichkeiten zur Verbesserungen bestehender Lehre diskutiert. Dieses Jahr stand der Tag der Lehre unter dem Leitthema „Teaching to the Test?“ – Prüfungs- und Studienleistungen sinnvoll gestalten. Da dies genau unser Forschungsthema ist, war es naheliegend, dass auch wir als Nachwuchsforschungsgruppe unsere Arbeit vorstellen. Aber der Reihe nach ;).

Den Auftakt bildete eine spannende Online-Keynote von Prof. Dr. Doris Weßels von der Fachhochshule Kiel, die einen Überblick in die Funktionsweise und den aktuellen Stand der Technik von Large Language Models wie ChatGPT gab und wie diese auch schon in weiterer Software für den Bildungsbereich, insbesondere an Hochschulen, genutzt werden (z.B. als Assistenzsysteme zum Schreiben von Abschlussarbeiten). Dabei reflektierte sie auch, welche Veränderungen sich insbesondere für Prüfungen an der Hochschule ergeben können bzw. sollten. Diese Frage wurde in der anschließenden Podiumsdiskussion weiter vertieft (z.B. bis hin zu der Frage, ob der Umgang mit derartigen Assistenzsystemen nicht Gegenstand von Lehre und Prüfungen sein sollte).

Danach wurden in verschiedenen Formaten innovative Lehrprojekte der Universität Paderborn vorgestellt bzw. die Teilnehmenden konnten sich in Workshops weiterbilden. Bspw. stellten Isabel Elsner und Franziska Pilz im Themenforum ihr preisgekröntes kollaboratives Seminarkonzept für das Lehramtsstudium im Fach Geschichte vor, in dem Studierende aufbauend auf geschichtsdidaktischen Ansätzen unterrichtspraktische Vorschläge erarbeitet haben. Auf diese erhielten sie dann peer review-artiges Feedback durch ihre Kommiliton*innen. Im Themenforum stellte auch Christoph den Ansatz des simulationsbasierten Prüfens für das Lehramtsstudium vor. Wie im Call zu Veranstaltung gewünscht im Format eines TED Talks. Es waren daher viele Folien mit weißer Schrift auf schwarzem Hintergrund ;).

Bildnachweis: (c) Thomas Janzen

Im Disqspace am späten Nachmittag stellte Philipp einen unserer Performanztests noch einmal ausführlicher vor und die Teilnehmenden konnten ihn auch direkt selbst testen (Danke an unsere Schauspielerinnen Jasmin, Hannah und Elena!). Das haben erfreulicherweise auch einige Personen gewagt. Daraus ergaben sich interessante Gespräche, vor allem zur Übertragbarkeit des Konzepts in andere Studiengänge. Wir hoffen, dass wir einige Teilnehmende anregen konnten, evtl. selbst performanzorientierte Prüfungsverfahren zu entwickeln.

Insgesamt war es eine abwechslungsreiche und spannende Veranstaltung. Vielen Dank an das Team der Stabstelle Bildungsinnovation und Hochschuldidaktik für die gelungene Organisation (mit – wichtig! – ausreichend Kaffee und Snacks ;)).

Vorträge:

  • Elsner, I., & Pilz, F. (2023, 23. Mai). Geschichtsdidaktische Theorie-Praxis-Transfers am Beispiel des Medienwandels in historischer Perspektive. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Vogelsang, C. (2023, 23. Mai). Assessment drives learning – Simulationsbasiertes Prüfen im Lehramtsstudium. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Wotschel, P., Janzen, T., Vogelsang, C., & Meier, J. (2023, 23. Mai). Von Feedback bis Beratung – Prüfen handlungsnaher Kompetenzen im Lehramtsstudium in standardisierten Gesprächssimulationen. Beitrag im Disqspace „Innovative Lehrprojekte an der Universität Paderborn“ auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Weßels, D. (2023, 23. Mai). Künstliche Intelligenz trifft auf Hochschullehre: Potenziale und Herausforderungen von ChatGPT &Co. für die Zukunft von Lehren und Lernen. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.

„Markierung Nicht Entfernen!“

 Ein Einblick in den Simulations-Alltag der PERFORM-LA Pilotierungsphase

Ein bisschen Orientierung muss sein (c) Philipp Wotschel.

Auch wenn wir in diesem Blog eine stetig größer werdende Vielfalt an Themen behandeln, liegt unser Hauptfokus im Forschungsprojekt PERFORM-LA weiterhin auf der Entwicklung und Erprobung von handlungsnahen Prüfungsformaten für verschiedene Bereiche des Lehramtsstudiums. 

Vor diesem Hintergrund eröffneten sich mit dem Beginn des Frühjahres 2022 wieder Möglichkeiten zur Zusammenkunft in Präsenz, was zugleich den Start für das Schauspieltraining unserer Hilfskräfte, Jasmin, Elena und Hannah, markierte.

Hilfskräfte erhalten ein Schauspieltraining?

Die zu entwickelnden Prüfungsformate für das Fach Englisch und die Bildungswissenschaft sind performanzorientiert und sollen es ermöglichen, die Handlungen von Studierenden in simulierten Gesprächen in der Rolle als Lehrkraft zu den Themen Feedback und Beratung zu bewerten. Damit dies den Prüfungskriterien der Fairness, Objektivität und Transparenz Rechnung trägt, ist es entscheidend, dass die Simulationen einen bestimmten Grad der Standardisierung erreichen: Es soll ein Raum für variable und interaktive Handlungen eröffnet werden, während die Vergleichbarkeit verschiedener Simulationsdurchläufe durch denselben thematischen Gesprächsfokus und wiederkehrende Wortäußerungen (verbal Trigger) sichergestellt wird. In Bezug auf das Schauspieltraining bedeutet dies konkret, einzuüben, die Balance zwischen diesen beiden Schwerpunkten im Schauspiel zu halten und die Rollen als Schülerin beziehungsweise Elternteil im Gespräch mit den Studierenden sicher zu inszenieren.

Wie wurde trainiert?

In einem Zeitraum von etwa acht Wochen von Mai bis Juli trafen wir uns mehrmals in der Woche in mehrstündigen Sitzungen für das Schauspieltraining. Im Vordergrund stand dabei neben der Einübung der spezifischen Rollenskripte und der verbal Trigger (standardisierte Aussagen und Fragen zur Evokation bestimmter Handlungsweisen), vor allem die Erprobung der Gesprächssimulationen. Rollenspielartig wurden dafür in wechselnder Besetzung, also eine Person als Lehrkraft mit zwei weiteren Personen als Schülerin und Elternteil, die spezifischen Feedback-  und Beratungsszenarien geprobt. Sämtliche Eindrücke, Auffälligkeiten und Erfahrungen wurden anschließend, teilweise videogestützt, reflektiert und für die weiteren Proben aufgearbeitet. Im Weiteren durften auch Thomas und ich in der Lehrkraftrolle mitwirken, um unter anderem gezielt Handlungsweisen zu inszenieren, die eher weniger konstruktiv für ein Feedback– bzw. Beratungsgespräch sind (natürlich wurde dabei auch viel gelacht). Den Abschluss des Trainings bildete die Teilnahme weiterer Kolleginnen und Kollegen aus dem Zentrum für Bildungsforschung und Lehrerbildung (PLAZ) und der Englischdidaktik in Paderborn, die sich dankbarerweise dazu bereit erklärt haben, ebenfalls in der Lehrkraftrolle zur Erprobung der Simulationen beizutragen.

Neben dem schauspielerischen Schwerpunkt lag ein weiterer Fokus des Trainings auf dem Testen der technischen, räumlichen und organisatorischen Realisationsmöglichkeiten. Konkret begleiteten uns dabei die Fragen nach der optimalen Konfiguration der Tische und Stühle, der idealen Kamerapositionen und -perspektiven im Raum, den besten Winkeln für eine gute Ausleuchtung und Audioqualität und der effizientesten zeitlichen Abläufe.

Der Szenenaufbau für die Gesprächssimulationen (c) Philipp Wotschel.

Und wie ging es dann weiter?

Im direkten Anschluss an das Schauspieltraining erfolgte die Pilotierungsphase, in der die Gesprächssimulationen mit Lehramtsstudierenden getestet wurden, um Erkenntnisse über die Durchführbarkeit und Akzeptanz zu gewinnen und etwaige Anpassungen für die Hauptuntersuchung vornehmen zu können. Die Simulationen sind dabei neben weiteren Erhebungsinstrumenten, wie etwa Fragebögen zu pädagogischen, Sprach- und Beratungskompetenzen oder Interviews zur Wahrnehmung der Gesprächssimulationen, eingebettet. Die Daten sollen später für Zusammenhangsanalysen genutzt werden, mit denen differenzierte Aussagen über die unterschiedlichen feedback- und beratungsspezifischen Kompetenzbereiche getroffen werden können. Natürlich möchten wir mit Hinblick auf die kommende Haupterhebung an dieser Stelle noch nicht zu viel über die Inhalte verraten, um nicht zu viele Informationen (vor allem für die noch teilnehmenden Studierenden) vorwegzunehmen.

Was kann denn über den Ablauf der Gesprächssimulationen gesagt werden?

Die teilnehmenden Studierenden erhalten eine gewisse Vorbereitungszeit, um sich mit von uns schriftlich ausgehändigten Kontextinformationen zu den kommenden Gesprächen, vertraut zu machen. Darauffolgend werden die Kameras eingeschaltet und es klopft an der Tür. Die Schauspielerinnen betreten die „Bühne“. Je nach Szenario treten sie alleine oder zu zweit auf und versuchen, sofern die Studierenden bestimmte Gesprächsaspekte nicht selbst einleiten, diese durch gezielte Aussagen und Fragen dahinzubewegen. Dies kann mitunter Handlungsdruck erzeugen, der jedoch auf einem für die Studierenden bewältigbaren Niveau bleibt und zugleich (wie viele Studierenden berichteten) alles um sich herum „vergessen“ lässt. Die Kameras geraten somit in den Hintergrund und die Gespräche können ihren interaktiven Charakter entfalten, was insbesondere dadurch gekennzeichnet wird, dass Ideen und Aussagen von Studierenden, die noch nicht durch das Schauspieltraining antizipiert werden konnten, problemlos durch kleine Improvisationen in die Szenarien integriert werden können. Solche Situationen werden, genau wie die Gesprächssimulationen im Allgemeinen, im Nachgang reflexiv aufgearbeitet, sodass das Darstellungsrepertoire unserer Schauspielerinnen stetig umfassender wird.

Wie geht es weiter?

Es zeichnet sich bereits eine gute Passung zwischen den konzeptuellen Vorüberlegungen und der tatsächlichen Durchführbarkeit der Gesprächssimulationen und den anderen Aspekten der Befragung ab. Bevor dann ab Oktober 2022 die Haupterhebung beginnen soll, womit insbesondere die Anzahl der Teilnehmenden erhöht wird, wird es notwendig sein, weitere Anpassungen an den Erhebungsszenarien vorzunehmen. Hierbei stehen vor allem die Validierungsverfahren zur Durchführbarkeit der Gesprächssimulationen und der einzelnen verbal Trigger im Vordergrund, die für die Haupterhebung so gekürzt werden können, dass die Erhebungsszenarien in ihrem zeitlichen Umfang kompakter werden. Wir sind auf jeden Fall gespannt, wie die Hauptuntersuchung anlaufen wird und welche neuen Situationen sich in den Gesprächssimulationen zeigen werden.

Solltet ihr derzeit ein Lehramtsstudium absolvieren und möchtet die Gelegenheit bekommen, einmal eure Fähigkeiten in einem geschützten Handlungsrahmen auszuprobieren, dann meldet euch gerne bei uns und nehmt an unserer Studie teil!

Simulationen in anderen Ausbildungskontexten: Pilot*innen

Copy that!

In diesem Blogbeitrag (evtl. einer kleinen Reihe) wollen wir schauen, wie in einem anderen Beruf bzw. einer anderen Professionen performanzorienterte Lehr- und Prüfungssituationen in Ausbildungen eingesetzt und erforscht werden. Wir haben schon öfter in Vorträgen oder Blogbeiträgen die Medizin als Beispiel für ihre rollenspielbasierten Prüfungen herangezogen und auch schon Blogbeiträge dazu verfasst (z.B. hier). Starten möchten wir mit einem Berufszweig der auch von Mediziner*innen gerne als Vorbild genommen wird (z.B. Münzberg et al., 2019): Pilot*innen. Ein zentrales Werkzeug von Lehren und Prüfen sind hier Flugsimulatoren!

(c) Pixabay

Infos zur Pilot*innenausbildung

Die Pilot*innenausbildung kann nach Informationen der Vereinigung Cockpit (Vereinigung Cockpit e.V., 2022) auf verschiedenen Wegen ablaufen, aber ist eigentlich immer mit finanziellen Eigenanteilen verbunden – man muss also entweder die Ausbildung vollständig direkt selbst bezahlen, oder durch Gehaltskürzungen an eine Fluggesellschaft im Rahmen seiner Tätigkeit zurückzahlen – die Kosten liegen im Durchschnitt mindestens zwischen 70.000 von 100.000€. Die schulische Ausbildung umfasst 750 Stunden Unterricht mit Fokus auf theoretische Grundlagen und ca. 240 Flugstunden, wobei hier auch manche Ausbildungsmodelle verstärkt auf Simulatoren zurückgreifen (Vereinigung Cockpit e.V., 2022). Doch auch nach Berufseintritt spielen Simulationen eine wichtige Rolle, da Pilot*innen mehrmals im Jahr an Simulationen teilnehmen, um bestimmte Situationen zu üben (von Kopp, 2015).

Eine kurze Geschichte der Flugsimulation

Die Notwendigkeit der Entwicklung von Flugsimulatoren liegt darin begründet, dass das Auftreten von Fehlern während der Tätigkeit als Pilot*in schwerwiegende und unmittelbare Folgen für Leib und Leben der Flugzeuginsassen haben kann (Myers et al., 2018). Die ersten computerbasierten Simulatoren scheinen wohl auf das Jahr 1929 und Edwin Link zurückzugehen, jedoch erst nach Ende des zweiten Weltkriegs und den damit einhergehenden technischen Innovationen etablierten sie sich auch in der kommerziellen Luftfahrt (Page, 2000). Solche Simulatoren basierten auf realen Flugzeugen, die mit Hilfe von anderem technischen Gerät bewegt wurden oder durch Manipulation der Instrumente verschiedene Situationen nachstellten. Die Reliabilität und fidelity (=Realitätsnähe) dieser analogen Simulatoren schwankte aber aufgrund des hohen Wartungsaufwands stark, was den Weg für digitale Simulatoren ebnete. Durch weitere Neuerungen durch Bewegungs- und visuelle Systeme wurden die Simulationen immer ausgefeilter (Page, 2000), wodurch man heute sogar von virtual reality sprechen könnte.

Fidelity  vs. authenticity

Ein sehr interessanter Gesichtspunkt unter dem Flugsimulatoren erforscht werden, ist eben schon angeklungen – fidelity. Im Deutschen beschreibt der Begriff die Replikation der Realität einer Situation. Myers et al. (2018) nennen drei Elemente von fidelity:

  • Physical fidelity – Die physische Replikation der Realität, z.B. Bewegung und Geräusche beim Fliegen, aber auch die Geräte, Knöpfe, Lampen etc. im Cockpit.
  • Cognitive fidelity – Werden die gleichen kognitiven Fähigkeiten in der Simulation verlangt wie unter realen Bedingungen?
  • Functional fidelity – Inwieweit verhält sich die Simulation wie reales Equipment?

Dagegen ist authenticity nicht zwingend die objektive realitätsnahe Replikation, sondern beschreibt den Effekt, den diese auf die individuelle Wahrnehmung einer Situation der einzelnen Personen hat (Bland et al., 2014).

Es gibt interessante Ergebnisse über den Effekt von high-fidelity Simulationen, da oftmals davon ausgegangen wird, dass fidelity ausschlaggebend für den Lernerfolg ist (Myers et al. 2018). Schaut man sich aber mal ein Beispiel von lower-fidelity Simulationen an, z.B. von Dahlstrom et al. (2009), so werden auch diese von den Teilnehmenden als durchaus positiv bewertet. In der dortigen Studie sollten die Teilnehmenden auf einer Schiffsbrücke – dargestellt von nur durch Laptop, Drucker und Schreibtisch -verschiedene Situationen kommunikativ bewältigen. Gerade der Fokus darauf und das Außerachtlassen der realitätstreuen Ausstattung ist von den Teilnehmenden als positiv aufgenommen worden, da sie so weniger Ablenkung erführen würden und Dinge trainierten, denen sie sonst nicht begegnen würden (Dahlstrom et al., 2009).

Konsequenzen für uns?

Was können wir nun aus diesem kleinen AusFLUG mitnehmen? Die Unterscheidung von authenticity und fidelity ist sicher etwas, was auch in unseren rollenspielbasierten Simulationen wichtig sein wird, da wir die Prüfungen auch im Sinne einer approximation of practice (Grossman et al., 2009) gestalten und nicht die volle Komplexität des Klassenraums replizieren wollen. Außerdem bleibt natürlich der Gedanke, dass es schon fast seit 100 Jahren Simulationen für Pilot*innen gibt – aber wir in der Lehramtsausbildung, was diesbezügliche Lern- aber auch Prüfungsformate betrifft, noch recht weit am Anfang stehen.

Literatur:

  • Bland, A. J., Topping, A., & Tobbell, J. (2014). Time to unravel the conceptual confusion of authenticity and fidelity and their contribution to learning within simulation-based nurse education. A discussion paper. Nurse education today, 34(7), 1112–1118. (Online)
  • Dahlstrom, N., Dekker, S., van Winsen, R., & Nyce, J. (2009). Fidelity and validity of simulator training. Theoretical Issues in Ergonomics Science, 10(4), 305–314. (Online)
  • Grossman, P., Compton, C., Igra, D., Ronfeldt, M., Shahan, E., & Williamson, P. W. (2009). Teaching Practie: A Cross-Professional Perspective. Teachers College Record, 111(9), 2055–2100. (Online)
  • Münzberg, M., Grützner, A., Seifert, J., & Ekkernkamp, A. (2019). Weiterbildung 3.0: Der „Flugsimulator“ für Chirurgen. kma – Klinik Management aktuell, 24(01/02), 84–87. (Online)
  • Myers, P., Starr, A., & Mullins, K. (2018). Flight Simulator Fidelity, Training Transfer, and the Role of Instructors in Optimizing Learning. International Journal of Aviation, Aeronautics, and Aerospace. 5(1) (Online)
  • Page, R. (2000). Brief history of flight simulation. SimTecT 2000 proceedings, 11-17.
  • Vereinigung Cockpit e.V. (Hrsg.) (2022). Der Weg ins Cockpit. Vereinigung Cockpit e.V. (Online)
  • von Kopp, D. (Hrsg.). (2015). Warum Piloten glückliche(re) Menschen sind. Springer. (Online)

Performanztests im Radio

Simulationen als Elemente der Ausbildung

Bildnachweis: © Bayrischer Rundfunk, BR 2

In einem Radiobeitrag in der Sendung IQ – Wissenschaft und Forschung des Bayrischen Rundfunkts ist ein aktueller Beitrag ( ca. 25 Minuten) erschienen, in demperformanzorientierte Trainings- und Prüfverfahren in der Ausbildung von Mediziner*innen und Pflegekräften beschrieben werden. Dabei handelt es sich um Simulationen typischer, beruflicher Situationen, bei denen angehenden Ärzt*innen oder Pflegekräfte in einer Rollenspielsituation mit hierfür trainierten Schauspieler*innen agieren müssen. Im Beitrag werden verschiedene Beispiele solcher performanzorientierter Lehrverfahren hinsichtlich ihrer Ziele und Struktur vorgestellt. Dabei wir häufig mit so genannten Seminarschauspieler*innen gearbeitet, die für ihre Rollen in Simulationen speziell vorbereitet werden und die insbesondere auch Feedback aus der Sicht der simulierten Patienten oder Kolleg*innen geben. Man spricht auch von standardisierten Patient*innen. Im Fokus stehen häufig, wie im Beitrag, Situationen, in denen mit Anderen kommuniziert und interagiert werden muss.

Einbettung von: Bayrischer Rundfunk, BR 2, IQ Wissenschaft und Forschung, Sendung vom 07. Oktober 2021

Solche Konzepte gibt es in der Mediziner*innenausbildung schon vergleichsweise lang und neben ihrer hohen Bedeutung für die Ausbildung, werden sie auch immer mehr als Prüfungsformat verwendet: so genannten Objective Structured Clinical Examinations (OSCE) (Harden, 1988). Mittlerweile gibt es solche Simulationen für eine Vielzahl verschiedener medizinischer Anforderungsbereiche. Zunehmend werden solche Simulationen auch für die Erfassung der Fähigkeiten von medizinischen Ausbilder*innen entwickelt, dann als Objective Structured Teaching Examinations (OSTE) (siehe z.B. Fakhouri & Nunes, 2019).

Simulationen für das Lehramt

Zentrales Ziel unserer Nachwuchsforschungsgruppe ist es, derartige Verfahren auch für die Lehramtsausbildung zu entwickeln und zu erproben (vgl. Vogelsang et al., 2019). Kommunikation und Interaktion sind Bestandteil der meisten (nicht alle) Anforderungen bzw. Aufgaben im Lehrer*innenberuf. Dabei konzentrieren wir uns auf die Entwicklung von Simulationsprototypen für Lehramtsstudierende im Fach Englisch und für bildungswissenschaftliche Anforderungen. Zusätzlich werden bestehende Arbeiten für das Lehramt mit Fach Physik hin zu einem (hoffentlich) funktionierenden OSTE-Prototypen weitergeführt. Dies erfordert natürlich einiges an Entwicklungsarbeit und begleitende Forschung zur Validierung, aus der wir hier auch immer mal wieder berichten werden.

Insgesamt sehen wir in performanzorientierten Lehr- und Prüfungsverfahren ein großes Potential für die Weiterentwicklung der Lehramtsausbildung, Auch an anderen Stellen bietet die Medizinausbildung weitere Anregungen für das Lehramt. Das werden wir ebenfalls in zukünftigen Blogbeiträgen immer mal wieder thematisieren. An dieser Stelle bleibt allerdings nur noch, eine absolute Hörempfehlung für den Beitrag auszusprechen.

Literatur:

  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
  • Harden, M. (1988) What is an OSCE?, Medical Teacher, 10:1, 19-22, (Online)
  • Vogelsang, C., Borowski, A., Kulgemeyer, C., Riese, J., Reinhold, P., Schecker, H., Buschhüter, D., Enkrott, P., Kempin, M. & Schröder (2019). Performance-Oriented  Testing  and  Training  in  Teacher  Education.  In C. Lautenbach, J. Fischer, O. Zlatkin-Troitschanskaia, H.A. Pant, & M. Toepper (Hrsg.), Student Learning Outcomes Assessment in Higher Education – Perspectives, Concepts and Approaches for Research, Transfer and Implementation (KoKoHs Working Papers, 12) (S. 40-43). Berlin & Mainz: Humboldt Universität & Johannes Guttenberg Universität. (Online)

Besuch auf der digiGEBF 2021 – Thementagung Digitalisierung im Bildungsbereich

Bildnachweis: © GEBF, Universität Tübingen

Nachdem Thomas vor kurzem schon über unsere Teilnahme auf dem Kongress der DGFF 2021 berichtet hat (und zwar hier), möchte ich noch von einer weiteren Konferenz berichten. In ihrenm digitalen Konferenzjahr veranstaltete die Gesellschaft für Empirische Bildungsforschung (GEBF) am 22. September 2021 die Thementagung Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen. Sie fand ebenfalls online statt, wurde aber ausgerichtet von einem Team der Universtität Tübingen um Prof. Dr. Andreas Lachner. Für uns als Nachwuchsforschungsgruppe war natürlich besonders das Symposium Gestaltungsmerkmale digitaler simulationsbasierter Lernumgebungen in der Lehrerbildung interessant, in dem insbesondere mehrere Vorträge von Kolleg*innen der DFG-Forschergruppe COSIMA der LMU und TU München.

Bildnachweis: © Forschergruppe COSIMA, LMU München

Unter anderem berichtete Stephanie Kron in ihrem Vortrag über einen Performanztest, in dem Lehramtsstudierende mit Fach Mathematik in simulierten Gesprächen mit einer*m Schüler*in aktuellen Lernstand und Schwierigkeiten diagnostizieren müssen und anschließend weitere Lernschritte planen bzw. empfehlen müssen. Sie untersuchte. inwiefern sich das Erleben von Authentizität, Immersion und externer kognitiver Belastung der Studierenden dabei unterschied, je nachdem ob sie mit trainierten (allerdings erwachsenen) Schauspieler*innen dialogische Videogespräche oder ob sie ein geskriptetes Onlinegespräch führen mussten, bei denen ihnen Audioaufnahmen und Standbilder von Schüler*innen vorgelegt wurden. Bei mehrmaligen Durchgängen unterschieden sich die beiden Präsentationsformate allerdings nicht wesentlich, wobei es sehr schade ist, dass aufgrund der Corona-Pandemie keine simulierten Gespräch in Präsenz durchgeführt werden konnten.

Michael Nickl untersuchte in seinem Vortrag, ob sich die Leistung von Studierenden mit unterschiedlichen Profilen in kognitiven und motivationalen Voraussetzungen im einem videobasierten Performanztest unterschieden, in dem diese Videosequenzen mit mehreren Schüler*innen betrachtet haben, die mathematische Aufgaben lösen sollen. die Aufgabe der angehenden Lehrkräfte war es dabei Lernstände und Schwierigkeiten zu diagnostieren, Notizen zu jeder*m abgebildeten Lernenden zu machen und davon ausgehend weitere Vorgehensweisen im Lernprozess vorzuschlagen. Er konnte dabei drei Voraussetzungsprofile identifizieren (motiviert, wissend, benachteiligt). Dabei ergaben sich bzgl. der Performanz bei der Diagnose nur signifikante Unterschiede zwischen den Profilen Wissend und Benachteiligt und das auch nur bzgl. der Anzahl bearbeiteter Videos und der Urteilsgenauigkeit.

Wir werden im Blog noch häufiger über die Arbeiten der Forschergruppe COSIMA berichten. Insofern ist dies ein guter erster Einblick. Es lohnt sich auch ein Besuch auf ihrer Website.

Vorträge:

  • Kron, S., Sommerhoff, D., Achtner, M., Wecker, C., Siebeck, M., Stürmer, K., & Ufer, S. (2021). Simulationsbasierte Online-Lernumgebungen in der Lehramtsausbildung: Einfluss des Präsentationsformats auf die Entwicklung von Authentizität, Immersion und kognitiver Belastung. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.
  • Nickl, M., Sommerhoff, D., Codreanu, El., Ufer, S., & Seidel, T. (2021). Lernvoraussetzungs-Profile in video-basierten Simulationsumgebungen. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.