Archiv für den Monat: Juni 2023

1 Jahr danach – Datenerhebungsphase (vorläufig) abgeschlossen

Am 27.06.2022 fanden unsere ersten Simulationen mit Studierenden in der Pilotierungsphase unserer Datenerhebung statt. Ziemlich genau ein Jahr später ist diese Phase nun vorläufig abgeschlossen. Nach 61 Simulationen in Englisch (10 in der Pilotierung und 51 in der Haupterhebung) und 72 in Bildungswissenschaften (9 in der Pilotierung in 63 in der Haupterhebung), haben wir die Haupterhebungsphase des Projekts (vorläufig) beendet. Nachdem wir euch schon einen Einblick in den Alltag unserer Simulationen gegeben haben, ist nun ein guter Punkt, um zurückzublicken und das letzte Jahr ein bisschen Revue passieren zu lassen!

Am Anfang stand die Frage…

„Du studierst Englisch oder ein anderes Fach auf Lehramt?“. Mit diesem Flyer (siehe unten) machten wir uns auf die Suche nach Studierenden, die an unseren Simulationen teilnehmen wollten. Wir reisten durch die Universität, um Poster aufzuhängen, machten Werbung in Vorlesungen und Seminaren, verteilten Flyer in der Mensa, teilten Posts auf Facebook und Instagram. Die Nachricht verbreitete sich anfangs allerdings eher schleppend, und nicht selten fragten wir uns, ob wir das Ziel von 50 Teilnehmenden pro Teilprojekt in der Haupterhebung überhaupt erreichen können. Doch mühsam ernährt sich das Eichhörnchen und nach und nach erreichten uns mehr und mehr Anmeldungen.

(c) Universität Paderborn, Johannes Pauly; Thomas Janzen

Eat, Sim, Sleep, Repeat

Von nun an hieß es montags und dienstags: Simulieren! In der Pilotierungsphase betrug die Dauer der Teilnahme noch drei Stunden, sodass wir jeweils am Tag bis zu zwei Simulationen anbieten konnten. Durch ein abgestimmtes System und drei verfügbaren Räumen, war es uns möglich, in beiden Projekten parallel zu erheben. In der Haupterhebung haben wir, durch einen stärkeren Fokus, die Teilnahmezeit auf etwa zweieinhalb Stunden verkürzen und somit bis zu 16 Termine in der Woche anbieten können.

„Casting is 85 to 90 percent of the picture for me”- Martin Scorsese

Was Scorsese sagt, trifft auch für unsere Simulationen zu. Ohne kompetente Schauspieler*innen ist es nahezu unmöglich, Daten mit der Qualität zu erheben, die für die Entwicklung und Validierung performanzorientierter Prüfungsformate notwendig sind. Möglich gemacht wurde das Ganze durch unsere Schauspielerinnen Elena, Hannah und Jasmin. Sie haben in den Simulationen von morgens bis abends die Rollen von Mia, Alex und Christina eingenommen. Um in den Situationen möglichst authentisch und standardisiert zu agieren, absolvierten sie ein mehrwöchiges Training und diverse Testdurchläufe mit Kolleg*innen des PLAZ und der Englischdidaktik Paderborn. Ab der Pilotierung lief es dann so gut wie von selbst: Es war auf einmal ganz natürlich erst eine unsichere 9. Klässlerin zu mimen und keine 20 Minuten später als Elternteil nicht ganz zu verstehen, warum man zum Elternsprechtag kommen muss. Den Einsatz und die Flexibilität unserer drei Schauspielerinnen können wir nicht genug honorieren!

Unser Simulationsteam (v.l.): Philipp Wotschel, Thomas Janzen, Jasmin Heinrichs, Elena Seifert und Hannah Grummel (c) Philipp Wotschel

Bridge over troubled water

Zum Forschungsalltag gehörte es auch, mit Unsicherheiten umgehen zu lernen. Termine von Studierenden wurden manchmal weit im Voraus, oftmals kurzfristig abgesagt – oder einfach kommentarlos ausfallen gelassen. Vor dem Hintergrund des organisatorischen Aufwands war dies vor allem zu Stoßzeiten, mit vielen Terminanfragen, besonders ärgerlich. Manchmal gab es kleine Zweifel, ob die erhoffte Zahl an Teilnehmenden noch zu erreichen ist.

Doch von nichts kommt nichts und zum Glück hatten wir auch viel Unterstützung von Kolleg*innen: Das gesamte Team der Englischdidaktik Paderborn hat es uns ermöglicht in Vorlesungen und Seminaren mehrfach Werbung für unser Projekt zu machen – unser Dank geht hier insbesondere an Dominik Rumlich und Katharina von Elbwart, sowie Peter Hohwiller, Maike Bauer, Julie Intveen, Jeanette Böttcher, Dagmar Keatinge, Heike Niesen und Benedikt Wagner. Das PLAZ Kommunikationsteam um Björn Herdeegen und Angelina Berisha sowie die Fachschaft Lehramt haben durch ihre Werbung auf Facebook und Instagram viel Aufmerksamkeit für unser Projekt geschaffen. Durch die Hilfe von Frauke Matz, Jens Folkerts und der gesamten Münsteraner Englischdidaktik konnten wir auch an der Universität Münster Studierende für unsere Erhebung gewinnen und unsere Simulationen vor Ort durchführen. Vielen, vielen Dank – ihr habt alle entscheidend zum Erfolg von PERFORM-LA beigetragen.

Selbstverständlich gilt unser größter Dank den Studierenden, die an unserer Studie teilgenommen haben. Ohne die Bereitschaft und das Vertrauen alles Teilnehmenden wäre die Umsetzung des Projekts nicht möglich gewesen.

Letztendlich haben wir es geschafft, genug Teilnehmende zu erreichen und können nun zufrieden mit den von uns erhobenen Daten in die nächste Projektphase gehen.

Cold hard facts

Was ist denn nun der Ertrag unserer Erhebung in ein paar konkreten Zahlen?

  • Insgesamt durchgeführte Simulationen: 123
  • Speichermenge der Aufnahmen (Videos + Audios der Interviews): ca. 200 GB
  • Laufzeit des Videomaterials: Über 1000 Minuten

What‘s next?

Der Ball liegt nun wieder in unserem Feld. Unser Ziel ist es jetzt zu schauen, inwieweit sich mit rollenspiel-basierten Simulationen valide Leistungen erheben und bewerten lassen. Daher befinden wir uns aktuell in der Entwicklung eines Bewertungsinstruments für die Simulationen. Mit Hilfe der Videos können wir dann die weiteren Schritte unternehmen, wie die Validierung durch externe Kooperationspartner*innen und Expert*innen. Außerdem dienen sie uns als Ankerbeispiele, um bestimmte Handlungsoptionen zu kategorisieren und einzuordnen.

Quellen:

  • Scorsese, M. https://www.masterclass.com/classes/martin-scorsese-teaches-filmmaking/chapters/casting-actors.

Kurzzusammenfassung: „Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht“

Das erste Paper im Kontext unserer Nachwuchsgruppe ist nun open access verfügbar! In dem Artikel gehen wir der Frage nach, wie Lehramtsstudierende rollenspielbasierte Simulationen wahrnehmen. In dieser Kurzzusammenfassung geben wir euch einen kurzen Überblick über die wichtigsten Aspekte. Tiefergehende Informationen z.B. zur Theorie und Methodik findet ihr im Artikel selbst. Hier kommt ihr direkt zum Artikel in der Zeitschrift die hochschullehre.

Was sind Kontext und Ziele der Studie?

Oft wird kritisiert, dass das Lehramtsstudium einen zu geringen Bezug zur späteren Berufspraxis habe (vgl. Cramer, 2014). Wie wir auf diesem Blog auch schon oft angesprochen haben, könnten rollenspielbasierte Simulationen eine Möglichkeit sein, handlungsnahe Kompetenzen, die relevant für die spätere Berufspraxis sind, schon in der Hochschule zu üben und insbesondere zu prüfen. Um einen ersten Eindruck davon zu gewinnen, wie Studierende als prospektive Testpersonen solche Formate wahrnehmen, haben wir einen Teil davon befragt.

Unsere Forschungsfragen waren:

  • Inwiefern haben Lehramtsstudierende im Laufe ihres Studiums Erfahrungen mit Rollenspielen (oder ähnlichen Simulationen) als Prüfungs- und/oder Übungsformat gemacht?
  • Wie beurteilen Lehramtsstudierende Rollenspiele (oder ähnliche Simulationen) als Prüfungsformat im Lehramtsstudium?

Wie sind wir vorgegangen?

In einer standardisierten Online-Umfrage haben wir N = 620 Lehramtsstudierende aus dem Master of Education an der Universität Paderborn befragt. In dem Fragebogen gab es sowohl offene Fragen, als auch geschlossene Fragen. Die offenen Fragen haben wir inhaltsanalytisch (Kuckartz, 2016), die geschlossenen Fragen zunächst deskriptiv ausgewertet und im Anschluss durch Faktorenanalyse zu Skalen (Authentizität, Fairness, Transparenz) zusammengefasst.

Was sind die wichtigsten Ergebnisse?

  • Ein Großteil der Studierenden (71,8%) hat noch keinerlei Erfahrungen mit Rollenspielen oder anderen simulationsbasierten Formaten, egal ob als Übung oder Prüfung.
  • 85,8% der Studierenden gaben an, keine Erfahrungen mit Rollenspielen als Prüfungsformat zu haben.
  • 8,5% der Studierenden haben Erfahrungen mit Rollenspielen als unbenotete Prüfung, 0,5% (n=3) als benotete Prüfung.
  • Studierende, unabhängig ob mit oder ohne Erfahrung, sehen in Rollenspielen einen hohen Grad an Authentizität, sind aber eher skeptisch was Transparenz und Fairness angeht.
  • Positiv wurde von den Studierenden herausgestellt, dass Rollenspiele einen hohen Bezug zur Berufspraxis aufzeigen würden. Kritisch wurde aber betrachtet, ob so ein Format es wirklich erlaube zu zeigen, was man könne und ob dies objektiv bewertbar sei.

Wie sind die Ergebnisse zu betrachten?

Studierende im Lehramt der Universität Paderborn haben bisher wenig Berührungspunkte mit rollenspielbasierten Simulationen, obwohl andere Professionen, wie die Medizin, diese schon länger einsetzen.

Erkennbar ist, dass Studierenden das Format als authentisch für den späteren Beruf einschätzen, aber auch, dass es für sie wichtig ist, dass die Bewertungsmaßstäbe transparent und möglichst objektiv sind. Wir vermuten, dass es hier, trotz Erklärungen im Fragebogen, aber auch zu Missverständnissen gekommen sein könnte, was das Format des Rollenspiels angeht, und diese nicht mit dem Grad der Standardisierung assoziiert wurden, wie es in simulationsorientierten Prüfungen üblich ist. Den aktuellen Arbeiten in den Projekten von Philipp und Thomas, in denen sie sich mit Bewertungsmöglichkeiten von rollenspielbasierten Simulationen auseinandersetzen, kommt also auch aus Studierendensicht eine zentrale Relevanz zu.

Einschränkend möchten wir erwähnen, dass die Befragung nur an einer Universität statt. Letztendlich gibt uns diese Studie aber erste Indizien darauf, was Studierende mit Rollenspielen im Lehramt verbinden und welche Einstellungen Sie bezüglich des Einsatzes dieser als Prüfung haben.

Interesse geweckt? Die umfassende Darstellung des Vorgehens und der Ergebnisse sind im Artikel zusammengefasst und open-access abrufbar. Wir freuen uns über Nachfragen, Anmerkungen und weitere, anregende Ideen!

Literatur:

  • Cramer, C. (2014). Theorie und Praxis in der Lehrerbildung. Bestimmung des Verhältnisses durch Synthese von theoretischen Zugängen, empirischen Befunden und Realisierungsformen. DDS – Die Deutsche Schule, 106(4), 344–357. (Link)
  • Kuckartz, U. (2016). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. Beltz.
  • Meier, J., Janzen, T., Wotschel, P. & Vogelsang, C. (2023). Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht. die hochschullehre, Jahrgang 9/2023. (Link)