Das PERFORM-LA-Team ist gut in das neue Jahr gestartet und konnte sich mittlerweile auch vom Reisemarathon des vergangenen Jahres erholen. Das heißt natürlich nicht, dass es bei uns keine interessanten Entwicklungen gäbe, von denen wir berichten möchten – im Gegenteil:
Ein neuer Performanztest! – Nein, eigentlich sieben…
Nachdem im Sommer 2023 bereits die Haupterhebungen für Thomas’ Performanztest für das Unterrichtsfach Englisch und Philipps Performanztest für den bildungswissenschaftlichen Bereich stattfanden, konnten wir in dieser Woche nun auch endlich den OSTE (Objective Structured Teaching Examination) für das Unterrichtsfach Physik pilotieren. Der OSTE besteht Im Gegensatz zu den Performanztests in den Fächern Englisch und Bildungswissenschaften aus insgesamt sieben einzelnen Prüfungsstationen, die innerhalb eines ca. 2,5-stündigen Prüfungsparcours durchlaufen werden – ganz ähnlich einem OSCE in der medizinischen Ausbildung, den wir uns bereits in Aktion am KISS in Köln ansehen durften. Einige der Prüfungsstationen haben Jana und Lea für den OSTE komplett neu entwickelt, andere wurden basierend auf Vorarbeiten aus dem Projekt ProfileP+ (Kulgemeyer et al., 2021; Schröder et al., 2020; Vogelsang et al., 2019; Kulgemeyer & Tomczyszyn, 2015) und der Dissertation von Markus Feser (Feser, 2019) sowie auch Philipps Test zur Beratungskompetenz weiterentwickelt. Die Prüfungsstationen richten sich an Lehramtsstudierende mit dem Unterrichtsfach Physik und orientieren sich an den vier Kompetenzbereichen Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2022). Dabei sind einige der Stationen eher fachspezifisch (Unterrichtsplanung, Erklären physikalischer Phänomene, Reflexion von Physikunterricht, Beurteilen von Schüler*innentexten) und einige eher fächerübergreifend (Beratung, Konfliktlösung, Unterrichtsentwicklung). Im Gegensatz zu Thomas‘ und Philipps Performanztests dauern die einzelnen Stationen des OSTE nur etwa 15-20 Minuten, um die Gesamtzeit des Prüfungsparcours im Rahmen zu halten. Neu beim OSTE ist außerdem, dass nicht alle der Stationen rollenspielbasiert sind, sondern auch ausschließlich schriftliche Materialien beinhalten oder aus simulierten Videokonferenzen bestehen.
Dennoch sind auch im OSTE drei rollenspielbasierte Stationen enthalten, in denen unsere studentischen Hilfskräfte wieder mit ihrem schauspielerischen Talent glänzen konnten. Glücklicherweise bekamen wir im Dezember Unterstützung von Ella, Eike und Carlo, die nun mit Jasmin und Elena das Hilfskraft-Team im Forschungsbereich des PLAZ bilden. So startete vor Weihnachten das Schauspieltraining für die rollenspielbasierten OSTE-Stationen. Für unsere Hilfskräfte hieß das: Rollenbeschreibungen lernen, Verbal Trigger verinnerlichen und natürlich: Viel üben! In unterschiedlichsten Konstellationen und mit Unterstützung des gesamten Teams wurden die Gesprächssimulationen geprobt, bis sich alle bereit gefühlt haben für die Pilotierung mit Lehramtsstudierenden. Neben der Entwicklung der Prüfungsstationen und dem Schauspieltraining spielte auch die Logistik eine wesentliche Rolle bei den Vorbereitungen der Pilotierung: die Lehramtsstudierenden sollten parallel und möglichst ohne Leerlauf die sieben Stationen durchlaufen. Geeignete Räumlichkeiten wurden organisiert, Ablaufpläne erstellt und eine Menge Material zur Bearbeitung und Evaluation der Stationen vorbereitet. Am 29. Januar war es dann endlich so weit, und erst einmal vier Lehramtsstudierende des Unterrichtsfachs Physik stellten sich den sieben OSTE-Stationen. Wie schon bei den bereits entwickelten Performanztests haben wir auch bei der Pilotierung des OSTE Kameras an den rollenspielbasierten Stationen aufgestellt, um die simulierten Gespräche zu videografieren. An den anderen Stationen haben wir den Arbeitsprozess der Lehramtsstudierenden per Bildschirmaufzeichnung dokumentiert und ihre schriftlichen Notizen und Ergebnisse festgehalten.
Die erste Hürde ist geschafft!
Die Studierenden füllten außerdem nach der Bearbeitung jeder einzelnen Station einen Kurzfragebogen aus, in dem sie die Authentizität und Immersion der Stationen bewerteten. So sind zahlreiche Aufzeichnungen und Beurteilungen des Prüfungsparcours entstanden, die in einem nächsten Schritt gesichtet und ausgewertet werden, um den OSTE für unseren nächsten geplanten Testdurchlauf im Sommersemester 2024 auf dieser Grundlage weiterzuentwickeln. Obwohl wir im Vorhinein noch etwas skeptisch waren, was den reibungslosen Ablauf der Pilotierung angeht, können wir nun ein positives Fazit ziehen: Die Studierenden konnten alle Stationen im Zeitrahmen bearbeiten, und unsere Hilfskräfte haben nicht nur schauspielerische Höchstleistungen erbracht, sondern durch ihre Unterstützung auch für einen reibungslosen Ablauf am Pilotierungstag gesorgt. Wir sind gespannt, was die Auswertung der Dokumente und Aufzeichnungen ergibt und wie sich der OSTE bis zum nächsten Testlauf weiterentwickeln wird.
Literatur:
Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., Kempin, M., Kulgemeyer, C., … & Schröder, J. (2019). Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik. Analysen zu valider Testwertinterpretation. Zeitschrift für Pädagogik, 65(4), 473-491. (Online)
Am 23. Mai 2023 fand der 11. Tag der der Lehre an der Universität Paderborn nach längerer pandemiebedingter Unterbrechung wieder in Präsenz statt. Der Tag der Lehre bietet Lehrenden und Studierenden aller Fakultäten die Möglichkeit, über Fragen der Lehre an der Hochschule in den Austausch zu treten. Dabei werden innovative Lehr-Lern-Formate vorgestellt, sowie hochschuldidaktische Entwicklungen und Möglichkeiten zur Verbesserungen bestehender Lehre diskutiert. Dieses Jahr stand der Tag der Lehre unter dem Leitthema „Teaching to the Test?“ – Prüfungs- und Studienleistungen sinnvoll gestalten. Da dies genau unser Forschungsthema ist, war es naheliegend, dass auch wir als Nachwuchsforschungsgruppe unsere Arbeit vorstellen. Aber der Reihe nach ;).
Den Auftakt bildete eine spannende Online-Keynote von Prof. Dr. Doris Weßels von der Fachhochshule Kiel, die einen Überblick in die Funktionsweise und den aktuellen Stand der Technik von Large Language Models wie ChatGPT gab und wie diese auch schon in weiterer Software für den Bildungsbereich, insbesondere an Hochschulen, genutzt werden (z.B. als Assistenzsysteme zum Schreiben von Abschlussarbeiten). Dabei reflektierte sie auch, welche Veränderungen sich insbesondere für Prüfungen an der Hochschule ergeben können bzw. sollten. Diese Frage wurde in der anschließenden Podiumsdiskussion weiter vertieft (z.B. bis hin zu der Frage, ob der Umgang mit derartigen Assistenzsystemen nicht Gegenstand von Lehre und Prüfungen sein sollte).
Danach wurden in verschiedenen Formaten innovative Lehrprojekte der Universität Paderborn vorgestellt bzw. die Teilnehmenden konnten sich in Workshops weiterbilden. Bspw. stellten Isabel Elsner und Franziska Pilz im Themenforum ihr preisgekröntes kollaboratives Seminarkonzept für das Lehramtsstudium im Fach Geschichte vor, in dem Studierende aufbauend auf geschichtsdidaktischen Ansätzen unterrichtspraktische Vorschläge erarbeitet haben. Auf diese erhielten sie dann peer review-artiges Feedback durch ihre Kommiliton*innen. Im Themenforum stellte auch Christoph den Ansatz des simulationsbasierten Prüfens für das Lehramtsstudium vor. Wie im Call zu Veranstaltung gewünscht im Format eines TED Talks. Es waren daher viele Folien mit weißer Schrift auf schwarzem Hintergrund ;).
Bildnachweis: (c) Thomas Janzen
Im Disqspace am späten Nachmittag stellte Philipp einen unserer Performanztests noch einmal ausführlicher vor und die Teilnehmenden konnten ihn auch direkt selbst testen (Danke an unsere Schauspielerinnen Jasmin, Hannah und Elena!). Das haben erfreulicherweise auch einige Personen gewagt. Daraus ergaben sich interessante Gespräche, vor allem zur Übertragbarkeit des Konzepts in andere Studiengänge. Wir hoffen, dass wir einige Teilnehmende anregen konnten, evtl. selbst performanzorientierte Prüfungsverfahren zu entwickeln.
Insgesamt war es eine abwechslungsreiche und spannende Veranstaltung. Vielen Dank an das Team der Stabstelle Bildungsinnovation und Hochschuldidaktik für die gelungene Organisation (mit – wichtig! – ausreichend Kaffee und Snacks ;)).
Vorträge:
Elsner, I., & Pilz, F. (2023, 23. Mai). Geschichtsdidaktische Theorie-Praxis-Transfers am Beispiel des Medienwandels in historischer Perspektive. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
Vogelsang, C. (2023, 23. Mai). Assessment drives learning – Simulationsbasiertes Prüfen im Lehramtsstudium. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
Wotschel, P., Janzen, T., Vogelsang, C., & Meier, J. (2023, 23. Mai). Von Feedback bis Beratung – Prüfen handlungsnaher Kompetenzen im Lehramtsstudium in standardisierten Gesprächssimulationen. Beitrag im Disqspace „Innovative Lehrprojekte an der Universität Paderborn“ auf dem 11. Tag der Lehre 2023. Universität Paderborn.
Weßels, D. (2023, 23. Mai). Künstliche Intelligenz trifft auf Hochschullehre: Potenziale und Herausforderungen von ChatGPT &Co. für die Zukunft von Lehren und Lernen. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
Drei Jahre hat es gedauert, bis die GEBF-Tagung wieder in Präsenz stattfinden konnte. Passend zum 10. Jubiläum lud die Gesellschaft für Empirische Bildungsforschung vom 28. Februar bis 02. März 2023 unter dem Motto „Bildung zwischen Unsicherheit und Evidenz“ zum wissenschaftlichen Austausch ein. Wir waren als Projektteam auch dabei und möchten (wie im letzten Jahr) einige Einblicke in unsere Erlebnisse schildern:
Wie schon im vergangenen Jahr auf der Nachwuchstagung erhielt Philipp in diesem Jahr auf der Haupttagung die Möglichkeit, einen Vortrag über die Pilotierung seines Performanztests für das bildungswissenschaftliche Lehramtsstudium (zur Erfassung von Beratungskompetenz) zu halten und zu diskutieren. Das Thema Performanztests und Simulationen befand sich auf der GEBF in „guter Gesellschaft“, weshalb Philipp vor allem das Symposium „Simulationsbasiertes Lernen an der Hochschule – neue Erkenntnisse aus experimentellen und metaanalytischen Studien“ begeisterte. Die vier Vorträge fokussierten die Rolle von Simulationen in der Hochschulbildung im Medizin- und Lehrkräftebereich und konnten veranschaulichen, wie gut Simulationen auch in der Lehrkräftebildung eingesetzt werden können. Zunächst präsentierte Constanze Richters eine Studie, in der die Frage untersucht wurde, ob bzw. inwiefern strukturierte Reflexion und Kollaborationsskripts den Erwerb kollaborativer Diagnosefähigkeiten in einer medizinischen Simulation unter Berücksichtigung des Vorwissens der Lernenden verbessern können. Danach folgte unter dem Titel „Lernen mit Simulationen: Eine Metaanalyse zur Adaptivität von instruktionaler Unterstützung“ ein Vortrag von Olga Chernikova, die sich in ihrer Metastudie der Umsetzung und den Voraussetzungen von Adaptivitätsstrategien von Simulationen widmet. Den Dritten Vortrag hielt Stephanie Kron. Sie berichtet von ihrer Untersuchung zur Spezifität bzw. Sensitivität von Diagnosen Mathematiklehramtsstudierender in einer simulationsbasierten Lernumgebung. Im letzten Vortrag zur „Förderung von Reanimationsskills durch simulationsbasiertes Lernen: Welche Vorteile bringt der Einsatz von first-person-view-Videos im Debriefing?“ präsentierte Martin Gartmeier die Ergebnisse seiner Forschung zu der Frage, inwieweit Videos aus der first-person-Perspektive zu Veränderungen im Debriefing und zu verbessertem Lernerfolg beitragen können.
Jana und Christoph haben auf der diesjährigen GEBF-Tagung bei dem Symposium „‚Bedrohung‘ der Testwertinterpretation durch Testmotivation? – Fragen der Validität in der Kompetenzforschung“ mitgewirkt, welches von Daniel Scholl und Christina Watson organisiert wurde. Insbesondere die Diskussion und der Austausch mit den Teilnehmenden des Symposiums waren eines der Highlights von Jana. Darüber hinaus war auch das Symposium „Simulationsbasiertes Lernen und Messen in der Mediziner:innen und Lehrer:innenausbildung“ mit Ann-Kathrin Schindler bzw. Tina Seidel als stellvertretende Chair spannend. Die zwei Beiträge, die sich auf die Lehramtsausbildung bezogen, wurden von Michael Nickl aus der COSIMA-Gruppe und von Florentine Hickethier von der Universität Jena vorgestellt. Nickl et al. konnten in ihren Analysen (zur Erfassung der Diagnosekompetenzen angehender Lehrkräfte mit Hilfe einer videobasierten Simulation) Profile von kognitiven und motivationalen Charakteristika der Diagnostizierenden identifizieren, die sich auf die Qualität des Diagnoseprozesses und die Urteilsakkuratheit auswirken. Hickethier et al. haben die Nützlichkeitsüberzeugungen und die Technologieakzeptanz von Lehramtsstudierenden aus verschiedenen Ländern hinsichtlich einer Virtual Reality Umgebung für Schüler*innen erfasst und konnten Veränderungen durch das eigene Erleben der VR-Umgebung aufzeigen (v.a. eine höhere Intention, VR auch in der eigenen Berufspraxis anzuwenden). VR war generell ein großes Thema auf der diesjährigen GEBF-Tagung – ähnlich wie das Thema ChatGPT. So beschäftigte sich bspw. das Symposium „Unterrichtserleben in Virtual Reality als Chance für die Lehrkräftebildung“ mit virtuellen Unterrichtssimulationen in VR-Umgebungen. Interessant war hier, dass im Vergleich zur Arbeit mit traditionellen Unterrichtsvideos keine empirisch signifikanten Effekte für den VR-Einsatz gefunden werden konnten (mit Bezug auf die professionelle Unterrichtswahrnehmung und Reflexionsfähigkeiten angehender Lehrkräfte).
Neben den vielen Einzelbeiträgen und Symposien waren die Keynotes der diesjährigen GEBF-Tagung weitere Highlights für Jana. Im Vortrag von Prof. Dr. Gerd Gigerenzer ging es bspw. um die Risikokompetenz und um Bildung im digitalen Zeitalter – mit der klaren Message, dass auch wir Menschen smarter werden müssen, wenn um uns herum alles smarter wird ;-). In der Keynote von Prof. Dr. Monika Waldis ging es um die hohe Bedeutung gesellschaftswissenschaftlichen Wissens insbesondere in Zeiten der Krise und in Zeiten, in denen die Demokratie weltweit unter Druck steht. Prof. Dr. Waldis sieht eine besondere Chance zur Förderung der Demokratiekompetenz (mit der Leitidee der Urteilsfindung und Fähigkeiten des Perspektivwechsels und der Empathie) in Argumentations- und Debattiertrainings als didaktische Interventionen für Schüler*innen.
Christoph lieferte in diesem Jahr zusammen mit Pascal Pollmeier und Tim Rogge einen Beitrag zum Symposium „Eigenvideografie als Professionalisierungstool für Lehramtsstudierende im Praxissemester“, das von Verena Zucker organisiert wurde. Zusammen mit Nicola Meschede berichtete sie von einer Untersuchung zur Frage, welche persönlichen Merkmale Lehramtsstudierender (z.B. Misserfolgserwartung) und Bedingungsfaktoren (z.B. zeitliche Belastung) die Bereitschaft Eigenvideografien im Praxissemester durchzuführen beeinflussen. Dies war insofern interessant, dass es auch die Frage berührt, die wir (also, Pascal, Tim und Christoph) auch in unserer Interviewstudie untersucht haben. Auch die beiden weiteren Vorträge von Robin Junker (in Vertretung für Christina Gippert) und Verena Oestermann berichteten interessante Erkenntnisse zur Wirksamkeit von Eigenvideografiearbeit zur Förderung der professionellen Unterrichtswahrnehmung von Lehramtsstudierenden. Es war also insgesamt ein rundum gelungenes Symposium. An dieser Stelle daher noch einmal ein herzlicher Dank an Verena als Organisatorin! Ein weiteres Vortragshighlight aus Christophs Sicht war der Vortrag von Șeyma Gülen, die unter dem Titel „Lehramtsstudium – Vorbereitungsdienst – Lehrkräfteberuf, oder? Empirische Ana- lysen aus dem Nationalen Bildungspanel (NEPS) zum post-universitären beruflichen Verbleib von Lehramtsabsolvent*innen“ auf Basis der umfangreichen NEPS-Daten (N = 2.941 Absolvent*innen gingen in die Untersuchungen ein) Analysen dazu vornahm, wie viele Lehramtsstudierende nach einem Studienabschluss auch wirklich als Lehrkräfte arbeiten (Spoiler: In ihren Analysen sind es 79% ;)). Diese Ergebnisse kommen zur richtigen Zeit und liefern empirisch fundierte, belastbare Daten für die Diskussion um den aktuellen Lehrkräftemangel. Zwei weitere schöne Vorträge betrafen ebenfalls etwas stärker die Themen unserer Nachwuchsforschungsgruppe. Zum einen stellte Sigrid Harendza eine spannende Untersuchung dazu vor, nach welchen Kriterien aus der arbeitsplatzbasierten Beobachtung Ausbilder*innen in praktischen Ausbildungsphasen (z.B. im praktischen Jahr in der Medizinerausbildung) angehenden Ärzt*innen bestimmte Tätigkeiten anvertrauen bzw. bis zu welchem Grad (dies kann bspw. eine Tätigkeit wie das Blut Abnehmen sein). Die empirischen Daten wurden dabei in einer Simulationsumgebung gewonnen, in der umfangreich der erste Arbeitstag in einer Klinik simuliert wurde. Zum anderen berichtete Christoph Kruse unter dem Titel „Wie beurteilen Fach- und Schulleitungen angehende Lehrer:innen im Referendariat? Erkenntnisse aus einer qualitativ-rekonstruktiven Dokumentenanalyse von schriftlichen Gutachten“ von Analysen von realen Schulleitungsgutachten, die im Rahmen der zweiten Staatsprüfung in NRW angefertigt wurden. Im Zentrum stehen dabei z.B. Fragen danach, welche Kriterien Schulleitungen an die Bewertung anlegen bzw. welche impliziten Orientierungen in den Gutachten deutlich werden. Diese Prüfungsdokumente sind wenig erforscht, sie machen allerdings einen hohen Anteil der Abschlussnote des zweiten Staatsexamens aus. Insofern freut sich Christoph schon auf die weiteren Ergebnisse.
Ein weiteres Highlight war natürlich der Gesellschaftsabend, der in der Grand Hall Zollverein® veranstaltet wurde. Wie die GEBF selbst zusammenfasst ist dieser beeindruckende Ort „[…] eine moderne Eventlocation, die auf dem Gelände der ehemaligen Kokerei Zollverein des UNESCO-Welterbes Zollverein liegt. Sie wurde am 12. September 1961 als Sauger- und Kompressorenhalle in Betrieb genommen. Nach über drei Jahrzehnten wurde sie am 30. Juni 1993 stillgelegt. Die Anlage ZOLLVEREIN® Schacht XII war die größte und modernste Steinkohleförderanlage der Welt. Seit 1998 widmet sich die Stiftung Zollverein der Erhaltung und Wiedernutzbarmachung dieses Industriedenkmals.“
Wir waren auf jeden Fall nachhaltig beeindruckt und hatten viel Vergnügen 😉
Wir freuen uns, auch in diesem Jahr dabei gewesen sein zu können, bedanken uns herzlich für die zahlreichen Vorträge, Anregungen und Diskussionen und sagen bis bald!
Vorträge:
Gartmeier, M., Soellner, N., Eiberle, M., Haseneder, R., Hinzmann, D., Schulz, C., Rath, S., & Berberat, P. (2023, 01. März). Förderung von Reanimationsskills durch simulationsbasiertes Lernen: Welche Vorteile bringt der Einsatz von first-person-view-Videos im Debriefing? 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Gigerinzer, G. (2023, 28. Februar). Risikokompetenz: Bildung im digitalen Zeitalter. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Gippert, C., Junker, R., Seeger, D., & Holodynski, M. (2023, 01. März). Welche Rolle spielt die Eigenvideografie bei der Förderung der professionellen Unterrichtswahrnehmung von Klassenführung im Rahmen des Praxissemesters? 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Harendza, S., Kadmon, M., Berberat, P., Fincke, F., Gärtner, J., Schick, K. (2023, 28. Februar). Anvertrauen von Verantwortung auf Basis von Arbeitsplatz-basierten Beobachtungen. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen
Heitzmann N., Chernikova O., Stadler, M., Holzberger,D., Seidel, T., & Fischer, F. (2023, 01. März). Lernen mit Simulationen: Eine Metaanalyse zur Adaptivität von instruktionaler Unterstützung. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Hickethier, F., Dehne, M. & Gröschner, A. (2023, 28. Februar). Wie nehmen Lehramtsstudierende eine neuartige VR-Umgebung für Schüler:innen wahr? Eine Mixed-Methods-Studie zur Veränderung von Nützlichkeitsüberzeugungen. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Kron, S., Sommerhoff,D., & Ufer, S. (2023, 01. März). Entwicklung diagnostischer Kompetenz zur Dezimalbruchrechnung: Akkuratheit, Sensitivität und Spezifität von Diagnosen in einer simulationsbasierten Lernumgebung. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Kruse, C. (2023, 02. März). Wie beurteilen Fach- und Schulleitungen angehende Lehrer:innen im Referendariat? Erkenntnisse aus einer qualitativ-rekonstruktiven Dokumentenanalyse von schriftlichen Gutachten. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
Erfassung von Diagnosekompetenzen in Simulationen: Einfluss der Charakteristika des Diagnostizierenden
Nickl, M., Sommerhoff, D., Codreanu, E., Ufer, S. & Seidel, T. (2023, 28. Februar). Erfassung von Diagnosekompetenzen in Simulationen: Einfluss der Charakteristika des Diagnostizierenden. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
Oestermann, V., Weyland, U., & Koschel, W. (2023, 01. März). Zur Förderung professioneller Unterrichtswahrnehmung im Praxissemester anhand von Eigen- und Fremdvideos. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
Pollmeier, P., Vogelsang, C., & Rogge, T. (2023, 01. März). Zwischen Angst und Vorfreude – Emotionales Erleben Lehramtsstudierender bei der Arbeit mit Eigenvideografien. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
Richters, C., Stadler M., Radkowitsch, A., Schmidmaier, R., Fischer, M.R., & Fischer, F. (2023, 01. März). Förderung kollaborativer Diagnosefähigkeiten für Lernende mit unterschiedlichem Vorwissen: Effekte von strukturierter Reflexion und Kollaborationsskripts in einer agentenbasierten medizinischen Simulation. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Waldis, M. (2023, 01. März). Gesellschaftswissenschaftliches Lernen in Zeiten der Krise – Wissensordnungen und Kompetenzen revisited. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Wotschel, P. (2023, 01. März). Beratungskompetent durchs Lehramtsstudium? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
Zucker, V., Meschede, N. (2023, 01. März). Was motiviert oder hemmt Studierende, sich im Praxissemester videografieren zu lassen? Eine Untersuchung zur Bedeutung persönlicher Voraussetzungen für die Nutzung von Eigenvideografie. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
Keynote im Paul-Lechler-Saal des Tagungszentrums Hospitalhof, Bildnachweis: (c) Jana Meier
Vom 21.- 23. September 2022 fand die AEPF-Tagung unter dem Motto „Lehren und Lernen neu gedacht – Konsequenzen für das zukünftige Bildungswesen“ an der Universität Stuttgart statt. Christoph und Jana waren drei Tage vor Ort, einerseits um unsere aktuellen Arbeiten aus dem PERFORM-LA Projekt vorzustellen, andererseits um viele andere spannende Vorträge aus dem Bereich der empirischen Bildungsforschung zu hören und endlich wieder in Präsenz zu „networken“ – letzteres auch dank eines sehr gelungenen Conference Dinners 😉 .
Nachdem wir uns erfolgreich den Weg aus dem Stuttgarter Hauptbahnhof gebahnt haben (was gar nicht so einfach ist…), sind wir relativ fix am Tagungsort angekommen, der sich direkt in der Stuttgarter Innenstadt im Tagungszentrum Hospitalhof befand. Leider können wir hier im Blog nicht auf jeden Vortrag eingehen, daher kommt nun eine kleine Auswahl an Arbeiten, die einen Bezug zu unserem Projekt PERFORM-LA aufweisen.
Unsere Highlights
Ein sehr spannender Vortrag, der sich mit Simulationen beschäftigte, wurde von Leonie Telgmann und Prof. Dr. Katharina Müller (Leibniz Universität Hannover) vorgestellt. Dabei wurde bzw. wird ein standardardisierter Klassenraum mit sieben Schüler*innen simuliert, in dem die teilnehmenden Studierenden innerhalb von 20 Minuten ein kurzes Thema unterrichten sollen. Die Schüler*innen sind instruiert, bestimmtes Verhalten zu zeigen (z.B. Störungen). Ziel der Simulation ist es, die professionelle Wahrnehmungsfähigkeit der Studierenden im Bereich Klassenführung zu fördern. In einer Evaluation mit N = 52 Studierenden wurde die Authentizität der Simulation als gut bewertet und auch die selbst eingeschätzte Wahrnehmungsfähigkeit der Studierenden erhöhte sich. In zukünftigen Analysen wird das Blickverhalten in der Simulation mit Hilfe von Brillen-Eye-Trackern analysiert.
Dr. Frank Behr und Dr. Kristina Ackel-Eisnach (Universität Koblenz-Landau) hat die Ergebnisse einer bundesweiten Elternbefragung (N = 949) vorgestellt, in welcher die Erwartungen und Wünsche von Eltern an Gespräche mit Lehrkräften erfasst wurden. Der Fokus des Vortrags lag hierbei auf Beratungsgesprächen. Aus der Beratungsforschung weiß man, dass erfolgreiche Beratungsprozesse auch mit den Erwartungen der Klient*innen zusammenhängen – daher scheint ein Übertrag auf Elterngespräche nachvollziehbar. Die Ergebnisse der Elternbefragung zeigen, dass die Erwartungen der Eltern durch ihre eigenen Einstellungen gegenüber Schule und Unterricht beeinflusst werden und dass Eltern von Lehrkräften vor allem hoch ausgeprägte Gesprächsführungskompetenzen erwarten, die sich durch Kongruenz, Akzeptanz und Empathie auszeichnen. Die Wünsche der Eltern hängen mit ihren Erwartungen zusammen, insbesondere scheint die Kooperationsbereitschaft hier eine große Rolle zu spielen. Aus dem Vortrag nehmen wir für unsere Arbeit im Projekt mit, dass die Förderung von Gesprächsführungskompetenzen schon in der universitären Ausbildungsphase von Lehrkräften beginnen muss, um (u.a.) auch die Erwartungen von Eltern zu antizipieren und eine erfolgreiche Perspektivübernahme in Elterngesprächen zu realisieren. Frank Behr präsentierte zusätzlich auf einem Poster die Evaluationsergebnisse einer digitalen Lernumgebung zur Förderung von Gesprächsführungs- und Beratungskompetenzen von Lehramtsstudierenden. Kernbestandteile bilden die Analysen von Videos von Elterngesprächen von (fremden) Lehrkräften. In einer Teilgruppe wurden aber auch Videos von eigenem simuliertem Beratungshandeln der Studierenden eingesetzt. In ersten Ergebnissen konnten dabei kaum Unterschiede in den aktivierten kognitiven Prozessen bei der Reflexion fremder und eigener videografierter Elterngespräche.
Unsere Beiträge
Natürlich darf auch ein Bericht über unsere eigenen Vorträge (die leider zeitlich parallel stattfanden) nicht fehlen: Christoph berichtete über die Ergebnisse einer Untersuchung von 607 Lehramtsstudierenden, in er wir diese hinsichtlich ihrer Erfahrungen und Einschätzungen mit verschiedenen Prüfungsverfahren befragt haben. Dabei haben wir uns auf Einschätzungen zu vier Formaten fokussiert: Klausur, mündliche Prüfung, rollenspielbasierte Simulation und Unterrichtsbesuch/unterrichtspraktische Prüfung. Über diese Befragungen haben wir auch schon einmal in einem Werktstattbericht hier im Blog berichtet. Interessanterweise nahmen die von uns befragten Studierenden Unterrichtsbesuche als vergleichbar fair und transparent wie Klausuren war, was wir so im Vorfeld nicht erwartet haben. Erwartungskonform wurden Unterrichtbesuche und rollenspielbasierte Simulationen aber als authentischere Prüfungsformate für das Lehramt wahrgenommen, als Klausuren und mündliche Prüfungen. Für weitere Details verweisen wir an dieser Stelle auf die Publikation, die sich gerade noch in der Begutachung befindet. Oder fragt gerne bei uns nach 😉. In der Diskussion nach dem Vortrag wurde über die überraschenden Befunde diskutiert, wobei verschiedene mögliche Ursachen genannt wurden (z.B. zu wenig high-stakes-Erfahrungen der Studierenden mit Unterrichtsbesuchen). Generell wurde festgehalten, dass Prüfungsformate im Lehramtsstudium in weiteren empirischen Forschungsarbeiten verstärkt unter die Lupe genommen werden sollten.
Jana hat in ihrem Vortrag zu Rollenspielen als Übungs- und Prüfungsformate in der universitären Lehramtsausbildung Ergebnisse eine Onlinebefragung vorgestellt, in der die Erfahrungen und Einstellungen zu simulationsbasierten Rollenspielen von 620 Lehramtsstudierenden erfasst wurden. Um an dieser Stelle die Spannung auf die dazugehörige Publikation hoch zu halten, sei nicht zu viel verraten 😉 – ein zentrales Ergebnis ist aber, dass Lehramtsstudierende sehr verschiedene Vorstellungen von Rollenspielen haben und dass sie diese insbesondere als Übungen geeignet finden, sich eine objektive Bewertung (im Sinne eines Prüfungsformats) aber nur schwierig vorstellen können. In der anschließenden Diskussion zum Vortrag wurden mögliche Gründe hierfür aufgegriffen, z.B. die unterschiedlichen Erfahrungswerte mit Rollenspielen (auch aus der eigenen Schulzeit), die das aktuelle Verständnis und damit auch die Bewertungen von Rollenspielen als Prüfungsformat beeinflussen. Außerdem wurden hilfreiche Anregungen für die Bewertung von Rollenspielen im Studium eingebracht wie bspw. die Berücksichtigung eines Perspektivwechsels in einem Rollenspiel und es wurde ebenfalls ausgiebig diskutiert, wie Studierenden Feedback zu ihrem gezeigten Verhalten in Rollenspielen gegeben werden kann.
Dank
Wir bedanken uns auch an dieser Stelle noch einmal für das große Interesse an unseren Vorträgen und das wertvolle Feedback! Pünktlich zu Beginn der „Cannstatter Wasen“ haben wir uns dann wieder auf den (langen) Heimweg gemacht und nehmen neben dem hilfreichen Feedback auch viele neue Kontakte mit in die weitere Arbeit im Projekt und freuen uns sehr auf weiteren Austausch!
Aufbau der Cannstatter Wasen, Bildnachweis: (c) Jana Meier
Vorträge:
Behr, F. (2022). Effekte einer digitalen Lernumgebung auf die professionelle Wahrnehmung von Lehrer-Elterngesprächen. Poster auf der AEPF-Tagung 2022. Universität Stuttgart. 22.09.2022
Behr, F., & Ackel-Eisnach, K. (2022). Erwartungen und Wünsche von Eltern an Gespräche mit Lehrkräften – Eine bundesweite Elternbefragung. AEPF-Tagung 2022. Universität Stuttgart. 23.09.2022.
Meier, J., Vogelsang, C., Wotschel, P., & Janzen, T. (2022). Rollenspiele als Übungs- & Prüfungsformate in der universitären Lehramtsausbildung. AEPF-Tagung 2022. Universität Stuttgart. 22.09.2022.
Telgmann, L., & Müller, K. (2022). Uncovering preservice teachers‘ professional vision in action via standardized classroom simulations. AEPF-Tagung 2022. Universität Stuttgart. 21.09.2022.
Vogelsang, C., Meier, J., Wotschel, P., & Janzen, T. (2022). Einschätzungen Studierender zu Prüfungsformaten im Lehramtsstudium. AEPF-Tagung 2022. Universität Stuttgart. 22.09.2022.
Heute stand ein besonderes Meeting für unsere Nachwuchsforschungsgruppe auf dem Programm – das erste Treffen, in dem wir zeitgleich mit allen unseren Kooperationspartnern aus Aachen, Bergen, Bremen und Paderborn zusammengekommen sind. Im Rahmen einer virtuellen Austauschrunde haben wir die Chance bekommen, den aktuellen Arbeitsstand unseres Projekts vorzustellen und Feedback, Anregungen und Tipps von unseren Kooperationspartnern einzuholen. Drei Stunden vergingen wie im Flug!
Nach einer kurzen Kennenlernrunde haben wir das Treffen mit einem Überblick über die Ziele und die einzelnen Arbeitspakete des Projekts begonnen. Anschließend gab es von Thomas und Philipp einen Einblick in den aktuellen Stand der beiden Teilprojekte „Entwicklung eines Performanztests für das Lehramtsstudium im Fach Englisch: Feedback im Kompetenzbereich Schreiben“ sowie „Entwicklung eines Performanztests für das bildungswissenschaftliche Lehramtsstudium: Erfassung von Beratungskompetenz“. Hinsichtlich der Kategorienentwicklung gab es hierzu hilfreiche Anregungen von Christoph Kulgemeyer und Josef Riese, die auf ihre umfangreichen Vorerfahrungen zur Entwicklung von Performanztests im Projekt ProfileP+ zurückgreifen konnten. Spannende und wichtige Nachfragen kamen auch von Bardo Herzig, der ebenfalls Erfahrungen bei der Entwicklung von Testformaten, insbesondere aber auch bzgl. der Ausbildung angehender Lehrkräfte eingebracht hat. Wertvolle methodische Hinweise haben wir außerdem von Robert Kordts sowie, für das Fach Englisch, von Dominik Rumlich erhalten.
Die Expertise sowie die Interdisziplinarität unserer Kooperationspartner machen eine konstruktive Weiterentwicklung des Projekts möglich und vor allem: facettenreich. Derartige Austauschtreffen helfen auch, dass wir keinen zu starren Blick auf Details einnehmen und erlauben die Perspektiverweiterung auf einer übergeordneten Ebene. Wir bedanken uns bei unseren Kooperationspartnern für ihre wertvolle Zeit, die konstruktive Kritik sowie die vielen wertvollen Anregungen für die Weiterarbeit im Projekt.
Wir freuen uns schon sehr auf die nächsten Kooperationstreffen 🙂
Ein zentrales Ziel unserer Arbeit ist die Entwicklung performanzorientierter Prüfungsformate, also Formaten, in denen Personen möglichst handlungsnahe Anforderungen bewältigen müssen. Wir orientieren uns dabei an Konzepten der Ausbildung von Mediziner*innen (Miller, 1990). Dort werden bspw. typische Handlungsanforderungen (z.B. Anamnesegespräche) mit Schauspieler*innen simuliert (so genannte standardisierte Patient*innen) und teilweise auch zur Prüfung eingesetzt. Wir möchten das große Potential solcher Formate auch für die Lehramtsausbildung nutzbar machen. Sie könnten zum Beispiel im Master als Alternativen zu klassischen Prüfungsformaten im Praxissemester oder für Modulprüfungen verwendet werden. Damit diese aber auch in der Praxis verwendet werden können, müssen sie bestimmte Anforderungen erfüllen und natürlich auch von Studierenden akzeptiert werden.
Im Lehramtsstudium werden Studierende mit verschiedenen Prüfungsformaten konfrontiert. Uns interessiert daher insbesondere, wie performanzorientiertere Formate im Vergleich zu eher etablierten Formaten wahrgenommen und empfunden werden. In der Forschungsliteratur haben wir bisher keine empirischen Studien gefunden, aus denen für Lehramtsstudierende schon Hinweise abzulesen sind (zumindest bisher, Hinweise nehmen wir natürlich gerne entgegen). Was es aber gibt, sind Studien zur Wahrnehmung von Prüfungen in einem Studium generell. Dabei wurden Prüfungsformate aus Sicht der Studierenden hinsichtlich verschiedener Merkmale betrachtet, bspw. ob sie als fair oder auch authentisch für das Ziel des Studiums empfunden werden (z.B. Struyven, Dochy & Janssens, 2005). Prüfungsformen, die nur in der Lehramtsausbildung vorkommen, wie den benoteten Unterrichtsbesuch, wurden dabei bisher kaum betrachtet.
Aus diesem Grund haben wir eine eigene kleine Befragung initiiert und mit Hilfe von Likert-Items bei denen Studierende den Grad ihrer Zustimmung zu Aussagen angeben müssen, Einschätzungen zu verschiedenen Prüfungsformaten in den Dimensionen Fairness, Authentizität/Relevanz und Transparenz eingeholt. Hierzu haben wir N = 626 Lehramtsstudierende im Masterstudium rund ums Praxissemester befragt. Das Praxissemester ist dabei ein interessanter Kontext, weil es in NRW ja als bewertungsfreier Rahmen definiert wurde, viele Studierende sich aber dennoch auch eine Bewertung schulpraktischer Leistungen wünschen. Wir haben dabei die eher klassischen Formate Klausuren und mündliche Prüfungen sowie die eher performanznahen Formate Unterrichtsbesuch und – für unsere Ziele besonders interessant – Rollenspiele als Prüfungsformat betrachtet.
(c) eigene Darstellung, PERFORM-LA
Wir sind gerade mitten in der Datenauswertung. Um zumindest schon einmal einen ersten kleinen Einblick zu geben, sind in der Abbildung die Verteilungen der Antworten der Befragten auf das Item „… können grundsätzlich objektiv und nachvollziehbar bewertet werden“, jeweils unterschieden für die vier Prüfungsformate dargestellt. Es geht also um eine grundsätzliche Einschätzung, ob eine faire Bewertung an sich möglich ist (was im konkreten Fall natürlich davon abhängt, wie eine Prüfung genau ausgestaltet wird). Deutlich wird, dass mündliche Prüfungen und Rollenspiele von der Mehrheit der Studierenden als weniger objektiv bewertbar eingeschätzt werden (jeweils über 60%, die der Aussage nicht zu stimmen, erste drei Kategorien). Uns selbst hat überrascht, dass der Unterrichtsbesuch, dessen Bewertung von vielen Referendar*innen im Vorbereitungsdienst eher als instransparent angesehen wird, zumindest bei den Befragten hinsichtlich der Beurteilbarkeit ähnlich wie Klausuren eingeschätzt wird.
Wir möchten allen Studierenden, die unsere Items bzw. Fragen beantwortet haben, herzlich danken. Vielen Dank für ihre Unterstützung, das hilft uns sehr in unserer Arbeit.
Literatur
Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine, 65(9), S63-7. (Online)
Struyven, K., Dochy, F., & Janssens, S. (2005). Students’ perceptions about evaluation and assessment in higher education: A review. Assessment & Evaluation in Higher Education, 30(4), 325-341. (Online)
