Schlagwort-Archive: Performanztest

OSTE-Tour – Sommersemester 2024

Es geht voran…

Es war ein ereignisreicher Sommer! Nach der Pilotierung unseres Prototypen einer Objective Structured Teaching Examination (OSTE) für (angehende) Lehrkräfte im Fach Physik stand das Sommersemester 2024 ganz im Zeichen einer breiteren Erprobung. Das Konzept des OSTE stammt ursprünglich aus der Professionalisierung von Ausbildenden der Medizin (Fakhouri & Nunes, 2019). Dabei handelt es sich um eine Art Prüfungsparcours, in dem die Geprüften an verschiedenen Stationen typische Anforderungen des Berufs bewältigen müssen. Die Stationen sind möglichst handlungsnah gestaltet, um auch die tatsächlichen, im späteren Beruf notwendigen Fähigkeiten zu adressieren (z.B. das Geben von Feedback an angehende Ärzt*innen im praktischen Jahr). Technisch gesprochen: Sie müssen Performanz zeigen (Blömeke, Gustafson & Shavelson, 2015). Für einen Einsatz als Prüfung besteht eine zentrale Herausforderung darin, dass die geprüften Situationen möglichst authentisch bzw. berufsrelevant sein müssen (Gulikers et al., 2008), aber zugleich auch eine gewisse Standardisierung aufweisen, damit Leistungen zwischen einzelnen Personen möglichst fair verglichen werden können. Daher werden in den Stationen typischerweise Schauspieler*innen eingesetzt, die geschult sind, möglichst vergleichbare Anforderungen herzustellen, aber zugleich eine adaptive Interaktion ermöglichen.

Bildnachweis: OSTE-Stationsplan – Bremen, (c) Christoph Vogelsang

OSTEs für die Lehrkräftebildung

Die Simulation berufstypischer Situationen mit Schauspieler*innen findet sich auch schon vereinzelt in der Lehrkräftebildung, bisher allerdings hauptsächlich als Übungsformat oder als Assessment-Verfahren im Rahmen von Forschungsprojekten (z.B. Fischer & Opitz, 2022; Gerich & Schmitz, 2016). In unserem Projekt haben wir einen OSTE entwickelt, der als Prototyp als Prüfungsverfahren einsetzbar sein soll. Da Anforderungen an Lehrkräfte zu großen Teilen auch fachspezifisch sind, bezieht sich unser OSTE auf Lehramtsstudierende mit dem Unterrichtsfach Physik. Bei der Entwicklung sollten einige Bedingungen berücksichtigt werden. Erstens muss natürlich die Validität der einzelnen Stationen sichergestellt werden. Es sollten also Kompetenzen, die für den Beruf relevant und in Bezug auf entsprechende Kompetenzmodelle darstellbar sind, abgebildet, passende Situationen gestaltet und entsprechende Bewertungskategorien entwickelt werden. Zweitens muss die Erfassung der Performanz – wie bei Instrumenten in der Bildungsforschung üblich – ausreichend reliabel erfolgen, wobei innerhalb eines OSTE Reliabilität auch über die Anzahl von Stationen beeinflusst werden kann. Drittens muss der Einsatz unter den üblichen Bedingungen eines Studiums erfolgen können. Das betrifft bspw. die zur Verfügung stehende Prüfungszeit oder die Akzeptanz durch die Studierenden und Dozierenden, die derartige Prüfungen ja selbst durchführen müssten.

Unser vor diesem Hintergrund entwickelte Prototyp eines OSTE für das Lehramt Physik umfasst nach aktuellem Stand insgesamt sieben Prüfungsstationen. Nach der Pilotierung und auch im Verlauf der Erprobung wurde er so modifiziert, dass er insgesamt in zwei Stunden absolviert werden kann bzw. absolviert werden können sollte. Dies entspricht einem Zeitumfang von zehn Minuten pro Station (mit Ausnahme einer 20-minütigen Station) plus Wechselpausen. Die handlungsrelevanten Situationen wurden entlang der vier Kompetenzbereiche Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2024) ausgewählt und repräsentieren typische Core Practices von Physiklehrkräften (vgl. Fraefel & Scheidig, 2018). Für einige Stationen konnten wir auf Vorarbeiten von vielen geschätzten Kolleg*innen zurückgreifen (Danke!), andere Stationen sind komplette Neuentwicklungen. Alle Stationen simulieren typische Anforderungen, aber nicht alle Stationen benötigen Schauspieler*innen. Zum Teil ist der Bearbeitungsmodus schriftlich – wie es auch im Beruf erfolgt (z.B. bei der Planung von Unterricht). Eine Übersicht über die Prüfungsstationen ist in der nachfolgenden Tabelle dargestellt.

KompetenzbereichStation/SituationModusQuellen
UnterrichtenUnterrichtsplanungSchriftlichSchröder et al. (2020)
UnterrichtenUnterrichtsreflexionSimulation einer VideokonferenzKulgemeyer et al. (2021)
UnterrichtenErklärung eines physikalischen PhänomensSimulation mit Schauspieler*innenKulgemeyer et al. (2015)
BeurteilenBeratungsgesprächSimulation mit Schauspieler*innenWotschel et al. (2023), Eigenentwicklung
BeurteilenBeurteilung von Schüler*innentextenSchriftlichFeser (2019)
ErziehenModeration eines KonfliktgesprächsSimulation mit Schauspieler*innenEigenentwicklung
InnovierenGespräch zur UnterrichtsentwicklungSimulation einer VideokonferenzEigenentwicklung
Tab. 1 „OSTE-Physik: Stationsübersicht“


Gemäß der Standards (KMK, 2024) haben die einzelnen Stationen einen mal stärkeren (z.B. Unterrichtsplanung), mal weniger starken Bezug zum Fach Physik (z.B. Konfliktgespräch). Dies lässt sich allerdings nicht immer eindeutig disjunkt unterscheiden, da in beruflichen Situationen meist ein Bezug zu mehreren Bereichen des Professionswissens von Lehrkräften besteht (vgl. Blömeke et al., 2015).

Bildnachweis: OSTE-Team – Bremen, (c) Christoph Vogelsang, Danke an Stefan Oltmans für das Foto

On the road

Um zu prüfen, ob der entwickelte OSTE-Prototyp nicht nur auf theoretischer Seite ein geeignetes Prüfungsformat darstellt, sondern auch im praktischen Einsatz umsetzbar ist, haben wir ihn an drei verschiedenen Universitätsstandorten mit Lehramtsstudierenden erprobt. Dabei zeigten sich einige rein organisatorische Herausforderungen. Um den OSTE zu erproben, musste er in den Rahmen des Vorlesungsbetriebes im Sommersemester 2024 eingebettet werden. Das heißt, dass neben den zwei Stunden für den reinen Prüfungsparcours nur wenig zeitlicher Spielraum für die geplanten Erhebungen zu Einschätzungen der Studierenden zur Akzeptanz des Formats vorlagen. Dank der Geduld der Studierenden konnten wir aber glücklicherweise viel umsetzen. Logistisch mussten wir für jeden Testeinsatz vier unserer studentischen Schauspieler*innen und eine Menge technisches Equipment (z.B. Kameras, Tablets, schriftliches Testmaterial) jeweils rechtzeitig vor Ort bringen und einsatzbereit machen. Zusätzlich werden für die Durchführung mehrere Räume benötigt, die für den Zeitraum des OSTEs frei gehalten werden müssen.

Unser erster Tourstopp führte uns im April nach Bremen, wo wir den OSTE mit Unterstützung von Prof. Dr. Christoph Kulgemeyer und seinem Team erproben konnten. An zweiter Stelle gab es im Juni ein Heimspiel an der Universität Paderborn mit Unterstützung von Prof. Dr. Josef Riese (mit weniger logistischem Aufwand 😉 ). Der dritte Tourstopp führte uns Anfang Juli in die Nachbarschaft nach Bielefeld, in der uns Prof. Dr. Lisa Stinken-Rösner unterstützte. Zusätzlich konnten wir die Station zur Simulation eines Konfliktgesprächs in zwei erziehungswissenschaftlichen Seminaren an der Universität Paderborn bei unseren Kolleginnen Dr. Nicole Gruchel und Prof. Dr. Sandra Landhäußer erproben.

Bildnachweis: Konfliktstation Kurzfragebogen – Paderborn, (c) Christoph Vogelsang

Lessons learned

Grundsätzlich ziehen wir ein sehr positives Fazit aus unser OSTE-Tour im Sommer 2024. Sowohl das Feedback der Studierenden in den informellen Gesprächen nach und während der Durchführung als auch die ersten Einblicke in unsere parallel durchgeführten Fragebogenerhebungen zeigen, dass gerade die Authentizität und berufliche Relevanz des OSTE sehr positiv eingeschätzt werden. Kritischer sind die Studierenden dahingehend, inwiefern sie ihr bisheriges Lehramtsstudium auf diese Prüfungsanforderungen vorbereitet hat. Für die Durchführung des OSTE begegnen wir bei jedem Versuch noch neuen Fallstricken, die bei der Organisation zu beachten sind. Insbesondere das Einhalten eines genauen Zeitplans ist wichtig, um einen reibungslosen Ablauf zu garantieren, da es nach dem Beginn wenig Ausweichmöglichkeiten gibt, wenn man nicht jede Station mehrfach anbieten kann. Auch hatten wir teilweise mit Abbrüchen in der Internetverbindung für unsere simulierten Videokonferenzen zu kämpfen. Generell zeigt sich, dass das große Potential, dass OSTEs für die Lehrkräftebildung bieten, auch wirklich eingelöst werden könnte. Und das nicht nur im Fach Physik. Bis dahin liegt allerdings noch etwas Arbeit vor uns, wie die Auswertung der zahlreich aufgenommenen Videos, der im Nachgang geführten Interviews und der Analysen zum Zusammenhang zum Professionswissen.

Abschließend möchten wir allen danken, die uns bei unserer ersten OSTE-Erprobung unterstützt haben: unseren Kolleg*innen in Bielefeld, Bremen und Paderborn, unseren Schauspieler*innen Ella, Eike, Carlo (für den Einsatz am eigenen Geburtstag), Elena und Jasmin und ganz besonders allen Studierenden, die sich für uns und unser Projekt Zeit genommen haben! Ohne euch hätten wir alles nicht durchführen können. Vielleicht sehen wir uns ja nochmal zur geplanten OSTE-Tour im Wintersemester.

Bildnachweis: OSTE-Team – Bielefeld, (c) Christoph Vogelsang, Danke an Lisa Stinken-Rösner für das Foto

Literatur:

  • Blömeke, S., Gustafsson, J. E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie. 223, 3-13. (Online)
  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • Fischer, F., & Opitz, A. (2022). Learning to diagnose with simulations: Examples from teacher education and medical education. Springer Nature. (Online)
  • Fraefel, U., & Scheidig, F. (2018). Mit Pragmatik zu professioneller Praxis? Der Core-Practices-Ansatz in der Lehrpersonenbildung. BzL-Beiträge zur Lehrerinnen-und Lehrerbildung, 36(3), 344-364. (Online)
  • Gerich, M., & Schmitz, B. (2016). Using Simulated Parent-Teacher Talks to Assess and Improve Prospective Teachers‘ Counseling Competence. Journal of Education and Learning, 5(2), 285-301. (Online)
  • Gulikers, J. T., Kester, L., Kirschner, P. A., & Bastiaens, T. J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes. Learning and Instruction, 18(2), 172-186. (Online)
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Wotschel, P., Janzen, T., Meier, J., & Vogelsang, C. (2023, 1.4 September). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden [Vortrag]. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF). Universität Potsdam.

11. GEBF-Tagung „Bildung verstehen • Partizipation erreichen • Transfer gestalten“

Bildungsforschung in Potsdam … again

Bildnachweis: © Hilke Schulz, Universität Potsdam, Tagungsteam der GEBF 2024 | https://www.uni-potsdam.de/fileadmin/processed/f/6/csm_GEBF_Logo_Alternative_c3a682d778.png

Diesen März fand die jährliche Konferenz der Gesellschaft für Empirische Bildungsforschung in Potsdam statt. Dabei handelte es sich um einen Nachholtermin, da eigentlich schon 2020 in Potsdam getagt werden sollte, was aber aufgrund der COVID 19-Pandemie leider kurzfristig nicht möglich war. Insofern war es umso schöner, dass sich das Tagungsteam bereit erklärt hat, die Konferenz 2024 wieder auszurichten. Als Repräsentant unseres Teams war diesmal nur Christoph (also ich 😉 ) vor Ort. Der Tagungsort war derselbe wie schon auf der Tagung der AEPF 2023. Insofern war es auch gleichzeitig ein Wiedersehen mit dem schönen Campus Griebnitzsee (mit vielen Bäumen im Innenhof und es wurde auch wieder sonnig).

Unsere Beiträge

In diesem Jahr hatten wir die Gelegenheit, uns im Symposium Handlungsnahe Kompetenzmessung mit Simulationen in der Lehrkräftebildung: Potentiale und Herausforderungen zu beteiligen, das von Stephanie Kron und Prof. Dr. Stefan Ufer von der LMU München organisiert wurde. Christoph eröffnete das Symposium mit einem Vortrag über die Entwicklung und Ergebnisse aus der Validierung von Thomas‘ Performanztest für die rollenspielbasierte Prüfung von Feedbackkompetenz angehender Lehrkräfte im Fach Englisch. Dabei konnten wir auch aktuelle Ergebnisse zum Zusammenhang zwischen Performanz in der Simulation und dem Ausmaß von fachdidaktischen Wissen, Feedbackwissen und Sprachkompetenz berichten (Danke dir, Thomas, für die Auswertungen!). Danach berichtete Johannes Poser vom IPN in Kiel über die Erfassung der Diagnosekompetenz zum Experimentieren im Fach Biologie mit Hilfe eines virtuellen Klassenraums. In diesem virtuellen Klassenraum werden Gespräche mit einzelnen Schüler*innen simuliert, denen Fragen gestellt werden müssen (ausgewählt aus vorgegebenen Listen). Je nach Antwort, können weitere Fragen gestellt werden. Während dieses Prozesses müssen die Studierenden das Kompetenzniveau und das Wissen der simulierten Schüler*innen zum Experimentieren einschätzen und am Ende auch nochmals eine abschließende Einstufung der Kompetenz jedes*r Lernenden vornehmen. Daten aus einer Onlineuntersuchung mit N=86 Studierenden zeigte, dass diese die Niveaustufe in ca. 48% der Fälle korrekt diagnostizieren konnten. Im dritten Vortrag sprach Stephanie Kron über die Messung von und Beziehungen zwischen einzelnen Indikatoren der diagnostischen Kompetenz angehender Mathematiklehrkräfte. Zur Erfassung der Diagnosekompetenz wurde eine rollenspielbasierte Simulation genutzt, in der Lehramtsstudierende mit von trainierten Schauspieler*innen verkörperten Schüler*innen zwei diagnostische Einzelgespräche führen mussten. Zentrales Steuerungsinstrument dieser Simulationen ist dabei die Auswahl von Aufgaben, die sie den Schüler*innen im Verlauf verschiedene vorlegen müssen, die die Schüler*innen wiederum bearbeiten. Aus Ergebnis und der Beobachtung des Bearbeitungsprozesses wiederum sollte am Ende der Lernstand der Schüler*innen bzgl. neun Facetten der Dezimalbruchrechnung beurteilt werden. Als Indikator der Diagnosekompetenz wurde unter anderem der Anteil an Aufgaben berechnet, die ein hohes diagnostisches Potential innerhalb des Gesprächs aufweisen. Dabei zeigte sich in einer Untersuchung mit N=63 Studierenden, dass so gut wie keine Anpassung der Aufgabenauswahl anhand der Schüler*innenantworten stattfindet. Alle unsere Vorträge wurden aus einer medizindidaktischen Perspektive von Prof. Dr. med Harm Peters von der Charité Berlin diskutiert, was sehr bereichernd war und mir einige Anregungen für unsere weitere Arbeit im Projekt gegeben hat. Vielen Dank auch nochmal an dieser Stelle an Stephanie und Stefan für die Einladung und die Organisation! Daneben waren Jana und Christoph auch als Co-Autoren am Beitrag Pedagogical reasoning bei der Unterrichtsplanung – Eine netzwerkanalytische Untersuchung des Planungsentscheidens beteiligt, in dem Prof. Dr. Daniel Scholl unsere gemeinsamen Arbeiten zur Darstellung von Unterrichtsplanungen mit netzwerkanalytischen Methoden vorstellte. Danke auch dir Daniel!

Bildnachweis: © Christoph Vogelsang| Altehrwürdiger Eingang

Inspirationen

Daneben gab es auch dieses Jahr wieder viele interessante Vorträge und Poster zu unterschiedlichsten Aspekten der empirischen Bildungsforschung. Besonders interessant für uns war natürlich die (virtuelle) Keynote von Prof. Dr. Pam Grossman von der Penn GSE – University of Pennsylvania, die unter dem Titel Core Practices for Teaching: A Language for Developing and Improving Professional Practice einen Ansatz vorstellte, den auch wir für die Entwicklung unserer simulationsbasierten Prüfungen verwenden. Im Zentrum stehen so genannten Core Practices, also professionelle Praktiken, die prototypisch und fundamental für den Lehrkräfteberuf sind. Zum Erwerb von Kompetenzen bzgl. dieser Kernpraktiken entwickelte und erprobte sie zusammen mit Anderen auch spezifische Ansätze für die Lehre (vgl. Grossman, 2018). In einer weiteren Keynote sprach Prof. Dr. Michael Becker-Mrotzek zum Transfer sprachlicher Förderkonzepte. Nach einem Überblick über aktuelle Lernstandserhebungen zu Lesefähigkeiten deutscher Schüler*innen berichtete er unter anderem am Beispiel des Hamburger Lesebands, welche Bedingungen notwendig sind, damit empirisch abgesicherte, lernwirksame Intervention zur Förderung der Lesekompetenz auch in der Breite des Schulsystems implementiert werden können.

Auch neben den Keynotes gab es natürlich einige Highlights. Bspw. berichtete Madlena Kirchhoff über die Entwicklung und Evaluation eines Seminars zur Förderung der Core Practices „Ziele festlegen“ und „Unterrichtseinstiege erstellen“. Dabei orientierte sie sich mit ihren Kolleg*innen am oben schon erwähnten Ansatz zur Förderung von Core Practices (Grossman, 2018), wobei die Studierenden ihre geplanten Unterrichtseinstiege auch in Microteaching-Simulationen erprobt haben. Zur Evaluation entwickelten sie Instrumente zur Erfassung der Core Practices, die sich zumindest für das Festlegen von Zielen auch in der theoretisch erwarteten Struktur empirisch abbilden ließen. Holger Futterbleib präsentierte Ergebnisse experimenteller Studien zur Frage, inwiefern Personen der empirischen Bildungsforschung die Fähigkeit und Zuständigkeit zuschreiben, relevante Beiträge für gesellschaftliche Entscheidungen bzgl. Fragen der Bildung liefern. In quotenrepräsentierten Stichproben aus der deutschen Bevölkerung konnten dabei die Ergebnisse früherer Laboruntersuchungen bestätigt werden. Wurden Personen Ergebnisse der Bildungsforschung präsentiert, die ihren Vorüberzeugungen widersprach (hier: Wirksamkeit von Klassenwiederholungen), schrieben sie der Bildungsforschung geringere Fähigkeit und Zuständigkeit zu. Dieser Effekt bliebt aber auf den konkreten Kontext beschränkt und wurde nicht auf andere Themen generalisiert.

Insgesamt war es auch dieses Jahr eine gelungene Konferenz, die auch sehr nachhaltig geplant und durchgeführt wurde (z.B. mit Mehrwegbechern, vegetarisch/veganem Catering und vielen weiteren kleinen Ideen). Herzlichen Dank an das Tagungsteam! Wir freuen uns schon auf das nächste Jahr.

Vorträge:

  • Becker-Mrotzek, M. (2024, 20. März). Transfer sprachlicher Förderkonzepte gestalten. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Futterleib, H., Thomm, E., & Bauer, J. (2024, 18. März). Das kann man gar nicht untersuchen! Abwertung der Fähigkeit und Zuständigkeit von Bildungswissenschaft in der Öffentlichkeit. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Grossman, P. (Ed.). (2018). Teaching core practices in teacher education. Harvard Education Press.
  • Grossman, P. (2024, 18. März). Core Practices for Teaching: A Language for Developing and Improving Professional Practice. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Kirchhoff, M., Telgmann, L., & Müller, K. (2024, 19. März). Zur Messung der Core Practices „Ziele festlegen“ und „Unterrichtseinstiege erstellen“. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Kron, S., Sommerhoff, D., Stürmer, K., & Ufer, S. (2024, 18. März). Messung von und Beziehungen zwischen einzelnen Indikatoren der diagnostischen Kompetenz angehender Mathematiklehrkräfte. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Poser, J., Fiedler, D., Schönle, D., Reich, C., & Harms, U. (2024, 18. März). Messung der Diagnosekompetenz zum Experimentieren mit der Klassenraumsimulation SKRBio. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Scholl., D., Küth, S., Vogelsang, C. Meier, J., & Seifert, A. (2024, 19. März). Pedagogical reasoning bei der Unterrichtsplanung – Eine netzwerkanalytische Untersuchung des Planungsentscheidens. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Vogelsang, C., Janzen, T., Wotschel, P., & Grotegut, L. (2024, 18. März). Entwicklung und Validierung einer rollenspielbasierten Simulation als Prüfungsverfahren für das Lehramtsstudium im Fach Englisch. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.

„Prüfung – bitte nicht stören!“ – Pilotierung des OSTE für das Unterrichtsfach Physik

Das PERFORM-LA-Team ist gut in das neue Jahr gestartet und konnte sich mittlerweile auch vom Reisemarathon des vergangenen Jahres erholen. Das heißt natürlich nicht, dass es bei uns keine interessanten Entwicklungen gäbe, von denen wir berichten möchten – im Gegenteil:

Ein neuer Performanztest! – Nein, eigentlich sieben…

Nachdem im Sommer 2023 bereits die Haupterhebungen für Thomas’ Performanztest für das Unterrichtsfach Englisch und Philipps Performanztest für den bildungswissenschaftlichen Bereich stattfanden, konnten wir in dieser Woche nun auch endlich den OSTE (Objective Structured Teaching Examination) für das Unterrichtsfach Physik pilotieren. Der OSTE besteht Im Gegensatz zu den Performanztests in den Fächern Englisch und Bildungswissenschaften aus insgesamt sieben einzelnen Prüfungsstationen, die innerhalb eines ca. 2,5-stündigen Prüfungsparcours durchlaufen werden – ganz ähnlich einem OSCE in der medizinischen Ausbildung, den wir uns bereits in Aktion am KISS in Köln ansehen durften. Einige der Prüfungsstationen haben Jana und Lea für den OSTE komplett neu entwickelt, andere wurden basierend auf Vorarbeiten aus dem Projekt ProfileP+ (Kulgemeyer et al., 2021; Schröder et al., 2020; Vogelsang et al., 2019; Kulgemeyer & Tomczyszyn, 2015) und der Dissertation von Markus Feser (Feser, 2019) sowie auch Philipps Test zur Beratungskompetenz weiterentwickelt. Die Prüfungsstationen richten sich an Lehramtsstudierende mit dem Unterrichtsfach Physik und orientieren sich an den vier Kompetenzbereichen Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2022). Dabei sind einige der Stationen eher fachspezifisch (Unterrichtsplanung, Erklären physikalischer Phänomene, Reflexion von Physikunterricht, Beurteilen von Schüler*innentexten) und einige eher fächerübergreifend (Beratung, Konfliktlösung, Unterrichtsentwicklung). Im Gegensatz zu Thomas‘ und Philipps Performanztests dauern die einzelnen Stationen des OSTE nur etwa 15-20 Minuten, um die Gesamtzeit des Prüfungsparcours im Rahmen zu halten. Neu beim OSTE ist außerdem, dass nicht alle der Stationen rollenspielbasiert sind, sondern auch ausschließlich schriftliche Materialien beinhalten oder aus simulierten Videokonferenzen bestehen.

Schauspieltraining & logistische Herausforderungen

Dennoch sind auch im OSTE drei rollenspielbasierte Stationen enthalten, in denen unsere studentischen Hilfskräfte wieder mit ihrem schauspielerischen Talent glänzen konnten. Glücklicherweise bekamen wir im Dezember Unterstützung von Ella, Eike und Carlo, die nun mit Jasmin und Elena das Hilfskraft-Team im Forschungsbereich des PLAZ bilden. So startete vor Weihnachten das Schauspieltraining für die rollenspielbasierten OSTE-Stationen. Für unsere Hilfskräfte hieß das: Rollenbeschreibungen lernen, Verbal Trigger verinnerlichen und natürlich: Viel üben! In unterschiedlichsten Konstellationen und mit Unterstützung des gesamten Teams wurden die Gesprächssimulationen geprobt, bis sich alle bereit gefühlt haben für die Pilotierung mit Lehramtsstudierenden. Neben der Entwicklung der Prüfungsstationen und dem Schauspieltraining spielte auch die Logistik eine wesentliche Rolle bei den Vorbereitungen der Pilotierung: die Lehramtsstudierenden sollten parallel und möglichst ohne Leerlauf die sieben Stationen durchlaufen. Geeignete Räumlichkeiten wurden organisiert, Ablaufpläne erstellt und eine Menge Material zur Bearbeitung und Evaluation der Stationen vorbereitet. Am 29. Januar war es dann endlich so weit, und erst einmal vier Lehramtsstudierende des Unterrichtsfachs Physik stellten sich den sieben OSTE-Stationen. Wie schon bei den bereits entwickelten Performanztests haben wir auch bei der Pilotierung des OSTE Kameras an den rollenspielbasierten Stationen aufgestellt, um die simulierten Gespräche zu videografieren. An den anderen Stationen haben wir den Arbeitsprozess der Lehramtsstudierenden per Bildschirmaufzeichnung dokumentiert und ihre schriftlichen Notizen und Ergebnisse festgehalten.

Die erste Hürde ist geschafft!

Die Studierenden füllten außerdem nach der Bearbeitung jeder einzelnen Station einen Kurzfragebogen aus, in dem sie die Authentizität und Immersion der Stationen bewerteten. So sind zahlreiche Aufzeichnungen und Beurteilungen des Prüfungsparcours entstanden, die in einem nächsten Schritt gesichtet und ausgewertet werden, um den OSTE für unseren nächsten geplanten Testdurchlauf im Sommersemester 2024 auf dieser Grundlage weiterzuentwickeln. Obwohl wir im Vorhinein noch etwas skeptisch waren, was den reibungslosen Ablauf der Pilotierung angeht, können wir nun ein positives Fazit ziehen: Die Studierenden konnten alle Stationen im Zeitrahmen bearbeiten, und unsere Hilfskräfte haben nicht nur schauspielerische Höchstleistungen erbracht, sondern durch ihre Unterstützung auch für einen reibungslosen Ablauf am Pilotierungstag gesorgt. Wir sind gespannt, was die Auswertung der Dokumente und Aufzeichnungen ergibt und wie sich der OSTE bis zum nächsten Testlauf weiterentwickeln wird.

Literatur:

  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., Kempin, M., Kulgemeyer, C., … & Schröder, J. (2019). Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik. Analysen zu valider Testwertinterpretation. Zeitschrift für Pädagogik, 65(4), 473-491. (Online)

30. DGFF-Kongress 2023 – Die Fremdsprachenforschung zu Gast in Freiburg

Bildnachweis: © PH Freiburg

Vom 26.09 bis 29.09 fand im wunderschönen Freiburg im Breisgau der 30. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung statt – und Thomas und Christoph waren auch mit dabei. Für Christoph war es dabei eine besondere Erfahrung, da er ja eher aus der Physikdidaktik kommt und in diesem Feld weniger zu Hause ist (wobei er vor 2 Jahren auf dem digitalen Format schonmal erste Sprachdidaktikluft schnuppern konnte). Er wurde zwar als Exot wahr- aber sehr herzlich aufgenommen ;).

Anders als vor zwei Jahren, als das Projekt noch am Anfang stand, konnte Thomas dieses Mal auch schon einige Fortschritte präsentieren. Auf seinem Poster „Show, don’t tell – Rollenspielbasierte Simulationsprüfungen für zukünftige Englischlehrkräfte“ hat Thomas den Test sowie erste Ergebnisse der Validierungsuntersuchungen vorgestellt. In den knapp 2 Stunden wurde in vielen Gesprächen über das Potential von rollenspielbasierten Simulationsprüfungen gesprochen und die (vorläufigen) Ergebnisse der noch laufenden Validierung diskutiert. Es war eine allgemein sehr ergiebige und gutbesuchte Postersession – danke hier an die Organisator*innen für diese schöne Möglichkeit!

Bildnachweis: © Christoph Vogelsang

Es gab, wie immer auf Konferenzen, viele andere spannende Vorträge. Hervorheben wollen wir natürlich auch die Vorträge von unseren Kolleg*innen aus Paderborn: Maike Bauer stellte Ergebnisse ihres Dissertationsprojekts zum Einsatz von Diaspora-Kurzgeschichten im Englischunterricht vor. Dominik Rumlich war an einem Symposium zum Fremdsprachenfrühbeginn und am Nachwuchscafé beteiligt. Dagmar Keatinge und Katharina von Elbwart präsentierten Ergebnisse aus dem Deutsch-Kanadischen Kollaborationskurs Teaching Language Internationally und fokussierten sich dabei auf Identitätskonstruktionen von angehenden Fremdsprachenlehrkräften. Katharina prästierte zudem noch Ergebnisse zu perceptual dialectology in Florida. Unser Standort war daher ziemlich gut vertreten, wie wir finden 🙂

Ein weiteres Vortragshighlight war der Beitrag von Dr. Malgorzata Barras von der Universität Freiburg aus der Schweiz. In einem aufwändigen Verfahren hat sie fremdsprachliche Testitems evaluiert und dazu neben quantitativen Daten auch die introspektiven Verfahren des Lauten Denkens und Stimulated Recalls eingesetzt. Untersucht wurde, welche Strategien die Testpersonen nutzen, um die Aufgaben zu lösen. Spannend war hierbei, dass durch die verschiedenen introspektiven Verfahren auch verschiedene Teststrategien aufgezeigt werden konnten – so lassen sich manche Strategien nur durch eines der beiden Verfahren aufzeigen. Beeindruckend war auch der Vortrag von Prof. Dr. David Gerlach und Dr. Kristin Weise-Zurmühlen dazu, wie (Fremd-)Sprachenlehrkräfte mit Verschwörungstheorien umgehen und sich im Unterricht positionieren (müssen), eine Herausforderung vor der Lehrkräfte spätestens seit der Coronapandemie häufig stehen.

Neben dem inhaltlichen Gesichtspunkten, war es auch schön viele bekannte Gesichter wiederzusehen und sich auszutauschen – sowohl beim Schlange stehen auf dem Conference Dinner, als auch bei einem Kaffee in den vielen sonnigen Pausen. Hoffentlich sieht man sich 2025 in Kassel wieder.

Wir bedanken uns bei dem Team um Prof. Dr. Olivier Mentz und natürlich allen Helfer*innen für die wunderbare Organisation dieser Tagung!

Vorträge:

  • Barras, M. (2023, 27.09.). Forschungsmethodologische Grenzen mittels Triangulation überwinden: Zum Einsatz von Lautem Denken, Stimulated Recall und quantitativen Daten in einer Studie zur Testvalidierung. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Bauer, M. (2023, 29.09.). Diaspora-Kurzgeschichten im fremdsprachlichen Unterricht Englisch: Ein neuer didaktischer Impuls? 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Brunsmeier, S., Frisch, S. & Reckermann, J. (2023, 27.09.). Symposium: Fremdsprachenfrühbeginn. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Gerlach, D. & Weiser-Zurmühlen, K. (2023, 28.09.). Language Teacher Identity und Verschwörungstheorien: Wie Lehrkräfte gezwungen werden, sich bei kritischen Themen im Unterricht zu positionieren. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Janzen, T., Meier, J., Rumlich, D., Vogelsang, C. & Wotschel, P. (2023, 28.09). Poster: Show, don’t tell – Rollenspielbasierte Simulationsprüfungen für zukünftige Englischlehrkräfte. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Matz, F. & Rumlich, D. (2023, 28.09.). Nachwuchs-Café: Symposium zur interdisziplinären Vernetzung von Doktorand*innen und Postdocs. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • von Elbwart, K. & Keatinge, D. (2023, 28.09.). Language teacher identity über Grenzen hinweg? Identitätskonstruktion in internationalen Lernumgebungen in der LehrerInnenausbildung. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • von Elbwart, K. (2023, 28.09.). Sprachliche Grenzräume visualisieren: Perceptual dialectology im (Fremd)Sprachenunterricht. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.

AEPF 2023: Willkommen in Potsdam

Bildnachweis: © Universität Potsdam

Vom 13.- 15. September 2023 fand an der Universität Potsdam unter dem Motto „Schule und Lehrkräfte. Bildung neu denken“ die Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) sowie der Kommission Bildungsplanung, Bildungsorganisation und Bildungsrecht (KBBB) statt. Wir waren mit einigen Beiträgen auf der Tagung vertreten und möchten euch an unseren Eindrücken teilhaben lassen.

Bildnachweis: © Jana Meier

Unsere Beiträge

Während am Mittwoch und Freitag eine spannende Vielzahl an Sessions angeboten wurden, stand der Donnerstag für uns ganz im Zeichen unserer Beiträge. Tatsächlich waren diese hintereinander über den Tag verteilt platziert, weshalb sie in drei Akten beschrieben werden können.

Donnerstag Vormittag – Unter dem Titel „‘Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.‘ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium?“ präsentierte Christoph einen Beitrag zu den Fragen, wie Lehramtsstudierende ihre Prüfungserfahrungen bewerten, verschiedene Prüfungsformate wahrnehmen und welche Erfahrungen sie mit Feedback auf ihre Prüfungsergebnisse gemacht haben. Die Ergebnisse zweier unserer Befragungen zeigen, dass Lehramtsstudierende eine negative Feedbackkultur erleben und dass die im Lehramtsstudium stark wahrgenommene Diskrepanz zwischen Theorie und Praxis sich auch in ihren Prüfungserfahrungen widerspiegelt.

Bildnachweis: © Jana Meier

Donnerstag Mittag – Im direkten Anschluss stellte Jana ihren Beitrag vor. Dieser trug den Titel „Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden“. In diesem Zusammenhang wurden Ergebnisse einer quantitativen Studie mit N = 460 Lehramtsstudierenden von zwei deutschen Universitäten vorgestellt, in der der Zusammenhang einer quasi-experimentellen Einstellung zur Reflexion (QEE) gemachter Unterrichtserfahrungen und der Reflexionsperformanz mit den Dimensionen ihrer inhaltlichen Breite, der Reflexionstiefe und ihres Bezugs zu Theorien untersucht wurden. Die Ergebnisse zeigen, dass die befragten Studierenden eine eher ausgeprägte Einstellung zur akribischen Unterrichtsplanung und zur evidenzbasierten Unterrichtsanalyse haben. Das Vertrauen in die Vorhersehbarkeit von Unterrichtsabläufen und die Offenheit für fundierte Theorie fallen dagegen gering aus. Die Reflexionsperformanz der Studierenden ist begrenzt und sie gehen meistens nicht über eine Bewertung, ohne Theoriebezüge, hinaus. Zudem zeigte sich ein kleiner positiver Zusammenhang zwischen den Einstellungen und der Reflexionsbreite und dem Theoriebezug.

Bildnachweis: © Philipp Wotschel

Donnerstag Nachmittag – Darauffolgend präsentierte Philipp seinen Beitrag, „Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden“, der im Symposium „Beratungskompetenz in der Lehrkräftebildung – Wie können angehende Lehrkräfte Beratung erlernen?“, eingebettet war. In diesem Rahmen wurden die Pilotierungsergebnisse und unser Prototyp einer standardisierten, handlungsnahen Prüfung mit dem zugehörigen Bewertungsmodell, zur Erfassung und Beurteilung beratungsbezogenen Verhaltens Lehramtsstudierender, ausführlich vorgestellt.

Bildnachweis: © Jana Meier

Inspirationen

Philipps persönliche Höhepunkte auf der AEPF 2023 waren ebenso in diesem Symposium verortet. So gewährte Dr. Frank Behr mit seinem Beitrag, „Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften“, einen Einblick in eine Studie, mit der der Einfluss fremder und eigener Beratungsvideos in einer digitalen Lernumgebung zur Elternberatung auf die Entwicklung der professionellen Wahrnehmung schulischer Beratungssituationen von Lehramtsstudierenden untersucht wurde. Die Ergebnisse deuten darauf hin, dass die Analyse von fremden und eigenen Beratungsvideos in dieser Lernumgebung die kognitiven Prozesse der professionellen Wahrnehmung von Lehramtsstudierenden aktivieren kann. Im Vergleich zu Kontrollgruppe hat sich in beiden Interventionsgruppen die professionelle Wahrnehmung im Seminarverlauf verändert.

Daneben ging Dr. Scarlett Kobs in Ihrem Beitrag, „Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften?“, der Frage nach, welchen Effekt Rollenspiele im Vergleich zu schriftlichen Reflexionen auf die Entwicklung der Beratungskompetenz von Lehramts- und Rehabilitationspädagogikstudierenden haben. Die Ergebnisse der Untersuchung zeigen, dass die Intervention einen positiven Effekt auf die selbsteingeschätzte Kompetenz der Studierenden im Explorieren von Gefühlen und Gedanken hatte und, dass das praktische Erproben beraterischer Fertigkeiten zu einem Kompetenzanstieg im Erleben der Studierenden führte.

An dieser Stelle nochmal vielen herzlichen Dank an Dr. Scarlett Kobs für die Organisation des Symposium und an Dr. Charlott Rubach für die wertwolle Diskussion der Einzelbeiträge.

Neben diesen Beiträgen, die auch sehr dicht an unseren eigenen Arbeiten in der Nachwuchsforschungsgruppe liegen, hat Christoph noch zwei weitere Highlights von der Konferenz mit nach Paderborn genommen. In ihrem Vortrag „Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback“ berichteten Lucas Jasper Jacobsen und Dr. Kira Elena Weber von der Leuphana in Lüneburg von einer experimentellen Studie, in dem sie Feedback generiert von einer KI (hier: ChatGPT) mit dem Feedback generiert durch menschliche Expert*innen (hier: Hochschullehrende) und Noviz*innen (hier: Studierende im BA) verglichen. Hierzu ließen sie diese drei Gruppen feedback provider ein bzw. mehrere schriftliche Feedbacks auf ein (fehlerhaft) formuliertes Lernziel für eine Unterrichtsplanung generieren und analysierten diese nach Kriterien für gutes Feedback. Dabei gaben die Expert*innen erwartbar qualitativ höherwertiges Feedback als Noviz*innen (bzgl. Angemessenheit, Fragen & dem Anbieten von Alternativen). Die Ki gab allerdings sogar teilweise besseres Feedback als Expert*innen (bzgl. der Erklärung des Feedbacks & der Spezifität). Dies hing aber jeweils sehr von den genutzten Prompts ab, so dass es in der Diskussion auch primär darum ging, wie diese formuliert sein müssen und evtl. in einer Art Archiv für die Hochschullehre gesammelt werden könnten.

Einen weiteren interessanten Beitrag hielt Dr. Susi Klaß von der Friedrich-Schiller-Universität Jena. Unter dem Titel „Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester“ berichtete sie von einem Lehrkonzept zur Förderung der Kernpraktik Unterrichtsgespräche zu führen bei Lehramtsstudierenden, das im Learning to Teach-Lab Science (LTL:S) durchgeführt wurde, in dem auch mit Simulationen von Gesprächssituationen gearbeitet wurde. Die Ergebnisse zeigten differentielle Befunden (bspw. ergaben sich Unterschiede in der Wirksamkeit verschiedener Lernelemente je nach Methode), aber verdeutlichten nochmals das Potential simulationsbasierten Lernens in der Lehrkräftebildung. Ebenfalls interessant war die Keynote „Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation“ von Prof. Dr. Felicitas Thiel von der Freien Universität Berlin, in der sie einen historischen Überblick über die Entwicklung empirischer Bildungsforschung bzw. evidenzbasierter Bildungspraxis in Deutschland gab. Christoph hatte sich bisher bspw. nicht sehr mit der schon um die Jahrhundertwende des 20. Jahrhunderts entwickelten experimentellen Pädagogik beschäfigt (z.B. Meyerhardt, 1910).

Wir haben uns gefreut, auf der AEPF 23 zu Gast sein zu dürfen, waren sehr angetan von der Conference-Dinner-Location und nehmen viele Ideen aus den vielfältigen Beiträgen und Diskussionen mit!

Direkt an der Havel – Das Conference Dinner. Bildnachweis: © Philipp Wotschel

Vorträge:

  • Behr, F. (2023, 14.09.). Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Jacobsen, L., & Weber, K. (2023, 14.09.). Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Klaß, S., Hauk. D., Hickethier, F., Dehne, M., Calcagni, E., & Gröscher, A. (2023, 15.09.). Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Kobs, S., Ay-Bryson, D.S., Kühne, F., & Knigge, M. (2023, 14.09.). Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meier, J., Vogelsang, C., Küth, S., Scholl, D., Watson, C., & Seifert, A. (2023, 14.09.). Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meyerhardt, M.W. (1910). Experimentelle Pädagogik. Monatshefte für deutsche Sprache und Pädagogik, 11(1), 1-11. (Online)
  • Thiel, F. (2023, 14.09.). Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation (Keynote). Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Vogelsang, C, Janzen, T., Meier, J., & Wotschel, P. (2023, 14.09.). „Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.“ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Wotschel, P., Vogelsang C.,  Janzen, T., & Meier, J. (2023, 14.09.). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.

Willkommen im Team!

Wir freuen uns, bekannt geben zu können, dass wir nun seit dem 17.07. von Lea Grotegut als Post-Doc unterstützt werden! Nach knapp anderthalb Jahren löst Lea Jana Meier ab, die als Lehrkraft für besondere Aufgaben ans Institut für Erziehungswissenschaft gewechselt ist.

Bildnachweis: (C) Lea Grotegut

Als wissenschaftliche Mitarbeiterin wird es Leas primäre Aufgabe sein, anknüpfend an Janas Arbeiten performanzorientierte Lehr- und Prüfungsverfahren für die Lehramtsausbildung im Fach Physik und den Bildungswissenschaften weiterzuentwickeln. Bestehende Performanztests zur Unterrichtsplanung, Reflexion und zum Erklären im Physikunterricht sollen durch Lea als zusammenhängende Serie von Anforderungen i. S. eines OSTE (objective structured teaching examination / objektiv strukturierte Lehrprüfungen)-Prototypen kombiniert und umfassend validiert werden.
Erfahrungen für die Nachwuchsforschungsgruppe bringt Lea u. a. aus ihrer im Juni 2023 abgeschlossenen Promotion mit, im Rahmen derer sie sich mit der Entwicklung einer digitalen Simulation zur Förderung diagnostischer Kompetenz angehender Lehrkräfte auseinandergesetzt hat – also inhaltlich schon ziemlich nah an dem, was wir in PERFORM-LA so machen! Zu ihren Forschungsinteressen zählen neben der diagnostischen Kompetenz professionelles Wissen (angehender) Lehrkräfte sowie hochschulische Prüfungen. Wir freuen uns sehr darüber, nun wieder vollständig zu sein und in neuer Besetzung in die nächste Projektphase zu starten!

1 Jahr danach – Datenerhebungsphase (vorläufig) abgeschlossen

Am 27.06.2022 fanden unsere ersten Simulationen mit Studierenden in der Pilotierungsphase unserer Datenerhebung statt. Ziemlich genau ein Jahr später ist diese Phase nun vorläufig abgeschlossen. Nach 61 Simulationen in Englisch (10 in der Pilotierung und 51 in der Haupterhebung) und 72 in Bildungswissenschaften (9 in der Pilotierung in 63 in der Haupterhebung), haben wir die Haupterhebungsphase des Projekts (vorläufig) beendet. Nachdem wir euch schon einen Einblick in den Alltag unserer Simulationen gegeben haben, ist nun ein guter Punkt, um zurückzublicken und das letzte Jahr ein bisschen Revue passieren zu lassen!

Am Anfang stand die Frage…

„Du studierst Englisch oder ein anderes Fach auf Lehramt?“. Mit diesem Flyer (siehe unten) machten wir uns auf die Suche nach Studierenden, die an unseren Simulationen teilnehmen wollten. Wir reisten durch die Universität, um Poster aufzuhängen, machten Werbung in Vorlesungen und Seminaren, verteilten Flyer in der Mensa, teilten Posts auf Facebook und Instagram. Die Nachricht verbreitete sich anfangs allerdings eher schleppend, und nicht selten fragten wir uns, ob wir das Ziel von 50 Teilnehmenden pro Teilprojekt in der Haupterhebung überhaupt erreichen können. Doch mühsam ernährt sich das Eichhörnchen und nach und nach erreichten uns mehr und mehr Anmeldungen.

(c) Universität Paderborn, Johannes Pauly; Thomas Janzen

Eat, Sim, Sleep, Repeat

Von nun an hieß es montags und dienstags: Simulieren! In der Pilotierungsphase betrug die Dauer der Teilnahme noch drei Stunden, sodass wir jeweils am Tag bis zu zwei Simulationen anbieten konnten. Durch ein abgestimmtes System und drei verfügbaren Räumen, war es uns möglich, in beiden Projekten parallel zu erheben. In der Haupterhebung haben wir, durch einen stärkeren Fokus, die Teilnahmezeit auf etwa zweieinhalb Stunden verkürzen und somit bis zu 16 Termine in der Woche anbieten können.

„Casting is 85 to 90 percent of the picture for me”- Martin Scorsese

Was Scorsese sagt, trifft auch für unsere Simulationen zu. Ohne kompetente Schauspieler*innen ist es nahezu unmöglich, Daten mit der Qualität zu erheben, die für die Entwicklung und Validierung performanzorientierter Prüfungsformate notwendig sind. Möglich gemacht wurde das Ganze durch unsere Schauspielerinnen Elena, Hannah und Jasmin. Sie haben in den Simulationen von morgens bis abends die Rollen von Mia, Alex und Christina eingenommen. Um in den Situationen möglichst authentisch und standardisiert zu agieren, absolvierten sie ein mehrwöchiges Training und diverse Testdurchläufe mit Kolleg*innen des PLAZ und der Englischdidaktik Paderborn. Ab der Pilotierung lief es dann so gut wie von selbst: Es war auf einmal ganz natürlich erst eine unsichere 9. Klässlerin zu mimen und keine 20 Minuten später als Elternteil nicht ganz zu verstehen, warum man zum Elternsprechtag kommen muss. Den Einsatz und die Flexibilität unserer drei Schauspielerinnen können wir nicht genug honorieren!

Unser Simulationsteam (v.l.): Philipp Wotschel, Thomas Janzen, Jasmin Heinrichs, Elena Seifert und Hannah Grummel (c) Philipp Wotschel

Bridge over troubled water

Zum Forschungsalltag gehörte es auch, mit Unsicherheiten umgehen zu lernen. Termine von Studierenden wurden manchmal weit im Voraus, oftmals kurzfristig abgesagt – oder einfach kommentarlos ausfallen gelassen. Vor dem Hintergrund des organisatorischen Aufwands war dies vor allem zu Stoßzeiten, mit vielen Terminanfragen, besonders ärgerlich. Manchmal gab es kleine Zweifel, ob die erhoffte Zahl an Teilnehmenden noch zu erreichen ist.

Doch von nichts kommt nichts und zum Glück hatten wir auch viel Unterstützung von Kolleg*innen: Das gesamte Team der Englischdidaktik Paderborn hat es uns ermöglicht in Vorlesungen und Seminaren mehrfach Werbung für unser Projekt zu machen – unser Dank geht hier insbesondere an Dominik Rumlich und Katharina von Elbwart, sowie Peter Hohwiller, Maike Bauer, Julie Intveen, Jeanette Böttcher, Dagmar Keatinge, Heike Niesen und Benedikt Wagner. Das PLAZ Kommunikationsteam um Björn Herdeegen und Angelina Berisha sowie die Fachschaft Lehramt haben durch ihre Werbung auf Facebook und Instagram viel Aufmerksamkeit für unser Projekt geschaffen. Durch die Hilfe von Frauke Matz, Jens Folkerts und der gesamten Münsteraner Englischdidaktik konnten wir auch an der Universität Münster Studierende für unsere Erhebung gewinnen und unsere Simulationen vor Ort durchführen. Vielen, vielen Dank – ihr habt alle entscheidend zum Erfolg von PERFORM-LA beigetragen.

Selbstverständlich gilt unser größter Dank den Studierenden, die an unserer Studie teilgenommen haben. Ohne die Bereitschaft und das Vertrauen alles Teilnehmenden wäre die Umsetzung des Projekts nicht möglich gewesen.

Letztendlich haben wir es geschafft, genug Teilnehmende zu erreichen und können nun zufrieden mit den von uns erhobenen Daten in die nächste Projektphase gehen.

Cold hard facts

Was ist denn nun der Ertrag unserer Erhebung in ein paar konkreten Zahlen?

  • Insgesamt durchgeführte Simulationen: 123
  • Speichermenge der Aufnahmen (Videos + Audios der Interviews): ca. 200 GB
  • Laufzeit des Videomaterials: Über 1000 Minuten

What‘s next?

Der Ball liegt nun wieder in unserem Feld. Unser Ziel ist es jetzt zu schauen, inwieweit sich mit rollenspiel-basierten Simulationen valide Leistungen erheben und bewerten lassen. Daher befinden wir uns aktuell in der Entwicklung eines Bewertungsinstruments für die Simulationen. Mit Hilfe der Videos können wir dann die weiteren Schritte unternehmen, wie die Validierung durch externe Kooperationspartner*innen und Expert*innen. Außerdem dienen sie uns als Ankerbeispiele, um bestimmte Handlungsoptionen zu kategorisieren und einzuordnen.

Quellen:

  • Scorsese, M. https://www.masterclass.com/classes/martin-scorsese-teaches-filmmaking/chapters/casting-actors.

Kurzzusammenfassung: „Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht“

Das erste Paper im Kontext unserer Nachwuchsgruppe ist nun open access verfügbar! In dem Artikel gehen wir der Frage nach, wie Lehramtsstudierende rollenspielbasierte Simulationen wahrnehmen. In dieser Kurzzusammenfassung geben wir euch einen kurzen Überblick über die wichtigsten Aspekte. Tiefergehende Informationen z.B. zur Theorie und Methodik findet ihr im Artikel selbst. Hier kommt ihr direkt zum Artikel in der Zeitschrift die hochschullehre.

Was sind Kontext und Ziele der Studie?

Oft wird kritisiert, dass das Lehramtsstudium einen zu geringen Bezug zur späteren Berufspraxis habe (vgl. Cramer, 2014). Wie wir auf diesem Blog auch schon oft angesprochen haben, könnten rollenspielbasierte Simulationen eine Möglichkeit sein, handlungsnahe Kompetenzen, die relevant für die spätere Berufspraxis sind, schon in der Hochschule zu üben und insbesondere zu prüfen. Um einen ersten Eindruck davon zu gewinnen, wie Studierende als prospektive Testpersonen solche Formate wahrnehmen, haben wir einen Teil davon befragt.

Unsere Forschungsfragen waren:

  • Inwiefern haben Lehramtsstudierende im Laufe ihres Studiums Erfahrungen mit Rollenspielen (oder ähnlichen Simulationen) als Prüfungs- und/oder Übungsformat gemacht?
  • Wie beurteilen Lehramtsstudierende Rollenspiele (oder ähnliche Simulationen) als Prüfungsformat im Lehramtsstudium?

Wie sind wir vorgegangen?

In einer standardisierten Online-Umfrage haben wir N = 620 Lehramtsstudierende aus dem Master of Education an der Universität Paderborn befragt. In dem Fragebogen gab es sowohl offene Fragen, als auch geschlossene Fragen. Die offenen Fragen haben wir inhaltsanalytisch (Kuckartz, 2016), die geschlossenen Fragen zunächst deskriptiv ausgewertet und im Anschluss durch Faktorenanalyse zu Skalen (Authentizität, Fairness, Transparenz) zusammengefasst.

Was sind die wichtigsten Ergebnisse?

  • Ein Großteil der Studierenden (71,8%) hat noch keinerlei Erfahrungen mit Rollenspielen oder anderen simulationsbasierten Formaten, egal ob als Übung oder Prüfung.
  • 85,8% der Studierenden gaben an, keine Erfahrungen mit Rollenspielen als Prüfungsformat zu haben.
  • 8,5% der Studierenden haben Erfahrungen mit Rollenspielen als unbenotete Prüfung, 0,5% (n=3) als benotete Prüfung.
  • Studierende, unabhängig ob mit oder ohne Erfahrung, sehen in Rollenspielen einen hohen Grad an Authentizität, sind aber eher skeptisch was Transparenz und Fairness angeht.
  • Positiv wurde von den Studierenden herausgestellt, dass Rollenspiele einen hohen Bezug zur Berufspraxis aufzeigen würden. Kritisch wurde aber betrachtet, ob so ein Format es wirklich erlaube zu zeigen, was man könne und ob dies objektiv bewertbar sei.

Wie sind die Ergebnisse zu betrachten?

Studierende im Lehramt der Universität Paderborn haben bisher wenig Berührungspunkte mit rollenspielbasierten Simulationen, obwohl andere Professionen, wie die Medizin, diese schon länger einsetzen.

Erkennbar ist, dass Studierenden das Format als authentisch für den späteren Beruf einschätzen, aber auch, dass es für sie wichtig ist, dass die Bewertungsmaßstäbe transparent und möglichst objektiv sind. Wir vermuten, dass es hier, trotz Erklärungen im Fragebogen, aber auch zu Missverständnissen gekommen sein könnte, was das Format des Rollenspiels angeht, und diese nicht mit dem Grad der Standardisierung assoziiert wurden, wie es in simulationsorientierten Prüfungen üblich ist. Den aktuellen Arbeiten in den Projekten von Philipp und Thomas, in denen sie sich mit Bewertungsmöglichkeiten von rollenspielbasierten Simulationen auseinandersetzen, kommt also auch aus Studierendensicht eine zentrale Relevanz zu.

Einschränkend möchten wir erwähnen, dass die Befragung nur an einer Universität statt. Letztendlich gibt uns diese Studie aber erste Indizien darauf, was Studierende mit Rollenspielen im Lehramt verbinden und welche Einstellungen Sie bezüglich des Einsatzes dieser als Prüfung haben.

Interesse geweckt? Die umfassende Darstellung des Vorgehens und der Ergebnisse sind im Artikel zusammengefasst und open-access abrufbar. Wir freuen uns über Nachfragen, Anmerkungen und weitere, anregende Ideen!

Literatur:

  • Cramer, C. (2014). Theorie und Praxis in der Lehrerbildung. Bestimmung des Verhältnisses durch Synthese von theoretischen Zugängen, empirischen Befunden und Realisierungsformen. DDS – Die Deutsche Schule, 106(4), 344–357. (Link)
  • Kuckartz, U. (2016). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. Beltz.
  • Meier, J., Janzen, T., Wotschel, P. & Vogelsang, C. (2023). Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht. die hochschullehre, Jahrgang 9/2023. (Link)

Tag der Lehre 2023 – „Teaching to the Test?“

Nachdenken über Prüfungen

Dieses Bild hat ein leeres Alt-Attribut. Der Dateiname ist cropped-original-on-transparent-1-2048x756.png

Bildnachweis: (c) Universität Paderborn

Am 23. Mai 2023 fand der 11. Tag der der Lehre an der Universität Paderborn nach längerer pandemiebedingter Unterbrechung wieder in Präsenz statt. Der Tag der Lehre bietet Lehrenden und Studierenden aller Fakultäten die Möglichkeit, über Fragen der Lehre an der Hochschule in den Austausch zu treten. Dabei werden innovative Lehr-Lern-Formate vorgestellt, sowie hochschuldidaktische Entwicklungen und Möglichkeiten zur Verbesserungen bestehender Lehre diskutiert. Dieses Jahr stand der Tag der Lehre unter dem Leitthema „Teaching to the Test?“ – Prüfungs- und Studienleistungen sinnvoll gestalten. Da dies genau unser Forschungsthema ist, war es naheliegend, dass auch wir als Nachwuchsforschungsgruppe unsere Arbeit vorstellen. Aber der Reihe nach ;).

Den Auftakt bildete eine spannende Online-Keynote von Prof. Dr. Doris Weßels von der Fachhochshule Kiel, die einen Überblick in die Funktionsweise und den aktuellen Stand der Technik von Large Language Models wie ChatGPT gab und wie diese auch schon in weiterer Software für den Bildungsbereich, insbesondere an Hochschulen, genutzt werden (z.B. als Assistenzsysteme zum Schreiben von Abschlussarbeiten). Dabei reflektierte sie auch, welche Veränderungen sich insbesondere für Prüfungen an der Hochschule ergeben können bzw. sollten. Diese Frage wurde in der anschließenden Podiumsdiskussion weiter vertieft (z.B. bis hin zu der Frage, ob der Umgang mit derartigen Assistenzsystemen nicht Gegenstand von Lehre und Prüfungen sein sollte).

Danach wurden in verschiedenen Formaten innovative Lehrprojekte der Universität Paderborn vorgestellt bzw. die Teilnehmenden konnten sich in Workshops weiterbilden. Bspw. stellten Isabel Elsner und Franziska Pilz im Themenforum ihr preisgekröntes kollaboratives Seminarkonzept für das Lehramtsstudium im Fach Geschichte vor, in dem Studierende aufbauend auf geschichtsdidaktischen Ansätzen unterrichtspraktische Vorschläge erarbeitet haben. Auf diese erhielten sie dann peer review-artiges Feedback durch ihre Kommiliton*innen. Im Themenforum stellte auch Christoph den Ansatz des simulationsbasierten Prüfens für das Lehramtsstudium vor. Wie im Call zu Veranstaltung gewünscht im Format eines TED Talks. Es waren daher viele Folien mit weißer Schrift auf schwarzem Hintergrund ;).

Bildnachweis: (c) Thomas Janzen

Im Disqspace am späten Nachmittag stellte Philipp einen unserer Performanztests noch einmal ausführlicher vor und die Teilnehmenden konnten ihn auch direkt selbst testen (Danke an unsere Schauspielerinnen Jasmin, Hannah und Elena!). Das haben erfreulicherweise auch einige Personen gewagt. Daraus ergaben sich interessante Gespräche, vor allem zur Übertragbarkeit des Konzepts in andere Studiengänge. Wir hoffen, dass wir einige Teilnehmende anregen konnten, evtl. selbst performanzorientierte Prüfungsverfahren zu entwickeln.

Insgesamt war es eine abwechslungsreiche und spannende Veranstaltung. Vielen Dank an das Team der Stabstelle Bildungsinnovation und Hochschuldidaktik für die gelungene Organisation (mit – wichtig! – ausreichend Kaffee und Snacks ;)).

Vorträge:

  • Elsner, I., & Pilz, F. (2023, 23. Mai). Geschichtsdidaktische Theorie-Praxis-Transfers am Beispiel des Medienwandels in historischer Perspektive. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Vogelsang, C. (2023, 23. Mai). Assessment drives learning – Simulationsbasiertes Prüfen im Lehramtsstudium. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Wotschel, P., Janzen, T., Vogelsang, C., & Meier, J. (2023, 23. Mai). Von Feedback bis Beratung – Prüfen handlungsnaher Kompetenzen im Lehramtsstudium in standardisierten Gesprächssimulationen. Beitrag im Disqspace „Innovative Lehrprojekte an der Universität Paderborn“ auf dem 11. Tag der Lehre 2023. Universität Paderborn.
  • Weßels, D. (2023, 23. Mai). Künstliche Intelligenz trifft auf Hochschullehre: Potenziale und Herausforderungen von ChatGPT &Co. für die Zukunft von Lehren und Lernen. Vortrag auf dem 11. Tag der Lehre 2023. Universität Paderborn.

10. GEBF-Tagung 2023 – „Bildung zwischen Unsicherheit und Evidenz“

Ein Einblick in unsere diesjährigen Highlights

Bildnachweis: © Gesellschaft für Empirische Bildungsforschung | https://digigebf.files.wordpress.com/2022/12/cropped-cropped-logo_gebf_2023-01.png?w=937&h=400

Drei Jahre hat es gedauert, bis die GEBF-Tagung wieder in Präsenz stattfinden konnte. Passend zum 10. Jubiläum lud die Gesellschaft für Empirische Bildungsforschung vom 28. Februar bis 02. März 2023 unter dem Motto „Bildung zwischen Unsicherheit und Evidenz“ zum wissenschaftlichen Austausch ein. Wir waren als Projektteam auch dabei und möchten (wie im letzten Jahr) einige Einblicke in unsere Erlebnisse schildern:

Wie schon im vergangenen Jahr auf der Nachwuchstagung erhielt Philipp in diesem Jahr auf der Haupttagung die Möglichkeit, einen Vortrag über die Pilotierung seines Performanztests für das bildungswissenschaftliche Lehramtsstudium (zur Erfassung von Beratungskompetenz) zu halten und zu diskutieren. Das Thema Performanztests und Simulationen befand sich auf der GEBF in „guter Gesellschaft“, weshalb Philipp vor allem das Symposium „Simulationsbasiertes Lernen an der Hochschule – neue Erkenntnisse aus experimentellen und metaanalytischen Studien“ begeisterte. Die vier Vorträge fokussierten die Rolle von Simulationen in der Hochschulbildung im Medizin- und Lehrkräftebereich und konnten veranschaulichen, wie gut Simulationen auch in der Lehrkräftebildung eingesetzt werden können. Zunächst präsentierte Constanze Richters eine Studie, in der die Frage untersucht wurde, ob bzw. inwiefern strukturierte Reflexion und Kollaborationsskripts den Erwerb kollaborativer Diagnosefähigkeiten in einer medizinischen Simulation unter Berücksichtigung des Vorwissens der Lernenden verbessern können. Danach folgte unter dem Titel „Lernen mit Simulationen: Eine Metaanalyse zur Adaptivität von instruktionaler Unterstützung“ ein Vortrag von Olga Chernikova, die sich in ihrer Metastudie der Umsetzung und den Voraussetzungen von Adaptivitätsstrategien von Simulationen widmet. Den Dritten Vortrag hielt Stephanie Kron. Sie berichtet von ihrer Untersuchung zur Spezifität bzw. Sensitivität von Diagnosen Mathematiklehramtsstudierender in einer simulationsbasierten Lernumgebung. Im letzten Vortrag zur „Förderung von Reanimationsskills durch simulationsbasiertes Lernen: Welche Vorteile bringt der Einsatz von first-person-view-Videos im Debriefing?“ präsentierte Martin Gartmeier die Ergebnisse seiner Forschung zu der Frage, inwieweit Videos aus der first-person-Perspektive zu Veränderungen im Debriefing und zu verbessertem Lernerfolg beitragen können.

Jana und Christoph haben auf der diesjährigen GEBF-Tagung bei dem Symposium „‚Bedrohung‘ der Testwertinterpretation durch Testmotivation? – Fragen der Validität in der Kompetenzforschung“ mitgewirkt, welches von Daniel Scholl und Christina Watson organisiert wurde. Insbesondere die Diskussion und der Austausch mit den Teilnehmenden des Symposiums waren eines der Highlights von Jana. Darüber hinaus war auch das Symposium „Simulationsbasiertes Lernen und Messen in der Mediziner:innen und Lehrer:innenausbildung“ mit Ann-Kathrin Schindler bzw. Tina Seidel als stellvertretende Chair spannend. Die zwei Beiträge, die sich auf die Lehramtsausbildung bezogen, wurden von Michael Nickl aus der COSIMA-Gruppe und von Florentine Hickethier von der Universität Jena vorgestellt. Nickl et al. konnten in ihren Analysen (zur Erfassung der Diagnosekompetenzen angehender Lehrkräfte mit Hilfe einer videobasierten Simulation) Profile von kognitiven und motivationalen Charakteristika der Diagnostizierenden identifizieren, die sich auf die Qualität des Diagnoseprozesses und die Urteilsakkuratheit auswirken. Hickethier et al. haben die Nützlichkeitsüberzeugungen und die Technologieakzeptanz von Lehramtsstudierenden aus verschiedenen Ländern hinsichtlich einer Virtual Reality Umgebung für Schüler*innen erfasst und konnten Veränderungen durch das eigene Erleben der VR-Umgebung aufzeigen (v.a. eine höhere Intention, VR auch in der eigenen Berufspraxis anzuwenden). VR war generell ein großes Thema auf der diesjährigen GEBF-Tagung – ähnlich wie das Thema ChatGPT. So beschäftigte sich bspw. das Symposium „Unterrichtserleben in Virtual Reality als Chance für die Lehrkräftebildung“ mit virtuellen Unterrichtssimulationen in VR-Umgebungen. Interessant war hier, dass im Vergleich zur Arbeit mit traditionellen Unterrichtsvideos keine empirisch signifikanten Effekte für den VR-Einsatz gefunden werden konnten (mit Bezug auf die professionelle Unterrichtswahrnehmung und Reflexionsfähigkeiten angehender Lehrkräfte).

Neben den vielen Einzelbeiträgen und Symposien waren die Keynotes der diesjährigen GEBF-Tagung weitere Highlights für Jana. Im Vortrag von Prof. Dr. Gerd Gigerenzer ging es bspw. um die Risikokompetenz und um Bildung im digitalen Zeitalter – mit der klaren Message, dass auch wir Menschen smarter werden müssen, wenn um uns herum alles smarter wird ;-). In der Keynote von Prof. Dr. Monika Waldis ging es um die hohe Bedeutung gesellschaftswissenschaftlichen Wissens insbesondere in Zeiten der Krise und in Zeiten, in denen die Demokratie weltweit unter Druck steht. Prof. Dr. Waldis sieht eine besondere Chance zur Förderung der Demokratiekompetenz (mit der Leitidee der Urteilsfindung und Fähigkeiten des Perspektivwechsels und der Empathie) in Argumentations- und Debattiertrainings als didaktische Interventionen für Schüler*innen.

Christoph lieferte in diesem Jahr zusammen mit Pascal Pollmeier und Tim Rogge einen Beitrag zum Symposium „Eigenvideografie als Professionalisierungstool für Lehramtsstudierende im Praxissemester“, das von Verena Zucker organisiert wurde. Zusammen mit Nicola Meschede berichtete sie von einer Untersuchung zur Frage, welche persönlichen Merkmale Lehramtsstudierender (z.B. Misserfolgserwartung) und Bedingungsfaktoren (z.B. zeitliche Belastung) die Bereitschaft Eigenvideografien im Praxissemester durchzuführen beeinflussen. Dies war insofern interessant, dass es auch die Frage berührt, die wir (also, Pascal, Tim und Christoph) auch in unserer Interviewstudie untersucht haben. Auch die beiden weiteren Vorträge von Robin Junker (in Vertretung für Christina Gippert) und Verena Oestermann berichteten interessante Erkenntnisse zur Wirksamkeit von Eigenvideografiearbeit zur Förderung der professionellen Unterrichtswahrnehmung von Lehramtsstudierenden. Es war also insgesamt ein rundum gelungenes Symposium. An dieser Stelle daher noch einmal ein herzlicher Dank an Verena als Organisatorin! Ein weiteres Vortragshighlight aus Christophs Sicht war der Vortrag von Șeyma Gülen, die unter dem Titel „Lehramtsstudium – Vorbereitungsdienst – Lehrkräfteberuf, oder? Empirische Ana-
lysen aus dem Nationalen Bildungspanel (NEPS) zum post-universitären beruflichen
Verbleib von Lehramtsabsolvent*innen“ auf Basis der umfangreichen NEPS-Daten (N = 2.941 Absolvent*innen gingen in die Untersuchungen ein) Analysen dazu vornahm, wie viele Lehramtsstudierende nach einem Studienabschluss auch wirklich als Lehrkräfte arbeiten (Spoiler: In ihren Analysen sind es 79% ;)). Diese Ergebnisse kommen zur richtigen Zeit und liefern empirisch fundierte, belastbare Daten für die Diskussion um den aktuellen Lehrkräftemangel. Zwei weitere schöne Vorträge betrafen ebenfalls etwas stärker die Themen unserer Nachwuchsforschungsgruppe. Zum einen stellte Sigrid Harendza eine spannende Untersuchung dazu vor, nach welchen Kriterien aus der arbeitsplatzbasierten Beobachtung Ausbilder*innen in praktischen Ausbildungsphasen (z.B. im praktischen Jahr in der Medizinerausbildung) angehenden Ärzt*innen bestimmte Tätigkeiten anvertrauen bzw. bis zu welchem Grad (dies kann bspw. eine Tätigkeit wie das Blut Abnehmen sein). Die empirischen Daten wurden dabei in einer Simulationsumgebung gewonnen, in der umfangreich der erste Arbeitstag in einer Klinik simuliert wurde. Zum anderen berichtete Christoph Kruse unter dem Titel „Wie beurteilen Fach- und Schulleitungen angehende Lehrer:innen im Referendariat?
Erkenntnisse aus einer qualitativ-rekonstruktiven Dokumentenanalyse von schriftlichen Gutachten“ von Analysen von realen Schulleitungsgutachten, die im Rahmen der zweiten Staatsprüfung in NRW angefertigt wurden. Im Zentrum stehen dabei z.B. Fragen danach, welche Kriterien Schulleitungen an die Bewertung anlegen bzw. welche impliziten Orientierungen in den Gutachten deutlich werden. Diese Prüfungsdokumente sind wenig erforscht, sie machen allerdings einen hohen Anteil der Abschlussnote des zweiten Staatsexamens aus. Insofern freut sich Christoph schon auf die weiteren Ergebnisse.

Bildnachweis: © Jana Meier| ein Teil des PERFORM-LA Teams auf dem Gesellschaftsabend
(v. l. Christoph, Jana, Philipp)

Ein weiteres Highlight war natürlich der Gesellschaftsabend, der in der Grand Hall Zollverein® veranstaltet wurde. Wie die GEBF selbst zusammenfasst ist dieser beeindruckende Ort „[…] eine moderne Eventlocation, die auf dem Gelände der ehemaligen Kokerei Zollverein des UNESCO-Welterbes Zollverein liegt. Sie wurde am 12. September 1961 als Sauger- und Kompressorenhalle in Betrieb genommen. Nach über drei Jahrzehnten wurde sie am 30. Juni 1993 stillgelegt. Die Anlage ZOLLVEREIN® Schacht XII war die größte und modernste Steinkohleförderanlage der Welt. Seit 1998 widmet sich die Stiftung Zollverein der Erhaltung und Wiedernutzbarmachung dieses Industriedenkmals.“  

Wir waren auf jeden Fall nachhaltig beeindruckt und hatten viel Vergnügen 😉

Bildnachweis: © Philipp Wotschel |Der direkte Außenbereich
Bildnachweis: © Philipp Wotschel |Ein Einblick in die Halle

Wir freuen uns, auch in diesem Jahr dabei gewesen sein zu können, bedanken uns herzlich für die zahlreichen Vorträge, Anregungen und Diskussionen und sagen bis bald!

Vorträge:

  • Gartmeier, M., Soellner, N., Eiberle, M., Haseneder, R., Hinzmann, D., Schulz, C., Rath, S., & Berberat, P. (2023, 01. März). Förderung von Reanimationsskills durch simulationsbasiertes Lernen: Welche Vorteile bringt der Einsatz von first-person-view-Videos im Debriefing? 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Gigerinzer, G. (2023, 28. Februar). Risikokompetenz: Bildung im digitalen Zeitalter. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Gippert, C., Junker, R., Seeger, D., & Holodynski, M. (2023, 01. März). Welche Rolle spielt die Eigenvideografie bei der Förderung der professionellen Unterrichtswahrnehmung von Klassenführung im Rahmen des Praxissemesters? 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Harendza, S., Kadmon, M., Berberat, P., Fincke, F., Gärtner, J., Schick, K. (2023, 28. Februar). Anvertrauen von Verantwortung auf Basis von Arbeitsplatz-basierten Beobachtungen. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen
  • Heitzmann N., Chernikova O., Stadler, M., Holzberger,D., Seidel, T., & Fischer, F. (2023, 01. März). Lernen mit Simulationen: Eine Metaanalyse zur Adaptivität von instruktionaler Unterstützung. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Hickethier, F., Dehne, M. & Gröschner, A. (2023, 28. Februar). Wie nehmen Lehramtsstudierende eine neuartige VR-Umgebung für Schüler:innen wahr? Eine Mixed-Methods-Studie zur Veränderung von Nützlichkeitsüberzeugungen. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Kron, S., Sommerhoff,D., & Ufer, S. (2023, 01. März). Entwicklung diagnostischer Kompetenz zur Dezimalbruchrechnung: Akkuratheit, Sensitivität und Spezifität von Diagnosen in einer simulationsbasierten Lernumgebung. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Kruse, C. (2023, 02. März). Wie beurteilen Fach- und Schulleitungen angehende Lehrer:innen im Referendariat? Erkenntnisse aus einer qualitativ-rekonstruktiven Dokumentenanalyse von schriftlichen Gutachten. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
  • Erfassung von Diagnosekompetenzen in Simulationen: Einfluss der Charakteristika des Diagnostizierenden
  • Nickl, M., Sommerhoff, D., Codreanu, E., Ufer, S. & Seidel, T. (2023, 28. Februar). Erfassung von Diagnosekompetenzen in Simulationen: Einfluss der Charakteristika des Diagnostizierenden. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
  • Oestermann, V., Weyland, U., & Koschel, W. (2023, 01. März). Zur Förderung professioneller Unterrichtswahrnehmung im Praxissemester anhand von Eigen- und Fremdvideos. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
  • Pollmeier, P., Vogelsang, C., & Rogge, T. (2023, 01. März). Zwischen Angst und Vorfreude – Emotionales Erleben Lehramtsstudierender bei der Arbeit mit Eigenvideografien. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.
  • Richters, C., Stadler M., Radkowitsch, A., Schmidmaier, R., Fischer, M.R., & Fischer, F. (2023, 01. März). Förderung kollaborativer Diagnosefähigkeiten für Lernende mit unterschiedlichem Vorwissen: Effekte von strukturierter Reflexion und Kollaborationsskripts in einer agentenbasierten medizinischen Simulation. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Waldis, M. (2023, 01. März). Gesellschaftswissenschaftliches Lernen in Zeiten der Krise – Wissensordnungen und Kompetenzen revisited. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Wotschel, P. (2023, 01. März). Beratungskompetent durchs Lehramtsstudium? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Essen.
  • Zucker, V., Meschede, N. (2023, 01. März). Was motiviert oder hemmt Studierende, sich im Praxissemester videografieren zu lassen? Eine Untersuchung zur Bedeutung persönlicher Voraussetzungen für die Nutzung von Eigenvideografie. 10. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF). Essen.