Schlagwort-Archive: Performanztest

Alles hat ein Ende – Auch die Promotionszeit

Nach 3 Jahren und 11 Monaten in der Promotionsphase war am 28.02.2025 der Tag, dem ich lange entgegengefiebert habe – meine Disputation und damit der Abschluss meines Promotionsverfahrens. Der Tag begann für mich wie üblich recht früh, sodass ich ein paar Stunden vor Beginn schon im Büro war und in meinen Vortrag und meine Notizen in Ruhe nochmal durchgehen konnte. Gegen 9 Uhr machte ich mich dann auf in den Raum für den Vortrag und holte mir auf den Weg noch einen Pfefferminztee (Kaffee war an dem Tag nicht wirklich nötig).

Langsam trudelten dann auch die eingeladenen Zuhörer*innen der Hochschulöffentlichkeit, Kolleg*innen aus dem PLAZ und der Englischdidaktik in Paderborn, und die Kommission ein. Um 10 Uhr begann dann die Verteidigung. Ich startete mit einem 20-minütigen Bericht, indem ich versuchte, kurz und bündig wesentliche Inhalte der Dissertation zu präsentieren. Dabei fokussierte ich mich im ersten Teil auf das Problem des Assessment Gap, welches wir mit den rollenspiel-basierten Simulationsprüfungen begegnen wollen. Im zweiten Teil ging es um beispielhafte Erkenntnisse aus dem Validitätsargument:

  • Die Studierenden äußern sich in mehrheitlich positiv in Bezug auf die Authentizität und Relevanz.
  • Die im Bewertungsinstrument eingesetzten Kriterien werden von den Expert*innen grundsätzlich positiv bewertet und Kritik wurde in der Weiterentwicklung des Instruments berücksichtigt.
  • Die Inter-Rater Reliabilitätswerte zeigen eine sehr große Übereinstimmung zwischen den Rater*innen auf der Testscore Ebene.
  • Die Ergebnisse der konvergenten Validierung deuten darauf hin, die Wissensfacetten mit einer pädagogischen Komponente (Wissen über Feedback; Fachdidaktisches Wissen) eine robustere Korrelation mit dem Testscore aus der RobS ausweisen, was sich aber nicht für die Facette des Fachwissens zeigt.

Die Ergebnisse zeigen in ihrer Gesamtheit, dass der von mir entwickelte Test mit ausreichender Gewissheit in der ersten Phase der Lehrkräftebildung eingesetzt werden kann, wobei natürlich auch die gegenteiligen Ergebnisse hier berücksichtigt werden müssen. Zum Schluss habe ich noch ein paar Limitationen aufgegriffen und Implikationen für weitere Schritte erläutert. Im Anschluss an den Vortrag stellte die Kommission ca. 1h lang weitere Fragen. Letztendlich war ich sehr erleichtert, als alles überstanden war!

Es wurde dann im Anschluss auch gebührend gefeiert – ich habe mich sehr über die vielen Glückwünsche von Kolleg*innen und Wegbegleiter*innen an dem Tag gefreut! Besonders tolle Andenken sind natürlich die beiden selbst gestalteten Doktorhüte aus meinen Teams, die mich über die Jahre hinweg begleitet und unterstützt haben sowie die selbst gestaltete Zeitung „meiner Mias“ (der Rollenname unser Schauspielerinnen), unserer studentischen Mitarbeitenden Jasmin und Elena.

Am Ende bleibt mir nun auch nichts mehr zu sagen außer eins: Danke.

Thomas mit seinen Betreuern (v.l.: Dr. Christoph Vogelsang, Thomas Janzen, Prof. Dr. Dominik Rumlich) (c) Markus Gründker
(C) Markus Gründker
(C) Markus Gründker

Vortrag:

  • Janzen, T. (2025, 28. Februar). Show, don’t tell – Developing and Validating a Role-Play-Based Simulation (RobS) for the Assessment of Pre-Service EFL Teachers’ Feedback Competence on Writing. [Disputationsvortag] Universität Paderborn.

Einmal Hildesheim und (aus gutem Grund frühzeitig) zurück – BMBF-Statusgruppenseminar

Schreibe eine Antwort
Universität Hildesheim – Bildnachweis: Philipp Wotschel

Wie schnell die Zeit vergeht, ist auch daran festzumachen, dass nur wenige Monate seit dem letzten Statusgruppenseminar vergangen sind, das wir als PERFORM-LA Nachwuchsforschungsgruppe in Paderborn ausgerichtet haben. Somit ist es ein erfreulicher Anlass, die anderen Nachwuchsforschungsgruppen so schnell bei dem 8. Statusgruppenseminar in der Universität Hildesheim wiedersehen zu dürfen. Prof. Johanna Fleckenstein und Dr. Fabian Schmidt von der Nachwuchsgruppe FORMAT haben zu einem zweittägigen Treffen am 27. und 28.02.2025 eingeladen. Christoph und Philipp waren für den ersten Tag zu Gast und traten eine frühzeitige Rückreise an, um für einen besonderen Termin wieder in Paderborn zu sein. Wo es am 28.02.2025 für die Beiden hingegangen ist, erfahrt ihr in unserem nächsten Beitrag.

Nach einer herzlichen Begrüßung vor Ort stand mit der Keynote von Prof. Olaf Köller auch schon der erste inhaltliche Programmpunkt an. Unter dem Titel „Für ein erfolgreiches Leben: Was müssen Jugendliche können, um erfolgreich in die Ausbildung übertreten zu können?“, gab Prof. Köller einen Einblick in unterschiedliche Aspekte von Kompetenzfacetten von jungen Erwachsenen, die in einer anschließenden Diskussion vertiefend besprochen werden konnten.

Die Diskussionsstimmung konnte auch in einem anschließenden Programmpunkt, einem Gespräch mit dem BMBF-Ministerialdirigent, Dr. Stefan Luther, und Prof. Köller, aufrecht erhalten werden. Hierbei wurden mit allen Teilnehmenden Perspektiven, Herausforderungen und mögliche Entwicklung in der Bildungsforschung angeregt besprochen. Unter andrem lag der Fokus dabei auf Chancen der Wissenschaftskommunikation und der Rolle der Wissenschaft im demokratischen Diskurs.

Den inhaltlichen Abschluss des Tages bildete eine gemeinsame Postersession, für die alle Nachwuchsforschungsgruppen eingeladen waren, ausgewählte Projektergebnisse zu präsentieren. Diese Chance wurde natürlich genutzt, um mit den anderen Teilnehmenden über Thomas Englisch-Feedback-Performanztest, Philipps Beratungs-Performanztest und die neusten Erkenntnisse von Lea und Christoph zum OSTE in den Austausch zu kommen. 

Wir möchten uns an dieser Stelle nochmals herzlich für die Organisation und Ausrichtung des Statusgruppenseminars und den Austausch und das Feedback bedanken und freuen uns auf das nächste Treffen im kommenden Herbst.  

Blick aus dem Statusgruppenseminarraum – Bildnachweis: Philipp Wotschel

Vorträge und Poster:

  • Grotegut, L.; Janzen, T.; Wotschel, P. & Vogelsang, C. (2025, 28. Februrar). Ein Objective Structured Teaching Examination für das Lehramtsstudium Physik [Poster]. 8. Statusseminar der BMBF-Nachwuchsforschungsgruppen „Empirische Bildungsforschung“. Universität Hildesheim.
  • Janzen, T. (2025, 28. Februrar). Show, don’t tell. Rollenspielbasierte Simulationsprüfungen (RobS) für zukünftige Englischlehrkräfte [Poster]. 8. Statusseminar der BMBF-Nachwuchsforschungsgruppen „Empirische Bildungsforschung“. Universität Hildesheim.
  • Köller, O. (2024, 27. Februar). Für ein erfolgreiches Leben: Was müssen Jugendliche können, um erfolgreich in die Ausbildung übertreten zu können? [Vortrag]. 8. Statusseminar der BMBF-Nachwuchsforschungsgruppen „Empirische Bildungsforschung“. Universität Hildesheim.
  • Wotschel, P.; Grotegut, L.; Janzen, T. & Vogelsang, C. (2025, 28. Februrar). Gut beraten im Lehramtsstudium? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates. [Poster]. 8. Statusseminar der BMBF-Nachwuchsforschungsgruppen „Empirische Bildungsforschung“. Universität Hildesheim.

OSTE-Tour – Sommersemester 2024

Es geht voran…

Es war ein ereignisreicher Sommer! Nach der Pilotierung unseres Prototypen einer Objective Structured Teaching Examination (OSTE) für (angehende) Lehrkräfte im Fach Physik stand das Sommersemester 2024 ganz im Zeichen einer breiteren Erprobung. Das Konzept des OSTE stammt ursprünglich aus der Professionalisierung von Ausbildenden der Medizin (Fakhouri & Nunes, 2019). Dabei handelt es sich um eine Art Prüfungsparcours, in dem die Geprüften an verschiedenen Stationen typische Anforderungen des Berufs bewältigen müssen. Die Stationen sind möglichst handlungsnah gestaltet, um auch die tatsächlichen, im späteren Beruf notwendigen Fähigkeiten zu adressieren (z.B. das Geben von Feedback an angehende Ärzt*innen im praktischen Jahr). Technisch gesprochen: Sie müssen Performanz zeigen (Blömeke, Gustafson & Shavelson, 2015). Für einen Einsatz als Prüfung besteht eine zentrale Herausforderung darin, dass die geprüften Situationen möglichst authentisch bzw. berufsrelevant sein müssen (Gulikers et al., 2008), aber zugleich auch eine gewisse Standardisierung aufweisen, damit Leistungen zwischen einzelnen Personen möglichst fair verglichen werden können. Daher werden in den Stationen typischerweise Schauspieler*innen eingesetzt, die geschult sind, möglichst vergleichbare Anforderungen herzustellen, aber zugleich eine adaptive Interaktion ermöglichen.

Bildnachweis: OSTE-Stationsplan – Bremen, (c) Christoph Vogelsang

OSTEs für die Lehrkräftebildung

Die Simulation berufstypischer Situationen mit Schauspieler*innen findet sich auch schon vereinzelt in der Lehrkräftebildung, bisher allerdings hauptsächlich als Übungsformat oder als Assessment-Verfahren im Rahmen von Forschungsprojekten (z.B. Fischer & Opitz, 2022; Gerich & Schmitz, 2016). In unserem Projekt haben wir einen OSTE entwickelt, der als Prototyp als Prüfungsverfahren einsetzbar sein soll. Da Anforderungen an Lehrkräfte zu großen Teilen auch fachspezifisch sind, bezieht sich unser OSTE auf Lehramtsstudierende mit dem Unterrichtsfach Physik. Bei der Entwicklung sollten einige Bedingungen berücksichtigt werden. Erstens muss natürlich die Validität der einzelnen Stationen sichergestellt werden. Es sollten also Kompetenzen, die für den Beruf relevant und in Bezug auf entsprechende Kompetenzmodelle darstellbar sind, abgebildet, passende Situationen gestaltet und entsprechende Bewertungskategorien entwickelt werden. Zweitens muss die Erfassung der Performanz – wie bei Instrumenten in der Bildungsforschung üblich – ausreichend reliabel erfolgen, wobei innerhalb eines OSTE Reliabilität auch über die Anzahl von Stationen beeinflusst werden kann. Drittens muss der Einsatz unter den üblichen Bedingungen eines Studiums erfolgen können. Das betrifft bspw. die zur Verfügung stehende Prüfungszeit oder die Akzeptanz durch die Studierenden und Dozierenden, die derartige Prüfungen ja selbst durchführen müssten.

Unser vor diesem Hintergrund entwickelte Prototyp eines OSTE für das Lehramt Physik umfasst nach aktuellem Stand insgesamt sieben Prüfungsstationen. Nach der Pilotierung und auch im Verlauf der Erprobung wurde er so modifiziert, dass er insgesamt in zwei Stunden absolviert werden kann bzw. absolviert werden können sollte. Dies entspricht einem Zeitumfang von zehn Minuten pro Station (mit Ausnahme einer 20-minütigen Station) plus Wechselpausen. Die handlungsrelevanten Situationen wurden entlang der vier Kompetenzbereiche Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2024) ausgewählt und repräsentieren typische Core Practices von Physiklehrkräften (vgl. Fraefel & Scheidig, 2018). Für einige Stationen konnten wir auf Vorarbeiten von vielen geschätzten Kolleg*innen zurückgreifen (Danke!), andere Stationen sind komplette Neuentwicklungen. Alle Stationen simulieren typische Anforderungen, aber nicht alle Stationen benötigen Schauspieler*innen. Zum Teil ist der Bearbeitungsmodus schriftlich – wie es auch im Beruf erfolgt (z.B. bei der Planung von Unterricht). Eine Übersicht über die Prüfungsstationen ist in der nachfolgenden Tabelle dargestellt.

KompetenzbereichStation/SituationModusQuellen
UnterrichtenUnterrichtsplanungSchriftlichSchröder et al. (2020)
UnterrichtenUnterrichtsreflexionSimulation einer VideokonferenzKulgemeyer et al. (2021)
UnterrichtenErklärung eines physikalischen PhänomensSimulation mit Schauspieler*innenKulgemeyer et al. (2015)
BeurteilenBeratungsgesprächSimulation mit Schauspieler*innenWotschel et al. (2023), Eigenentwicklung
BeurteilenBeurteilung von Schüler*innentextenSchriftlichFeser (2019)
ErziehenModeration eines KonfliktgesprächsSimulation mit Schauspieler*innenEigenentwicklung
InnovierenGespräch zur UnterrichtsentwicklungSimulation einer VideokonferenzEigenentwicklung
Tab. 1 „OSTE-Physik: Stationsübersicht“


Gemäß der Standards (KMK, 2024) haben die einzelnen Stationen einen mal stärkeren (z.B. Unterrichtsplanung), mal weniger starken Bezug zum Fach Physik (z.B. Konfliktgespräch). Dies lässt sich allerdings nicht immer eindeutig disjunkt unterscheiden, da in beruflichen Situationen meist ein Bezug zu mehreren Bereichen des Professionswissens von Lehrkräften besteht (vgl. Blömeke et al., 2015).

Bildnachweis: OSTE-Team – Bremen, (c) Christoph Vogelsang, Danke an Stefan Oltmans für das Foto

On the road

Um zu prüfen, ob der entwickelte OSTE-Prototyp nicht nur auf theoretischer Seite ein geeignetes Prüfungsformat darstellt, sondern auch im praktischen Einsatz umsetzbar ist, haben wir ihn an drei verschiedenen Universitätsstandorten mit Lehramtsstudierenden erprobt. Dabei zeigten sich einige rein organisatorische Herausforderungen. Um den OSTE zu erproben, musste er in den Rahmen des Vorlesungsbetriebes im Sommersemester 2024 eingebettet werden. Das heißt, dass neben den zwei Stunden für den reinen Prüfungsparcours nur wenig zeitlicher Spielraum für die geplanten Erhebungen zu Einschätzungen der Studierenden zur Akzeptanz des Formats vorlagen. Dank der Geduld der Studierenden konnten wir aber glücklicherweise viel umsetzen. Logistisch mussten wir für jeden Testeinsatz vier unserer studentischen Schauspieler*innen und eine Menge technisches Equipment (z.B. Kameras, Tablets, schriftliches Testmaterial) jeweils rechtzeitig vor Ort bringen und einsatzbereit machen. Zusätzlich werden für die Durchführung mehrere Räume benötigt, die für den Zeitraum des OSTEs frei gehalten werden müssen.

Unser erster Tourstopp führte uns im April nach Bremen, wo wir den OSTE mit Unterstützung von Prof. Dr. Christoph Kulgemeyer und seinem Team erproben konnten. An zweiter Stelle gab es im Juni ein Heimspiel an der Universität Paderborn mit Unterstützung von Prof. Dr. Josef Riese (mit weniger logistischem Aufwand 😉 ). Der dritte Tourstopp führte uns Anfang Juli in die Nachbarschaft nach Bielefeld, in der uns Prof. Dr. Lisa Stinken-Rösner unterstützte. Zusätzlich konnten wir die Station zur Simulation eines Konfliktgesprächs in zwei erziehungswissenschaftlichen Seminaren an der Universität Paderborn bei unseren Kolleginnen Dr. Nicole Gruchel und Prof. Dr. Sandra Landhäußer erproben.

Bildnachweis: Konfliktstation Kurzfragebogen – Paderborn, (c) Christoph Vogelsang

Lessons learned

Grundsätzlich ziehen wir ein sehr positives Fazit aus unser OSTE-Tour im Sommer 2024. Sowohl das Feedback der Studierenden in den informellen Gesprächen nach und während der Durchführung als auch die ersten Einblicke in unsere parallel durchgeführten Fragebogenerhebungen zeigen, dass gerade die Authentizität und berufliche Relevanz des OSTE sehr positiv eingeschätzt werden. Kritischer sind die Studierenden dahingehend, inwiefern sie ihr bisheriges Lehramtsstudium auf diese Prüfungsanforderungen vorbereitet hat. Für die Durchführung des OSTE begegnen wir bei jedem Versuch noch neuen Fallstricken, die bei der Organisation zu beachten sind. Insbesondere das Einhalten eines genauen Zeitplans ist wichtig, um einen reibungslosen Ablauf zu garantieren, da es nach dem Beginn wenig Ausweichmöglichkeiten gibt, wenn man nicht jede Station mehrfach anbieten kann. Auch hatten wir teilweise mit Abbrüchen in der Internetverbindung für unsere simulierten Videokonferenzen zu kämpfen. Generell zeigt sich, dass das große Potential, dass OSTEs für die Lehrkräftebildung bieten, auch wirklich eingelöst werden könnte. Und das nicht nur im Fach Physik. Bis dahin liegt allerdings noch etwas Arbeit vor uns, wie die Auswertung der zahlreich aufgenommenen Videos, der im Nachgang geführten Interviews und der Analysen zum Zusammenhang zum Professionswissen.

Abschließend möchten wir allen danken, die uns bei unserer ersten OSTE-Erprobung unterstützt haben: unseren Kolleg*innen in Bielefeld, Bremen und Paderborn, unseren Schauspieler*innen Ella, Eike, Carlo (für den Einsatz am eigenen Geburtstag), Elena und Jasmin und ganz besonders allen Studierenden, die sich für uns und unser Projekt Zeit genommen haben! Ohne euch hätten wir alles nicht durchführen können. Vielleicht sehen wir uns ja nochmal zur geplanten OSTE-Tour im Wintersemester.

Bildnachweis: OSTE-Team – Bielefeld, (c) Christoph Vogelsang, Danke an Lisa Stinken-Rösner für das Foto

Literatur:

  • Blömeke, S., Gustafsson, J. E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie. 223, 3-13. (Online)
  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • Fischer, F., & Opitz, A. (2022). Learning to diagnose with simulations: Examples from teacher education and medical education. Springer Nature. (Online)
  • Fraefel, U., & Scheidig, F. (2018). Mit Pragmatik zu professioneller Praxis? Der Core-Practices-Ansatz in der Lehrpersonenbildung. BzL-Beiträge zur Lehrerinnen-und Lehrerbildung, 36(3), 344-364. (Online)
  • Gerich, M., & Schmitz, B. (2016). Using Simulated Parent-Teacher Talks to Assess and Improve Prospective Teachers‘ Counseling Competence. Journal of Education and Learning, 5(2), 285-301. (Online)
  • Gulikers, J. T., Kester, L., Kirschner, P. A., & Bastiaens, T. J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes. Learning and Instruction, 18(2), 172-186. (Online)
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Wotschel, P., Janzen, T., Meier, J., & Vogelsang, C. (2023, 1.4 September). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden [Vortrag]. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF). Universität Potsdam.

11. GEBF-Tagung „Bildung verstehen • Partizipation erreichen • Transfer gestalten“

Bildungsforschung in Potsdam … again

Bildnachweis: © Hilke Schulz, Universität Potsdam, Tagungsteam der GEBF 2024 | https://www.uni-potsdam.de/fileadmin/processed/f/6/csm_GEBF_Logo_Alternative_c3a682d778.png

Diesen März fand die jährliche Konferenz der Gesellschaft für Empirische Bildungsforschung in Potsdam statt. Dabei handelte es sich um einen Nachholtermin, da eigentlich schon 2020 in Potsdam getagt werden sollte, was aber aufgrund der COVID 19-Pandemie leider kurzfristig nicht möglich war. Insofern war es umso schöner, dass sich das Tagungsteam bereit erklärt hat, die Konferenz 2024 wieder auszurichten. Als Repräsentant unseres Teams war diesmal nur Christoph (also ich 😉 ) vor Ort. Der Tagungsort war derselbe wie schon auf der Tagung der AEPF 2023. Insofern war es auch gleichzeitig ein Wiedersehen mit dem schönen Campus Griebnitzsee (mit vielen Bäumen im Innenhof und es wurde auch wieder sonnig).

Unsere Beiträge

In diesem Jahr hatten wir die Gelegenheit, uns im Symposium Handlungsnahe Kompetenzmessung mit Simulationen in der Lehrkräftebildung: Potentiale und Herausforderungen zu beteiligen, das von Stephanie Kron und Prof. Dr. Stefan Ufer von der LMU München organisiert wurde. Christoph eröffnete das Symposium mit einem Vortrag über die Entwicklung und Ergebnisse aus der Validierung von Thomas‘ Performanztest für die rollenspielbasierte Prüfung von Feedbackkompetenz angehender Lehrkräfte im Fach Englisch. Dabei konnten wir auch aktuelle Ergebnisse zum Zusammenhang zwischen Performanz in der Simulation und dem Ausmaß von fachdidaktischen Wissen, Feedbackwissen und Sprachkompetenz berichten (Danke dir, Thomas, für die Auswertungen!). Danach berichtete Johannes Poser vom IPN in Kiel über die Erfassung der Diagnosekompetenz zum Experimentieren im Fach Biologie mit Hilfe eines virtuellen Klassenraums. In diesem virtuellen Klassenraum werden Gespräche mit einzelnen Schüler*innen simuliert, denen Fragen gestellt werden müssen (ausgewählt aus vorgegebenen Listen). Je nach Antwort, können weitere Fragen gestellt werden. Während dieses Prozesses müssen die Studierenden das Kompetenzniveau und das Wissen der simulierten Schüler*innen zum Experimentieren einschätzen und am Ende auch nochmals eine abschließende Einstufung der Kompetenz jedes*r Lernenden vornehmen. Daten aus einer Onlineuntersuchung mit N=86 Studierenden zeigte, dass diese die Niveaustufe in ca. 48% der Fälle korrekt diagnostizieren konnten. Im dritten Vortrag sprach Stephanie Kron über die Messung von und Beziehungen zwischen einzelnen Indikatoren der diagnostischen Kompetenz angehender Mathematiklehrkräfte. Zur Erfassung der Diagnosekompetenz wurde eine rollenspielbasierte Simulation genutzt, in der Lehramtsstudierende mit von trainierten Schauspieler*innen verkörperten Schüler*innen zwei diagnostische Einzelgespräche führen mussten. Zentrales Steuerungsinstrument dieser Simulationen ist dabei die Auswahl von Aufgaben, die sie den Schüler*innen im Verlauf verschiedene vorlegen müssen, die die Schüler*innen wiederum bearbeiten. Aus Ergebnis und der Beobachtung des Bearbeitungsprozesses wiederum sollte am Ende der Lernstand der Schüler*innen bzgl. neun Facetten der Dezimalbruchrechnung beurteilt werden. Als Indikator der Diagnosekompetenz wurde unter anderem der Anteil an Aufgaben berechnet, die ein hohes diagnostisches Potential innerhalb des Gesprächs aufweisen. Dabei zeigte sich in einer Untersuchung mit N=63 Studierenden, dass so gut wie keine Anpassung der Aufgabenauswahl anhand der Schüler*innenantworten stattfindet. Alle unsere Vorträge wurden aus einer medizindidaktischen Perspektive von Prof. Dr. med Harm Peters von der Charité Berlin diskutiert, was sehr bereichernd war und mir einige Anregungen für unsere weitere Arbeit im Projekt gegeben hat. Vielen Dank auch nochmal an dieser Stelle an Stephanie und Stefan für die Einladung und die Organisation! Daneben waren Jana und Christoph auch als Co-Autoren am Beitrag Pedagogical reasoning bei der Unterrichtsplanung – Eine netzwerkanalytische Untersuchung des Planungsentscheidens beteiligt, in dem Prof. Dr. Daniel Scholl unsere gemeinsamen Arbeiten zur Darstellung von Unterrichtsplanungen mit netzwerkanalytischen Methoden vorstellte. Danke auch dir Daniel!

Bildnachweis: © Christoph Vogelsang| Altehrwürdiger Eingang

Inspirationen

Daneben gab es auch dieses Jahr wieder viele interessante Vorträge und Poster zu unterschiedlichsten Aspekten der empirischen Bildungsforschung. Besonders interessant für uns war natürlich die (virtuelle) Keynote von Prof. Dr. Pam Grossman von der Penn GSE – University of Pennsylvania, die unter dem Titel Core Practices for Teaching: A Language for Developing and Improving Professional Practice einen Ansatz vorstellte, den auch wir für die Entwicklung unserer simulationsbasierten Prüfungen verwenden. Im Zentrum stehen so genannten Core Practices, also professionelle Praktiken, die prototypisch und fundamental für den Lehrkräfteberuf sind. Zum Erwerb von Kompetenzen bzgl. dieser Kernpraktiken entwickelte und erprobte sie zusammen mit Anderen auch spezifische Ansätze für die Lehre (vgl. Grossman, 2018). In einer weiteren Keynote sprach Prof. Dr. Michael Becker-Mrotzek zum Transfer sprachlicher Förderkonzepte. Nach einem Überblick über aktuelle Lernstandserhebungen zu Lesefähigkeiten deutscher Schüler*innen berichtete er unter anderem am Beispiel des Hamburger Lesebands, welche Bedingungen notwendig sind, damit empirisch abgesicherte, lernwirksame Intervention zur Förderung der Lesekompetenz auch in der Breite des Schulsystems implementiert werden können.

Auch neben den Keynotes gab es natürlich einige Highlights. Bspw. berichtete Madlena Kirchhoff über die Entwicklung und Evaluation eines Seminars zur Förderung der Core Practices „Ziele festlegen“ und „Unterrichtseinstiege erstellen“. Dabei orientierte sie sich mit ihren Kolleg*innen am oben schon erwähnten Ansatz zur Förderung von Core Practices (Grossman, 2018), wobei die Studierenden ihre geplanten Unterrichtseinstiege auch in Microteaching-Simulationen erprobt haben. Zur Evaluation entwickelten sie Instrumente zur Erfassung der Core Practices, die sich zumindest für das Festlegen von Zielen auch in der theoretisch erwarteten Struktur empirisch abbilden ließen. Holger Futterbleib präsentierte Ergebnisse experimenteller Studien zur Frage, inwiefern Personen der empirischen Bildungsforschung die Fähigkeit und Zuständigkeit zuschreiben, relevante Beiträge für gesellschaftliche Entscheidungen bzgl. Fragen der Bildung liefern. In quotenrepräsentierten Stichproben aus der deutschen Bevölkerung konnten dabei die Ergebnisse früherer Laboruntersuchungen bestätigt werden. Wurden Personen Ergebnisse der Bildungsforschung präsentiert, die ihren Vorüberzeugungen widersprach (hier: Wirksamkeit von Klassenwiederholungen), schrieben sie der Bildungsforschung geringere Fähigkeit und Zuständigkeit zu. Dieser Effekt bliebt aber auf den konkreten Kontext beschränkt und wurde nicht auf andere Themen generalisiert.

Insgesamt war es auch dieses Jahr eine gelungene Konferenz, die auch sehr nachhaltig geplant und durchgeführt wurde (z.B. mit Mehrwegbechern, vegetarisch/veganem Catering und vielen weiteren kleinen Ideen). Herzlichen Dank an das Tagungsteam! Wir freuen uns schon auf das nächste Jahr.

Vorträge:

  • Becker-Mrotzek, M. (2024, 20. März). Transfer sprachlicher Förderkonzepte gestalten. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Futterleib, H., Thomm, E., & Bauer, J. (2024, 18. März). Das kann man gar nicht untersuchen! Abwertung der Fähigkeit und Zuständigkeit von Bildungswissenschaft in der Öffentlichkeit. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Grossman, P. (Ed.). (2018). Teaching core practices in teacher education. Harvard Education Press.
  • Grossman, P. (2024, 18. März). Core Practices for Teaching: A Language for Developing and Improving Professional Practice. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Kirchhoff, M., Telgmann, L., & Müller, K. (2024, 19. März). Zur Messung der Core Practices „Ziele festlegen“ und „Unterrichtseinstiege erstellen“. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Kron, S., Sommerhoff, D., Stürmer, K., & Ufer, S. (2024, 18. März). Messung von und Beziehungen zwischen einzelnen Indikatoren der diagnostischen Kompetenz angehender Mathematiklehrkräfte. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Poser, J., Fiedler, D., Schönle, D., Reich, C., & Harms, U. (2024, 18. März). Messung der Diagnosekompetenz zum Experimentieren mit der Klassenraumsimulation SKRBio. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Scholl., D., Küth, S., Vogelsang, C. Meier, J., & Seifert, A. (2024, 19. März). Pedagogical reasoning bei der Unterrichtsplanung – Eine netzwerkanalytische Untersuchung des Planungsentscheidens. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.
  • Vogelsang, C., Janzen, T., Wotschel, P., & Grotegut, L. (2024, 18. März). Entwicklung und Validierung einer rollenspielbasierten Simulation als Prüfungsverfahren für das Lehramtsstudium im Fach Englisch. 11. Jahrestagung der Gesellschaft für Bildungsforschung (GEBF), Potsdam.

„Prüfung – bitte nicht stören!“ – Pilotierung des OSTE für das Unterrichtsfach Physik

Das PERFORM-LA-Team ist gut in das neue Jahr gestartet und konnte sich mittlerweile auch vom Reisemarathon des vergangenen Jahres erholen. Das heißt natürlich nicht, dass es bei uns keine interessanten Entwicklungen gäbe, von denen wir berichten möchten – im Gegenteil:

Ein neuer Performanztest! – Nein, eigentlich sieben…

Nachdem im Sommer 2023 bereits die Haupterhebungen für Thomas’ Performanztest für das Unterrichtsfach Englisch und Philipps Performanztest für den bildungswissenschaftlichen Bereich stattfanden, konnten wir in dieser Woche nun auch endlich den OSTE (Objective Structured Teaching Examination) für das Unterrichtsfach Physik pilotieren. Der OSTE besteht Im Gegensatz zu den Performanztests in den Fächern Englisch und Bildungswissenschaften aus insgesamt sieben einzelnen Prüfungsstationen, die innerhalb eines ca. 2,5-stündigen Prüfungsparcours durchlaufen werden – ganz ähnlich einem OSCE in der medizinischen Ausbildung, den wir uns bereits in Aktion am KISS in Köln ansehen durften. Einige der Prüfungsstationen haben Jana und Lea für den OSTE komplett neu entwickelt, andere wurden basierend auf Vorarbeiten aus dem Projekt ProfileP+ (Kulgemeyer et al., 2021; Schröder et al., 2020; Vogelsang et al., 2019; Kulgemeyer & Tomczyszyn, 2015) und der Dissertation von Markus Feser (Feser, 2019) sowie auch Philipps Test zur Beratungskompetenz weiterentwickelt. Die Prüfungsstationen richten sich an Lehramtsstudierende mit dem Unterrichtsfach Physik und orientieren sich an den vier Kompetenzbereichen Unterrichten, Erziehen, Beurteilen und Innovieren der Standards für die Lehrkräftebildung (KMK, 2022). Dabei sind einige der Stationen eher fachspezifisch (Unterrichtsplanung, Erklären physikalischer Phänomene, Reflexion von Physikunterricht, Beurteilen von Schüler*innentexten) und einige eher fächerübergreifend (Beratung, Konfliktlösung, Unterrichtsentwicklung). Im Gegensatz zu Thomas‘ und Philipps Performanztests dauern die einzelnen Stationen des OSTE nur etwa 15-20 Minuten, um die Gesamtzeit des Prüfungsparcours im Rahmen zu halten. Neu beim OSTE ist außerdem, dass nicht alle der Stationen rollenspielbasiert sind, sondern auch ausschließlich schriftliche Materialien beinhalten oder aus simulierten Videokonferenzen bestehen.

Schauspieltraining & logistische Herausforderungen

Dennoch sind auch im OSTE drei rollenspielbasierte Stationen enthalten, in denen unsere studentischen Hilfskräfte wieder mit ihrem schauspielerischen Talent glänzen konnten. Glücklicherweise bekamen wir im Dezember Unterstützung von Ella, Eike und Carlo, die nun mit Jasmin und Elena das Hilfskraft-Team im Forschungsbereich des PLAZ bilden. So startete vor Weihnachten das Schauspieltraining für die rollenspielbasierten OSTE-Stationen. Für unsere Hilfskräfte hieß das: Rollenbeschreibungen lernen, Verbal Trigger verinnerlichen und natürlich: Viel üben! In unterschiedlichsten Konstellationen und mit Unterstützung des gesamten Teams wurden die Gesprächssimulationen geprobt, bis sich alle bereit gefühlt haben für die Pilotierung mit Lehramtsstudierenden. Neben der Entwicklung der Prüfungsstationen und dem Schauspieltraining spielte auch die Logistik eine wesentliche Rolle bei den Vorbereitungen der Pilotierung: die Lehramtsstudierenden sollten parallel und möglichst ohne Leerlauf die sieben Stationen durchlaufen. Geeignete Räumlichkeiten wurden organisiert, Ablaufpläne erstellt und eine Menge Material zur Bearbeitung und Evaluation der Stationen vorbereitet. Am 29. Januar war es dann endlich so weit, und erst einmal vier Lehramtsstudierende des Unterrichtsfachs Physik stellten sich den sieben OSTE-Stationen. Wie schon bei den bereits entwickelten Performanztests haben wir auch bei der Pilotierung des OSTE Kameras an den rollenspielbasierten Stationen aufgestellt, um die simulierten Gespräche zu videografieren. An den anderen Stationen haben wir den Arbeitsprozess der Lehramtsstudierenden per Bildschirmaufzeichnung dokumentiert und ihre schriftlichen Notizen und Ergebnisse festgehalten.

Die erste Hürde ist geschafft!

Die Studierenden füllten außerdem nach der Bearbeitung jeder einzelnen Station einen Kurzfragebogen aus, in dem sie die Authentizität und Immersion der Stationen bewerteten. So sind zahlreiche Aufzeichnungen und Beurteilungen des Prüfungsparcours entstanden, die in einem nächsten Schritt gesichtet und ausgewertet werden, um den OSTE für unseren nächsten geplanten Testdurchlauf im Sommersemester 2024 auf dieser Grundlage weiterzuentwickeln. Obwohl wir im Vorhinein noch etwas skeptisch waren, was den reibungslosen Ablauf der Pilotierung angeht, können wir nun ein positives Fazit ziehen: Die Studierenden konnten alle Stationen im Zeitrahmen bearbeiten, und unsere Hilfskräfte haben nicht nur schauspielerische Höchstleistungen erbracht, sondern durch ihre Unterstützung auch für einen reibungslosen Ablauf am Pilotierungstag gesorgt. Wir sind gespannt, was die Auswertung der Dokumente und Aufzeichnungen ergibt und wie sich der OSTE bis zum nächsten Testlauf weiterentwickeln wird.

Literatur:

  • Feser, M. S. (2019). Physiklehrkräfte korrigieren Schülertexte. Eine Explorationsstudie zur fachlich-konzeptuellen und sprachlichen Leistungsfeststellung und -beurteilung im Physikunterricht. Logos Verlag.
  • KMK (2022). Standards für die Lehrerbildung: Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004 i. d. F. vom 07.10.2022). (Online)
  • Kulgemeyer, C., & Tomczyszyn, E. (2015). Physik erklären – Messung der Erklärensfähigkeit angehender Physiklehrkräfte in einer simulierten Unterrichtssituation. Zeitschrift für Didaktik der Naturwissenschaften, 1(21), 111-126. (Online)
  • Kulgemeyer, C., Kempin, M., Weißbach, A., Borowski, A., Buschhüter, D., Enkrott, P., … & Vogelsang, C. (2021). Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience. International Journal of Science Education, 43(18), 3035-3057. (Online)
  • Schröder, J., Riese, J., Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., … & Schecker, H. (2020). Die Messung der Fähigkeit zur Unterrichtsplanung im Fach Physik mit Hilfe eines standardisierten Performanztests. Zeitschrift für Didaktik der Naturwissenschaften, 26(1), 103-122. (Online)
  • Vogelsang, C., Borowski, A., Buschhüter, D., Enkrott, P., Kempin, M., Kulgemeyer, C., … & Schröder, J. (2019). Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik. Analysen zu valider Testwertinterpretation. Zeitschrift für Pädagogik, 65(4), 473-491. (Online)

30. DGFF-Kongress 2023 – Die Fremdsprachenforschung zu Gast in Freiburg

Bildnachweis: © PH Freiburg

Vom 26.09 bis 29.09 fand im wunderschönen Freiburg im Breisgau der 30. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung statt – und Thomas und Christoph waren auch mit dabei. Für Christoph war es dabei eine besondere Erfahrung, da er ja eher aus der Physikdidaktik kommt und in diesem Feld weniger zu Hause ist (wobei er vor 2 Jahren auf dem digitalen Format schonmal erste Sprachdidaktikluft schnuppern konnte). Er wurde zwar als Exot wahr- aber sehr herzlich aufgenommen ;).

Anders als vor zwei Jahren, als das Projekt noch am Anfang stand, konnte Thomas dieses Mal auch schon einige Fortschritte präsentieren. Auf seinem Poster „Show, don’t tell – Rollenspielbasierte Simulationsprüfungen für zukünftige Englischlehrkräfte“ hat Thomas den Test sowie erste Ergebnisse der Validierungsuntersuchungen vorgestellt. In den knapp 2 Stunden wurde in vielen Gesprächen über das Potential von rollenspielbasierten Simulationsprüfungen gesprochen und die (vorläufigen) Ergebnisse der noch laufenden Validierung diskutiert. Es war eine allgemein sehr ergiebige und gutbesuchte Postersession – danke hier an die Organisator*innen für diese schöne Möglichkeit!

Bildnachweis: © Christoph Vogelsang

Es gab, wie immer auf Konferenzen, viele andere spannende Vorträge. Hervorheben wollen wir natürlich auch die Vorträge von unseren Kolleg*innen aus Paderborn: Maike Bauer stellte Ergebnisse ihres Dissertationsprojekts zum Einsatz von Diaspora-Kurzgeschichten im Englischunterricht vor. Dominik Rumlich war an einem Symposium zum Fremdsprachenfrühbeginn und am Nachwuchscafé beteiligt. Dagmar Keatinge und Katharina von Elbwart präsentierten Ergebnisse aus dem Deutsch-Kanadischen Kollaborationskurs Teaching Language Internationally und fokussierten sich dabei auf Identitätskonstruktionen von angehenden Fremdsprachenlehrkräften. Katharina prästierte zudem noch Ergebnisse zu perceptual dialectology in Florida. Unser Standort war daher ziemlich gut vertreten, wie wir finden 🙂

Ein weiteres Vortragshighlight war der Beitrag von Dr. Malgorzata Barras von der Universität Freiburg aus der Schweiz. In einem aufwändigen Verfahren hat sie fremdsprachliche Testitems evaluiert und dazu neben quantitativen Daten auch die introspektiven Verfahren des Lauten Denkens und Stimulated Recalls eingesetzt. Untersucht wurde, welche Strategien die Testpersonen nutzen, um die Aufgaben zu lösen. Spannend war hierbei, dass durch die verschiedenen introspektiven Verfahren auch verschiedene Teststrategien aufgezeigt werden konnten – so lassen sich manche Strategien nur durch eines der beiden Verfahren aufzeigen. Beeindruckend war auch der Vortrag von Prof. Dr. David Gerlach und Dr. Kristin Weise-Zurmühlen dazu, wie (Fremd-)Sprachenlehrkräfte mit Verschwörungstheorien umgehen und sich im Unterricht positionieren (müssen), eine Herausforderung vor der Lehrkräfte spätestens seit der Coronapandemie häufig stehen.

Neben dem inhaltlichen Gesichtspunkten, war es auch schön viele bekannte Gesichter wiederzusehen und sich auszutauschen – sowohl beim Schlange stehen auf dem Conference Dinner, als auch bei einem Kaffee in den vielen sonnigen Pausen. Hoffentlich sieht man sich 2025 in Kassel wieder.

Wir bedanken uns bei dem Team um Prof. Dr. Olivier Mentz und natürlich allen Helfer*innen für die wunderbare Organisation dieser Tagung!

Vorträge:

  • Barras, M. (2023, 27.09.). Forschungsmethodologische Grenzen mittels Triangulation überwinden: Zum Einsatz von Lautem Denken, Stimulated Recall und quantitativen Daten in einer Studie zur Testvalidierung. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Bauer, M. (2023, 29.09.). Diaspora-Kurzgeschichten im fremdsprachlichen Unterricht Englisch: Ein neuer didaktischer Impuls? 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Brunsmeier, S., Frisch, S. & Reckermann, J. (2023, 27.09.). Symposium: Fremdsprachenfrühbeginn. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Gerlach, D. & Weiser-Zurmühlen, K. (2023, 28.09.). Language Teacher Identity und Verschwörungstheorien: Wie Lehrkräfte gezwungen werden, sich bei kritischen Themen im Unterricht zu positionieren. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Janzen, T., Meier, J., Rumlich, D., Vogelsang, C. & Wotschel, P. (2023, 28.09). Poster: Show, don’t tell – Rollenspielbasierte Simulationsprüfungen für zukünftige Englischlehrkräfte. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • Matz, F. & Rumlich, D. (2023, 28.09.). Nachwuchs-Café: Symposium zur interdisziplinären Vernetzung von Doktorand*innen und Postdocs. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • von Elbwart, K. & Keatinge, D. (2023, 28.09.). Language teacher identity über Grenzen hinweg? Identitätskonstruktion in internationalen Lernumgebungen in der LehrerInnenausbildung. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.
  • von Elbwart, K. (2023, 28.09.). Sprachliche Grenzräume visualisieren: Perceptual dialectology im (Fremd)Sprachenunterricht. 30. DGFF Kongress 2023, Pädagogische Hochschule Freiburg.

AEPF 2023: Willkommen in Potsdam

Bildnachweis: © Universität Potsdam

Vom 13.- 15. September 2023 fand an der Universität Potsdam unter dem Motto „Schule und Lehrkräfte. Bildung neu denken“ die Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) sowie der Kommission Bildungsplanung, Bildungsorganisation und Bildungsrecht (KBBB) statt. Wir waren mit einigen Beiträgen auf der Tagung vertreten und möchten euch an unseren Eindrücken teilhaben lassen.

Bildnachweis: © Jana Meier

Unsere Beiträge

Während am Mittwoch und Freitag eine spannende Vielzahl an Sessions angeboten wurden, stand der Donnerstag für uns ganz im Zeichen unserer Beiträge. Tatsächlich waren diese hintereinander über den Tag verteilt platziert, weshalb sie in drei Akten beschrieben werden können.

Donnerstag Vormittag – Unter dem Titel „‘Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.‘ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium?“ präsentierte Christoph einen Beitrag zu den Fragen, wie Lehramtsstudierende ihre Prüfungserfahrungen bewerten, verschiedene Prüfungsformate wahrnehmen und welche Erfahrungen sie mit Feedback auf ihre Prüfungsergebnisse gemacht haben. Die Ergebnisse zweier unserer Befragungen zeigen, dass Lehramtsstudierende eine negative Feedbackkultur erleben und dass die im Lehramtsstudium stark wahrgenommene Diskrepanz zwischen Theorie und Praxis sich auch in ihren Prüfungserfahrungen widerspiegelt.

Bildnachweis: © Jana Meier

Donnerstag Mittag – Im direkten Anschluss stellte Jana ihren Beitrag vor. Dieser trug den Titel „Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden“. In diesem Zusammenhang wurden Ergebnisse einer quantitativen Studie mit N = 460 Lehramtsstudierenden von zwei deutschen Universitäten vorgestellt, in der der Zusammenhang einer quasi-experimentellen Einstellung zur Reflexion (QEE) gemachter Unterrichtserfahrungen und der Reflexionsperformanz mit den Dimensionen ihrer inhaltlichen Breite, der Reflexionstiefe und ihres Bezugs zu Theorien untersucht wurden. Die Ergebnisse zeigen, dass die befragten Studierenden eine eher ausgeprägte Einstellung zur akribischen Unterrichtsplanung und zur evidenzbasierten Unterrichtsanalyse haben. Das Vertrauen in die Vorhersehbarkeit von Unterrichtsabläufen und die Offenheit für fundierte Theorie fallen dagegen gering aus. Die Reflexionsperformanz der Studierenden ist begrenzt und sie gehen meistens nicht über eine Bewertung, ohne Theoriebezüge, hinaus. Zudem zeigte sich ein kleiner positiver Zusammenhang zwischen den Einstellungen und der Reflexionsbreite und dem Theoriebezug.

Bildnachweis: © Philipp Wotschel

Donnerstag Nachmittag – Darauffolgend präsentierte Philipp seinen Beitrag, „Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden“, der im Symposium „Beratungskompetenz in der Lehrkräftebildung – Wie können angehende Lehrkräfte Beratung erlernen?“, eingebettet war. In diesem Rahmen wurden die Pilotierungsergebnisse und unser Prototyp einer standardisierten, handlungsnahen Prüfung mit dem zugehörigen Bewertungsmodell, zur Erfassung und Beurteilung beratungsbezogenen Verhaltens Lehramtsstudierender, ausführlich vorgestellt.

Bildnachweis: © Jana Meier

Inspirationen

Philipps persönliche Höhepunkte auf der AEPF 2023 waren ebenso in diesem Symposium verortet. So gewährte Dr. Frank Behr mit seinem Beitrag, „Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften“, einen Einblick in eine Studie, mit der der Einfluss fremder und eigener Beratungsvideos in einer digitalen Lernumgebung zur Elternberatung auf die Entwicklung der professionellen Wahrnehmung schulischer Beratungssituationen von Lehramtsstudierenden untersucht wurde. Die Ergebnisse deuten darauf hin, dass die Analyse von fremden und eigenen Beratungsvideos in dieser Lernumgebung die kognitiven Prozesse der professionellen Wahrnehmung von Lehramtsstudierenden aktivieren kann. Im Vergleich zu Kontrollgruppe hat sich in beiden Interventionsgruppen die professionelle Wahrnehmung im Seminarverlauf verändert.

Daneben ging Dr. Scarlett Kobs in Ihrem Beitrag, „Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften?“, der Frage nach, welchen Effekt Rollenspiele im Vergleich zu schriftlichen Reflexionen auf die Entwicklung der Beratungskompetenz von Lehramts- und Rehabilitationspädagogikstudierenden haben. Die Ergebnisse der Untersuchung zeigen, dass die Intervention einen positiven Effekt auf die selbsteingeschätzte Kompetenz der Studierenden im Explorieren von Gefühlen und Gedanken hatte und, dass das praktische Erproben beraterischer Fertigkeiten zu einem Kompetenzanstieg im Erleben der Studierenden führte.

An dieser Stelle nochmal vielen herzlichen Dank an Dr. Scarlett Kobs für die Organisation des Symposium und an Dr. Charlott Rubach für die wertwolle Diskussion der Einzelbeiträge.

Neben diesen Beiträgen, die auch sehr dicht an unseren eigenen Arbeiten in der Nachwuchsforschungsgruppe liegen, hat Christoph noch zwei weitere Highlights von der Konferenz mit nach Paderborn genommen. In ihrem Vortrag „Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback“ berichteten Lucas Jasper Jacobsen und Dr. Kira Elena Weber von der Leuphana in Lüneburg von einer experimentellen Studie, in dem sie Feedback generiert von einer KI (hier: ChatGPT) mit dem Feedback generiert durch menschliche Expert*innen (hier: Hochschullehrende) und Noviz*innen (hier: Studierende im BA) verglichen. Hierzu ließen sie diese drei Gruppen feedback provider ein bzw. mehrere schriftliche Feedbacks auf ein (fehlerhaft) formuliertes Lernziel für eine Unterrichtsplanung generieren und analysierten diese nach Kriterien für gutes Feedback. Dabei gaben die Expert*innen erwartbar qualitativ höherwertiges Feedback als Noviz*innen (bzgl. Angemessenheit, Fragen & dem Anbieten von Alternativen). Die Ki gab allerdings sogar teilweise besseres Feedback als Expert*innen (bzgl. der Erklärung des Feedbacks & der Spezifität). Dies hing aber jeweils sehr von den genutzten Prompts ab, so dass es in der Diskussion auch primär darum ging, wie diese formuliert sein müssen und evtl. in einer Art Archiv für die Hochschullehre gesammelt werden könnten.

Einen weiteren interessanten Beitrag hielt Dr. Susi Klaß von der Friedrich-Schiller-Universität Jena. Unter dem Titel „Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester“ berichtete sie von einem Lehrkonzept zur Förderung der Kernpraktik Unterrichtsgespräche zu führen bei Lehramtsstudierenden, das im Learning to Teach-Lab Science (LTL:S) durchgeführt wurde, in dem auch mit Simulationen von Gesprächssituationen gearbeitet wurde. Die Ergebnisse zeigten differentielle Befunden (bspw. ergaben sich Unterschiede in der Wirksamkeit verschiedener Lernelemente je nach Methode), aber verdeutlichten nochmals das Potential simulationsbasierten Lernens in der Lehrkräftebildung. Ebenfalls interessant war die Keynote „Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation“ von Prof. Dr. Felicitas Thiel von der Freien Universität Berlin, in der sie einen historischen Überblick über die Entwicklung empirischer Bildungsforschung bzw. evidenzbasierter Bildungspraxis in Deutschland gab. Christoph hatte sich bisher bspw. nicht sehr mit der schon um die Jahrhundertwende des 20. Jahrhunderts entwickelten experimentellen Pädagogik beschäfigt (z.B. Meyerhardt, 1910).

Wir haben uns gefreut, auf der AEPF 23 zu Gast sein zu dürfen, waren sehr angetan von der Conference-Dinner-Location und nehmen viele Ideen aus den vielfältigen Beiträgen und Diskussionen mit!

Direkt an der Havel – Das Conference Dinner. Bildnachweis: © Philipp Wotschel

Vorträge:

  • Behr, F. (2023, 14.09.). Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Jacobsen, L., & Weber, K. (2023, 14.09.). Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Klaß, S., Hauk. D., Hickethier, F., Dehne, M., Calcagni, E., & Gröscher, A. (2023, 15.09.). Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Kobs, S., Ay-Bryson, D.S., Kühne, F., & Knigge, M. (2023, 14.09.). Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meier, J., Vogelsang, C., Küth, S., Scholl, D., Watson, C., & Seifert, A. (2023, 14.09.). Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meyerhardt, M.W. (1910). Experimentelle Pädagogik. Monatshefte für deutsche Sprache und Pädagogik, 11(1), 1-11. (Online)
  • Thiel, F. (2023, 14.09.). Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation (Keynote). Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Vogelsang, C, Janzen, T., Meier, J., & Wotschel, P. (2023, 14.09.). „Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.“ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Wotschel, P., Vogelsang C.,  Janzen, T., & Meier, J. (2023, 14.09.). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.

Willkommen im Team!

Wir freuen uns, bekannt geben zu können, dass wir nun seit dem 17.07. von Lea Grotegut als Post-Doc unterstützt werden! Nach knapp anderthalb Jahren löst Lea Jana Meier ab, die als Lehrkraft für besondere Aufgaben ans Institut für Erziehungswissenschaft gewechselt ist.

Bildnachweis: (C) Lea Grotegut

Als wissenschaftliche Mitarbeiterin wird es Leas primäre Aufgabe sein, anknüpfend an Janas Arbeiten performanzorientierte Lehr- und Prüfungsverfahren für die Lehramtsausbildung im Fach Physik und den Bildungswissenschaften weiterzuentwickeln. Bestehende Performanztests zur Unterrichtsplanung, Reflexion und zum Erklären im Physikunterricht sollen durch Lea als zusammenhängende Serie von Anforderungen i. S. eines OSTE (objective structured teaching examination / objektiv strukturierte Lehrprüfungen)-Prototypen kombiniert und umfassend validiert werden.
Erfahrungen für die Nachwuchsforschungsgruppe bringt Lea u. a. aus ihrer im Juni 2023 abgeschlossenen Promotion mit, im Rahmen derer sie sich mit der Entwicklung einer digitalen Simulation zur Förderung diagnostischer Kompetenz angehender Lehrkräfte auseinandergesetzt hat – also inhaltlich schon ziemlich nah an dem, was wir in PERFORM-LA so machen! Zu ihren Forschungsinteressen zählen neben der diagnostischen Kompetenz professionelles Wissen (angehender) Lehrkräfte sowie hochschulische Prüfungen. Wir freuen uns sehr darüber, nun wieder vollständig zu sein und in neuer Besetzung in die nächste Projektphase zu starten!

1 Jahr danach – Datenerhebungsphase (vorläufig) abgeschlossen

Am 27.06.2022 fanden unsere ersten Simulationen mit Studierenden in der Pilotierungsphase unserer Datenerhebung statt. Ziemlich genau ein Jahr später ist diese Phase nun vorläufig abgeschlossen. Nach 61 Simulationen in Englisch (10 in der Pilotierung und 51 in der Haupterhebung) und 72 in Bildungswissenschaften (9 in der Pilotierung in 63 in der Haupterhebung), haben wir die Haupterhebungsphase des Projekts (vorläufig) beendet. Nachdem wir euch schon einen Einblick in den Alltag unserer Simulationen gegeben haben, ist nun ein guter Punkt, um zurückzublicken und das letzte Jahr ein bisschen Revue passieren zu lassen!

Am Anfang stand die Frage…

„Du studierst Englisch oder ein anderes Fach auf Lehramt?“. Mit diesem Flyer (siehe unten) machten wir uns auf die Suche nach Studierenden, die an unseren Simulationen teilnehmen wollten. Wir reisten durch die Universität, um Poster aufzuhängen, machten Werbung in Vorlesungen und Seminaren, verteilten Flyer in der Mensa, teilten Posts auf Facebook und Instagram. Die Nachricht verbreitete sich anfangs allerdings eher schleppend, und nicht selten fragten wir uns, ob wir das Ziel von 50 Teilnehmenden pro Teilprojekt in der Haupterhebung überhaupt erreichen können. Doch mühsam ernährt sich das Eichhörnchen und nach und nach erreichten uns mehr und mehr Anmeldungen.

(c) Universität Paderborn, Johannes Pauly; Thomas Janzen

Eat, Sim, Sleep, Repeat

Von nun an hieß es montags und dienstags: Simulieren! In der Pilotierungsphase betrug die Dauer der Teilnahme noch drei Stunden, sodass wir jeweils am Tag bis zu zwei Simulationen anbieten konnten. Durch ein abgestimmtes System und drei verfügbaren Räumen, war es uns möglich, in beiden Projekten parallel zu erheben. In der Haupterhebung haben wir, durch einen stärkeren Fokus, die Teilnahmezeit auf etwa zweieinhalb Stunden verkürzen und somit bis zu 16 Termine in der Woche anbieten können.

„Casting is 85 to 90 percent of the picture for me”- Martin Scorsese

Was Scorsese sagt, trifft auch für unsere Simulationen zu. Ohne kompetente Schauspieler*innen ist es nahezu unmöglich, Daten mit der Qualität zu erheben, die für die Entwicklung und Validierung performanzorientierter Prüfungsformate notwendig sind. Möglich gemacht wurde das Ganze durch unsere Schauspielerinnen Elena, Hannah und Jasmin. Sie haben in den Simulationen von morgens bis abends die Rollen von Mia, Alex und Christina eingenommen. Um in den Situationen möglichst authentisch und standardisiert zu agieren, absolvierten sie ein mehrwöchiges Training und diverse Testdurchläufe mit Kolleg*innen des PLAZ und der Englischdidaktik Paderborn. Ab der Pilotierung lief es dann so gut wie von selbst: Es war auf einmal ganz natürlich erst eine unsichere 9. Klässlerin zu mimen und keine 20 Minuten später als Elternteil nicht ganz zu verstehen, warum man zum Elternsprechtag kommen muss. Den Einsatz und die Flexibilität unserer drei Schauspielerinnen können wir nicht genug honorieren!

Unser Simulationsteam (v.l.): Philipp Wotschel, Thomas Janzen, Jasmin Heinrichs, Elena Seifert und Hannah Grummel (c) Philipp Wotschel

Bridge over troubled water

Zum Forschungsalltag gehörte es auch, mit Unsicherheiten umgehen zu lernen. Termine von Studierenden wurden manchmal weit im Voraus, oftmals kurzfristig abgesagt – oder einfach kommentarlos ausfallen gelassen. Vor dem Hintergrund des organisatorischen Aufwands war dies vor allem zu Stoßzeiten, mit vielen Terminanfragen, besonders ärgerlich. Manchmal gab es kleine Zweifel, ob die erhoffte Zahl an Teilnehmenden noch zu erreichen ist.

Doch von nichts kommt nichts und zum Glück hatten wir auch viel Unterstützung von Kolleg*innen: Das gesamte Team der Englischdidaktik Paderborn hat es uns ermöglicht in Vorlesungen und Seminaren mehrfach Werbung für unser Projekt zu machen – unser Dank geht hier insbesondere an Dominik Rumlich und Katharina von Elbwart, sowie Peter Hohwiller, Maike Bauer, Julie Intveen, Jeanette Böttcher, Dagmar Keatinge, Heike Niesen und Benedikt Wagner. Das PLAZ Kommunikationsteam um Björn Herdeegen und Angelina Berisha sowie die Fachschaft Lehramt haben durch ihre Werbung auf Facebook und Instagram viel Aufmerksamkeit für unser Projekt geschaffen. Durch die Hilfe von Frauke Matz, Jens Folkerts und der gesamten Münsteraner Englischdidaktik konnten wir auch an der Universität Münster Studierende für unsere Erhebung gewinnen und unsere Simulationen vor Ort durchführen. Vielen, vielen Dank – ihr habt alle entscheidend zum Erfolg von PERFORM-LA beigetragen.

Selbstverständlich gilt unser größter Dank den Studierenden, die an unserer Studie teilgenommen haben. Ohne die Bereitschaft und das Vertrauen alles Teilnehmenden wäre die Umsetzung des Projekts nicht möglich gewesen.

Letztendlich haben wir es geschafft, genug Teilnehmende zu erreichen und können nun zufrieden mit den von uns erhobenen Daten in die nächste Projektphase gehen.

Cold hard facts

Was ist denn nun der Ertrag unserer Erhebung in ein paar konkreten Zahlen?

  • Insgesamt durchgeführte Simulationen: 123
  • Speichermenge der Aufnahmen (Videos + Audios der Interviews): ca. 200 GB
  • Laufzeit des Videomaterials: Über 1000 Minuten

What‘s next?

Der Ball liegt nun wieder in unserem Feld. Unser Ziel ist es jetzt zu schauen, inwieweit sich mit rollenspiel-basierten Simulationen valide Leistungen erheben und bewerten lassen. Daher befinden wir uns aktuell in der Entwicklung eines Bewertungsinstruments für die Simulationen. Mit Hilfe der Videos können wir dann die weiteren Schritte unternehmen, wie die Validierung durch externe Kooperationspartner*innen und Expert*innen. Außerdem dienen sie uns als Ankerbeispiele, um bestimmte Handlungsoptionen zu kategorisieren und einzuordnen.

Quellen:

  • Scorsese, M. https://www.masterclass.com/classes/martin-scorsese-teaches-filmmaking/chapters/casting-actors.

Kurzzusammenfassung: „Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht“

Das erste Paper im Kontext unserer Nachwuchsgruppe ist nun open access verfügbar! In dem Artikel gehen wir der Frage nach, wie Lehramtsstudierende rollenspielbasierte Simulationen wahrnehmen. In dieser Kurzzusammenfassung geben wir euch einen kurzen Überblick über die wichtigsten Aspekte. Tiefergehende Informationen z.B. zur Theorie und Methodik findet ihr im Artikel selbst. Hier kommt ihr direkt zum Artikel in der Zeitschrift die hochschullehre.

Was sind Kontext und Ziele der Studie?

Oft wird kritisiert, dass das Lehramtsstudium einen zu geringen Bezug zur späteren Berufspraxis habe (vgl. Cramer, 2014). Wie wir auf diesem Blog auch schon oft angesprochen haben, könnten rollenspielbasierte Simulationen eine Möglichkeit sein, handlungsnahe Kompetenzen, die relevant für die spätere Berufspraxis sind, schon in der Hochschule zu üben und insbesondere zu prüfen. Um einen ersten Eindruck davon zu gewinnen, wie Studierende als prospektive Testpersonen solche Formate wahrnehmen, haben wir einen Teil davon befragt.

Unsere Forschungsfragen waren:

  • Inwiefern haben Lehramtsstudierende im Laufe ihres Studiums Erfahrungen mit Rollenspielen (oder ähnlichen Simulationen) als Prüfungs- und/oder Übungsformat gemacht?
  • Wie beurteilen Lehramtsstudierende Rollenspiele (oder ähnliche Simulationen) als Prüfungsformat im Lehramtsstudium?

Wie sind wir vorgegangen?

In einer standardisierten Online-Umfrage haben wir N = 620 Lehramtsstudierende aus dem Master of Education an der Universität Paderborn befragt. In dem Fragebogen gab es sowohl offene Fragen, als auch geschlossene Fragen. Die offenen Fragen haben wir inhaltsanalytisch (Kuckartz, 2016), die geschlossenen Fragen zunächst deskriptiv ausgewertet und im Anschluss durch Faktorenanalyse zu Skalen (Authentizität, Fairness, Transparenz) zusammengefasst.

Was sind die wichtigsten Ergebnisse?

  • Ein Großteil der Studierenden (71,8%) hat noch keinerlei Erfahrungen mit Rollenspielen oder anderen simulationsbasierten Formaten, egal ob als Übung oder Prüfung.
  • 85,8% der Studierenden gaben an, keine Erfahrungen mit Rollenspielen als Prüfungsformat zu haben.
  • 8,5% der Studierenden haben Erfahrungen mit Rollenspielen als unbenotete Prüfung, 0,5% (n=3) als benotete Prüfung.
  • Studierende, unabhängig ob mit oder ohne Erfahrung, sehen in Rollenspielen einen hohen Grad an Authentizität, sind aber eher skeptisch was Transparenz und Fairness angeht.
  • Positiv wurde von den Studierenden herausgestellt, dass Rollenspiele einen hohen Bezug zur Berufspraxis aufzeigen würden. Kritisch wurde aber betrachtet, ob so ein Format es wirklich erlaube zu zeigen, was man könne und ob dies objektiv bewertbar sei.

Wie sind die Ergebnisse zu betrachten?

Studierende im Lehramt der Universität Paderborn haben bisher wenig Berührungspunkte mit rollenspielbasierten Simulationen, obwohl andere Professionen, wie die Medizin, diese schon länger einsetzen.

Erkennbar ist, dass Studierenden das Format als authentisch für den späteren Beruf einschätzen, aber auch, dass es für sie wichtig ist, dass die Bewertungsmaßstäbe transparent und möglichst objektiv sind. Wir vermuten, dass es hier, trotz Erklärungen im Fragebogen, aber auch zu Missverständnissen gekommen sein könnte, was das Format des Rollenspiels angeht, und diese nicht mit dem Grad der Standardisierung assoziiert wurden, wie es in simulationsorientierten Prüfungen üblich ist. Den aktuellen Arbeiten in den Projekten von Philipp und Thomas, in denen sie sich mit Bewertungsmöglichkeiten von rollenspielbasierten Simulationen auseinandersetzen, kommt also auch aus Studierendensicht eine zentrale Relevanz zu.

Einschränkend möchten wir erwähnen, dass die Befragung nur an einer Universität statt. Letztendlich gibt uns diese Studie aber erste Indizien darauf, was Studierende mit Rollenspielen im Lehramt verbinden und welche Einstellungen Sie bezüglich des Einsatzes dieser als Prüfung haben.

Interesse geweckt? Die umfassende Darstellung des Vorgehens und der Ergebnisse sind im Artikel zusammengefasst und open-access abrufbar. Wir freuen uns über Nachfragen, Anmerkungen und weitere, anregende Ideen!

Literatur:

  • Cramer, C. (2014). Theorie und Praxis in der Lehrerbildung. Bestimmung des Verhältnisses durch Synthese von theoretischen Zugängen, empirischen Befunden und Realisierungsformen. DDS – Die Deutsche Schule, 106(4), 344–357. (Link)
  • Kuckartz, U. (2016). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. Beltz.
  • Meier, J., Janzen, T., Wotschel, P. & Vogelsang, C. (2023). Rollenspielbasierte Simulationen als Übungs- und Prüfungsformate im Lehramtsstudium. Eine explorative Studie zu Erfahrungen und Einschätzungen aus Studierendensicht. die hochschullehre, Jahrgang 9/2023. (Link)