Archiv der Kategorie: Werkstattberichte

PERFORM-LA Kooperationstreffen am 03. Mai 2022

Heute stand ein besonderes Meeting für unsere Nachwuchsforschungsgruppe auf dem Programm – das erste Treffen, in dem wir zeitgleich mit allen unseren Kooperationspartnern aus Aachen, Bergen, Bremen und Paderborn zusammengekommen sind. Im Rahmen einer virtuellen Austauschrunde haben wir die Chance bekommen, den aktuellen Arbeitsstand unseres Projekts vorzustellen und Feedback, Anregungen und Tipps von unseren Kooperationspartnern einzuholen. Drei Stunden vergingen wie im Flug!  

Nach einer kurzen Kennenlernrunde haben wir das Treffen mit einem Überblick über die Ziele und die einzelnen Arbeitspakete des Projekts begonnen. Anschließend gab es von Thomas und Philipp einen Einblick in den aktuellen Stand der beiden Teilprojekte „Entwicklung eines Performanztests für das Lehramtsstudium im Fach Englisch: Feedback im Kompetenzbereich Schreiben“ sowie „Entwicklung eines Performanztests für das bildungswissenschaftliche Lehramtsstudium: Erfassung von Beratungskompetenz“. Hinsichtlich der Kategorienentwicklung gab es hierzu hilfreiche Anregungen von Christoph Kulgemeyer und Josef Riese, die auf ihre umfangreichen Vorerfahrungen zur Entwicklung von Performanztests im Projekt ProfileP+ zurückgreifen konnten. Spannende und wichtige Nachfragen kamen auch von Bardo Herzig, der ebenfalls Erfahrungen bei der Entwicklung von Testformaten, insbesondere aber auch bzgl. der Ausbildung angehender Lehrkräfte eingebracht hat. Wertvolle methodische Hinweise haben wir außerdem von Robert Kordts sowie, für das Fach Englisch, von Dominik Rumlich erhalten.

Die Expertise sowie die Interdisziplinarität unserer Kooperationspartner machen eine konstruktive Weiterentwicklung des Projekts möglich und vor allem: facettenreich. Derartige Austauschtreffen helfen auch, dass wir keinen zu starren Blick auf Details einnehmen und erlauben die Perspektiverweiterung auf einer übergeordneten Ebene. Wir bedanken uns bei unseren Kooperationspartnern für ihre wertvolle Zeit, die konstruktive Kritik sowie die vielen wertvollen Anregungen für die Weiterarbeit im Projekt.

Wir freuen uns schon sehr auf die nächsten Kooperationstreffen 🙂

Willkommen im Team!

Wir sind überaus glücklich bekannt geben zu können, dass wir seit dem 15.02 endlich vollständig sind und von Jana Meier als Post-Doc unterstützt werden!

Unser neues Mitglied Jana Meier.
Bildnachweis: © privat

Als wissenschaftliche Mitarbeiterin wird es Janas primäre Aufgabe sein, performanzorientierte Lehr- und Prüfungsverfahren für die Lehramtsausbildung im Fach Physik und den Bildungswissenschaften weiterzuentwickeln. Bestehende Performanztests zur Unterrichtsplanung, Reflexion und zum Erklären im Physikunterricht sollen durch Jana, als zusammenhängende Serie von Anforderungen i. S. eines OSTE (objective structured teaching examination/ objektiv strukturierte Lehrprüfungen)-Prototypen, kombiniert und umfassend validiert werden.


Erfahrungen für die Nachwuchsforschungsgruppe bringt Jana u. a. aus ihrem im Januar 2022 abgeschlossenen Promotionsverfahren mit, in dessen Rahmen sie sich mit der Reflexionskompetenz angehender Lehrkräfte auseinandergesetzt hat. Zu ihren weiteren Forschungsinteressen zählen außerdem qualitätsvolles Unterrichtshandeln und professionelles Wissen (angehender) Lehrkräfte, Berufswahlmotivation von Lehrkräften sowie Testmotivation. Wir freuen uns sehr darüber, nun vollständig zu sein und endlich richtig loslegen zu können!

Back to the roots! – Besuch im PhD-Kolloquium der WWU Englischdidaktik

Nicht allzu lange ist es her, da war ich noch Student und habe bei Prof. Frauke Matz meine Masterarbeit geschrieben – nun hatte sie mich eingeladen meine eigene Forschung in ihrem Kolloquium vorzustellen und zu diskutieren. Dieser Einladung bin ich natürlich gerne gefolgt!

Bildnachweis: © WWU Münster

Der digitale Vortrag umfasste die theoretischen Grundlagen unserer Performanztests, die auf dem Kontinuumsmodell professioneller Kompetenz von Blömeke, Gustafson & Shavelson (2015) beruhen, wonach Performanz die sichtbare Ausprägung der Kompetenz darstellt. Danach habe ich die bisherigen Planungen zum Testdesign präsentiert, also die Bewertungskriterien, das Konzept und die Steuerung der Simulation und das Material, welches als Grundlage für das Feedbackgespräch dient. Es wurden auch erste Einblicke in meine aktuelle Forschungsarbeit, in der die Authentizität eben dieses Materials untersucht wird, gegeben.

Die Diskussion im Anschluss war geprägt von einer distinkt fachdidaktischen Perspektive auf das Projekt. Ein Diskussionspunkt war die Sprache in der die Simulation stattfinden soll: Deutsch oder Englisch? Hier gibt es für beide Seiten sehr gute Argumente, so ist die Lehrkraft einerseits ein sprachliches Vorbild und sollte in der Lage sein, sich sprachlich auf das Niveau der Lernenden einzulassen. Außerdem gilt im Englischunterricht auch der Grundsatz der funktionalen Einsprachigkeit – so viel Englisch wie möglich, so wenig Deutsch wie nötig (MSB NRW, 2019). Andererseits könnte eine Simulation in der Fremdsprache auf der Seite der zu Testenden dazu führen, dass ihre fremdsprachlichen Fähigkeiten sie daran hindern, ihre Feedbackkompetenzen zu zeigen, was die Validität des Tests schmälern könnte. Wie sich dieses Dilemma auflösen lässt, wird sich hoffentlich nach der Pilotierung und weiteren Überlegungen zeigen.

Ich möchte mich ganz herzlich beim gesamten Münsteraner Team für das reichhaltige food for thought und die neuen Impulse bedanken. Insbesondere bedanke ich mich natürlich bei Prof. Frauke Matz für die Einladung 🙂

Literatur:

  • Blömeke, S., Gustafsson, J.-E. & Shavelson, R. J. (2015). Beyond Dichotomies: Competence Viewed as a Continuum. Zeitschrift für Psychologie, 223(1), 3–13. (Online)
  • Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen. (2019). Kernlehrplan für die Sekundarstufe I Gymnasium in Nordrhein-Westfalen. Englisch. (Online)

Fast wie im Fernsehen – Live und in Farbe!

© BMBF

Der 24. August war für unsere Nachwuchsgruppe ein besonderer Tag, denn es war das erste Mal, dass wir drei – Philipp, Christoph und Thomas – uns in Präsenz gesehen haben (natürlich unter strengen 3G-Bedingungen)! Pandemiebedingt mussten wir wie viele Andere auch aus dem Homeoffice arbeiten und haben uns nur im digitalen Raum sehen und kennenlernen können. Der Anlass des Treffens war auch ein ziemlich besonderer: Das BMBF hatte uns um ein Interview gebeten!

Über diese Anfrage haben wir uns natürlich sehr gefreut und sind der Bitte gerne nachgekommen. Nach der Terminplanung haben wir auch schon zügig mit den Vorbereitungen für das Interview begonnen [Spoiler: Die Antworten waren nicht ganz spontan – wir sind schließlich keine Profis ;-)]

Der Interviewtag selbst begann dann mit einem ersten analogen Kennenlernen und einem kurzen Probedurchlauf. Als die beiden Mitarbeiter der Agentur Cheil Christian Schnier und Klaus Rehm dazu kamen mussten wir erstmal eine geeignete Location finden. Zwar hätten wir unsere Dachterrasse aufgrund der schönen Aussicht (Ein Pader-Pun) bevorzugt, um etwaigen Tonproblemen aus dem Weg zu gehen, aber wir sind dann doch im klassischen Seminarraum gelandet, wie man im Video ja auch nur unschwer erkennen kann. Wir haben den Raum noch etwas hergerichtet und unser Logo – ganz professionell wie wir sind – auf die Leinwand projiziert.

Und dann hieß es auch schon: Action!

Das Video geht zwar nur 7 Minuten – aber das meiste Material liegt, wie man im Filmjargon so schön sagt, auf dem „cutting room floor“. Es hat manchmal halt etwas gedauert, bis die Antworten saßen und keine Versprecher oder Wortfindungspausen mehr vorkamen. Am Ende haben wir dann ca. 2h gebraucht – was ihr seht ist also ein „Best-Of“! Wenn man genau hinschaut erkennt man sogar, dass die Fragen und Antworten nicht chronologisch gestellt worden sind (Man achte auf Thomas‘ Mikrofon…). Für unsere Kolleg*innen am PLAZ haben wir noch eine besondere Aufgabe: Welche zwei rosafarbenen, quaderförmigen Objekte haben sich in unser Video geschlichen?

Nachdem die Arbeit getan war, haben wir den restlichen Tag noch genutzt, um die Universität besser kennenzulernen, schließlich war es das erste Mal, dass wir beiden Promovierenden in Präsenz da waren. Christoph zeigte uns die Bibliothek, Mensa (ganz wichtig!) und die Aussicht vom höchsten Turm der Uni.

Vielen dank an dieser Stelle nochmal an den Produzenten und Kameramann für die tolle Arbeit im Vorfeld, die angenehme Durchführung vor Ort und das Schneiden und Erstellen des Videos – Wir freuen uns sehr über das tolle Ergebnis! Passend zum Video könnt ihr euch auch den kurzen Bericht auf der Seite der Wissenschafts- und Hochschulforschung ansehen.

Wie nehmen Lehramtsstudierende verschiedene Prüfungsformate wahr?

Einblicke in unsere Forschungsarbeit

Ein zentrales Ziel unserer Arbeit ist die Entwicklung performanzorientierter Prüfungsformate, also Formaten, in denen Personen möglichst handlungsnahe Anforderungen bewältigen müssen. Wir orientieren uns dabei an Konzepten der Ausbildung von Mediziner*innen (Miller, 1990). Dort werden bspw. typische Handlungsanforderungen (z.B. Anamnesegespräche) mit Schauspieler*innen simuliert (so genannte standardisierte Patient*innen) und teilweise auch zur Prüfung eingesetzt. Wir möchten das große Potential solcher Formate auch für die Lehramtsausbildung nutzbar machen. Sie könnten zum Beispiel im Master als Alternativen zu klassischen Prüfungsformaten im Praxissemester oder für Modulprüfungen verwendet werden. Damit diese aber auch in der Praxis verwendet werden können, müssen sie bestimmte Anforderungen erfüllen und natürlich auch von Studierenden akzeptiert werden.

Im Lehramtsstudium werden Studierende mit verschiedenen Prüfungsformaten konfrontiert. Uns interessiert daher insbesondere, wie performanzorientiertere Formate im Vergleich zu eher etablierten Formaten wahrgenommen und empfunden werden. In der Forschungsliteratur haben wir bisher keine empirischen Studien gefunden, aus denen für Lehramtsstudierende schon Hinweise abzulesen sind (zumindest bisher, Hinweise nehmen wir natürlich gerne entgegen). Was es aber gibt, sind Studien zur Wahrnehmung von Prüfungen in einem Studium generell. Dabei wurden Prüfungsformate aus Sicht der Studierenden hinsichtlich verschiedener Merkmale betrachtet, bspw. ob sie als fair oder auch authentisch für das Ziel des Studiums empfunden werden (z.B. Struyven, Dochy & Janssens, 2005). Prüfungsformen, die nur in der Lehramtsausbildung vorkommen, wie den benoteten Unterrichtsbesuch, wurden dabei bisher kaum betrachtet.

Aus diesem Grund haben wir eine eigene kleine Befragung initiiert und mit Hilfe von Likert-Items bei denen Studierende den Grad ihrer Zustimmung zu Aussagen angeben müssen, Einschätzungen zu verschiedenen Prüfungsformaten in den Dimensionen Fairness, Authentizität/Relevanz und Transparenz eingeholt. Hierzu haben wir N = 626 Lehramtsstudierende im Masterstudium rund ums Praxissemester befragt. Das Praxissemester ist dabei ein interessanter Kontext, weil es in NRW ja als bewertungsfreier Rahmen definiert wurde, viele Studierende sich aber dennoch auch eine Bewertung schulpraktischer Leistungen wünschen. Wir haben dabei die eher klassischen Formate Klausuren und mündliche Prüfungen sowie die eher performanznahen Formate Unterrichtsbesuch und – für unsere Ziele besonders interessant – Rollenspiele als Prüfungsformat betrachtet.

(c) eigene Darstellung, PERFORM-LA

Wir sind gerade mitten in der Datenauswertung. Um zumindest schon einmal einen ersten kleinen Einblick zu geben, sind in der Abbildung die Verteilungen der Antworten der Befragten auf das Item „… können grundsätzlich objektiv und nachvollziehbar bewertet werden“, jeweils unterschieden für die vier Prüfungsformate dargestellt. Es geht also um eine grundsätzliche Einschätzung, ob eine faire Bewertung an sich möglich ist (was im konkreten Fall natürlich davon abhängt, wie eine Prüfung genau ausgestaltet wird). Deutlich wird, dass mündliche Prüfungen und Rollenspiele von der Mehrheit der Studierenden als weniger objektiv bewertbar eingeschätzt werden (jeweils über 60%, die der Aussage nicht zu stimmen, erste drei Kategorien). Uns selbst hat überrascht, dass der Unterrichtsbesuch, dessen Bewertung von vielen Referendar*innen im Vorbereitungsdienst eher als instransparent angesehen wird, zumindest bei den Befragten hinsichtlich der Beurteilbarkeit ähnlich wie Klausuren eingeschätzt wird.

Wir möchten allen Studierenden, die unsere Items bzw. Fragen beantwortet haben, herzlich danken. Vielen Dank für ihre Unterstützung, das hilft uns sehr in unserer Arbeit.

Literatur

  • Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine65(9), S63-7. (Online)
  • Struyven, K., Dochy, F., & Janssens, S. (2005). Students’ perceptions about evaluation and assessment in higher education: A review. Assessment & Evaluation in Higher Education, 30(4), 325-341. (Online)

Erster Vortrag im PhD-Kolloquium der Paderborner Englischdidaktik

Am 7. Juli wurde das erste Mal ein Vortrag der PERFORM-LA Nachwuchsgruppe vor einem externen Publikum gehalten. Unter dem Titel „Development of performance-based assessment in EFL teacher education – Feedback on writing” hat Thomas Janzen (that’s me) den Mitarbeitenden der Paderborner Englischdidaktik und Kooperationspartner Prof. Dr. Dominik Rumlich erste Ergebnisse der Literaturrecherche präsentiert und samt weiterer Ideen zur Projektumsetzung zur Diskussion gestellt.

Der Vortrag begann mit einer Vorstellung der Nachwuchsforschungsgruppe. Die dem Projekt zugrundeliegenden Desiderata wurden kurz erläutert und die inhaltliche Umsetzung für den Bereich der Englischdidaktik – ‚Feedback on writing‘ – hergeleitet. Es folgte eine detaillierte Auflistung von Kriterien, die effektives Feedback im Allgemeinen, sowie bezogen auf die Kompetenz „Schreiben“, charakterisieren (siehe hierzu in Kürze den kommenden Blogbeitrag). Der Fokus lag auf der Adaption und Abstufung des Feedbacks an das individuelle Lernniveau der Lernenden, um so Lernpotentiale voll ausschöpfen zu können. Abschließend wurde ein erster Entwurf des Forschungsdesigns und ein Beispiel einer Textvignette vorgestellt.

In der anschließenden Diskussion wurden relevante Aspekte besprochen, die die Komplexität des Vorhabens nochmal hervorhoben. So muss die Authentizität des angedachten Rollenspiels multiperspektivisch fokussiert und im Hinblick auf die verschiedenen Validitäts- und Reliabilitätskonstrukte hinreichend zusammengeführt werden. Zudem muss auch der Aspekt der Fremdsprachigkeit ausreichend Berücksichtigung finden, da Englisch für die angehenden Lehrkräfte (vermutlich) nicht die Muttersprache ist und die Sprachkompetenz in der Fremdsprache daher ein wesentlicher Faktor für die Performanz sein kann.

Nach fruchtvoller Diskussion und vielen neuen Anregungen und Impulsen (für die ich sehr dankbar bin!) verabschiedete sich die Runde. Für den kontinuierlichen Austausch wird es auch im kommenden Semester wieder einen Vortrag geben.