Schlagwort-Archive: Feedback

AEPF 2023: Willkommen in Potsdam

Bildnachweis: © Universität Potsdam

Vom 13.- 15. September 2023 fand an der Universität Potsdam unter dem Motto „Schule und Lehrkräfte. Bildung neu denken“ die Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) sowie der Kommission Bildungsplanung, Bildungsorganisation und Bildungsrecht (KBBB) statt. Wir waren mit einigen Beiträgen auf der Tagung vertreten und möchten euch an unseren Eindrücken teilhaben lassen.

Bildnachweis: © Jana Meier

Unsere Beiträge

Während am Mittwoch und Freitag eine spannende Vielzahl an Sessions angeboten wurden, stand der Donnerstag für uns ganz im Zeichen unserer Beiträge. Tatsächlich waren diese hintereinander über den Tag verteilt platziert, weshalb sie in drei Akten beschrieben werden können.

Donnerstag Vormittag – Unter dem Titel „‘Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.‘ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium?“ präsentierte Christoph einen Beitrag zu den Fragen, wie Lehramtsstudierende ihre Prüfungserfahrungen bewerten, verschiedene Prüfungsformate wahrnehmen und welche Erfahrungen sie mit Feedback auf ihre Prüfungsergebnisse gemacht haben. Die Ergebnisse zweier unserer Befragungen zeigen, dass Lehramtsstudierende eine negative Feedbackkultur erleben und dass die im Lehramtsstudium stark wahrgenommene Diskrepanz zwischen Theorie und Praxis sich auch in ihren Prüfungserfahrungen widerspiegelt.

Bildnachweis: © Jana Meier

Donnerstag Mittag – Im direkten Anschluss stellte Jana ihren Beitrag vor. Dieser trug den Titel „Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden“. In diesem Zusammenhang wurden Ergebnisse einer quantitativen Studie mit N = 460 Lehramtsstudierenden von zwei deutschen Universitäten vorgestellt, in der der Zusammenhang einer quasi-experimentellen Einstellung zur Reflexion (QEE) gemachter Unterrichtserfahrungen und der Reflexionsperformanz mit den Dimensionen ihrer inhaltlichen Breite, der Reflexionstiefe und ihres Bezugs zu Theorien untersucht wurden. Die Ergebnisse zeigen, dass die befragten Studierenden eine eher ausgeprägte Einstellung zur akribischen Unterrichtsplanung und zur evidenzbasierten Unterrichtsanalyse haben. Das Vertrauen in die Vorhersehbarkeit von Unterrichtsabläufen und die Offenheit für fundierte Theorie fallen dagegen gering aus. Die Reflexionsperformanz der Studierenden ist begrenzt und sie gehen meistens nicht über eine Bewertung, ohne Theoriebezüge, hinaus. Zudem zeigte sich ein kleiner positiver Zusammenhang zwischen den Einstellungen und der Reflexionsbreite und dem Theoriebezug.

Bildnachweis: © Philipp Wotschel

Donnerstag Nachmittag – Darauffolgend präsentierte Philipp seinen Beitrag, „Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden“, der im Symposium „Beratungskompetenz in der Lehrkräftebildung – Wie können angehende Lehrkräfte Beratung erlernen?“, eingebettet war. In diesem Rahmen wurden die Pilotierungsergebnisse und unser Prototyp einer standardisierten, handlungsnahen Prüfung mit dem zugehörigen Bewertungsmodell, zur Erfassung und Beurteilung beratungsbezogenen Verhaltens Lehramtsstudierender, ausführlich vorgestellt.

Bildnachweis: © Jana Meier

Inspirationen

Philipps persönliche Höhepunkte auf der AEPF 2023 waren ebenso in diesem Symposium verortet. So gewährte Dr. Frank Behr mit seinem Beitrag, „Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften“, einen Einblick in eine Studie, mit der der Einfluss fremder und eigener Beratungsvideos in einer digitalen Lernumgebung zur Elternberatung auf die Entwicklung der professionellen Wahrnehmung schulischer Beratungssituationen von Lehramtsstudierenden untersucht wurde. Die Ergebnisse deuten darauf hin, dass die Analyse von fremden und eigenen Beratungsvideos in dieser Lernumgebung die kognitiven Prozesse der professionellen Wahrnehmung von Lehramtsstudierenden aktivieren kann. Im Vergleich zu Kontrollgruppe hat sich in beiden Interventionsgruppen die professionelle Wahrnehmung im Seminarverlauf verändert.

Daneben ging Dr. Scarlett Kobs in Ihrem Beitrag, „Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften?“, der Frage nach, welchen Effekt Rollenspiele im Vergleich zu schriftlichen Reflexionen auf die Entwicklung der Beratungskompetenz von Lehramts- und Rehabilitationspädagogikstudierenden haben. Die Ergebnisse der Untersuchung zeigen, dass die Intervention einen positiven Effekt auf die selbsteingeschätzte Kompetenz der Studierenden im Explorieren von Gefühlen und Gedanken hatte und, dass das praktische Erproben beraterischer Fertigkeiten zu einem Kompetenzanstieg im Erleben der Studierenden führte.

An dieser Stelle nochmal vielen herzlichen Dank an Dr. Scarlett Kobs für die Organisation des Symposium und an Dr. Charlott Rubach für die wertwolle Diskussion der Einzelbeiträge.

Neben diesen Beiträgen, die auch sehr dicht an unseren eigenen Arbeiten in der Nachwuchsforschungsgruppe liegen, hat Christoph noch zwei weitere Highlights von der Konferenz mit nach Paderborn genommen. In ihrem Vortrag „Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback“ berichteten Lucas Jasper Jacobsen und Dr. Kira Elena Weber von der Leuphana in Lüneburg von einer experimentellen Studie, in dem sie Feedback generiert von einer KI (hier: ChatGPT) mit dem Feedback generiert durch menschliche Expert*innen (hier: Hochschullehrende) und Noviz*innen (hier: Studierende im BA) verglichen. Hierzu ließen sie diese drei Gruppen feedback provider ein bzw. mehrere schriftliche Feedbacks auf ein (fehlerhaft) formuliertes Lernziel für eine Unterrichtsplanung generieren und analysierten diese nach Kriterien für gutes Feedback. Dabei gaben die Expert*innen erwartbar qualitativ höherwertiges Feedback als Noviz*innen (bzgl. Angemessenheit, Fragen & dem Anbieten von Alternativen). Die Ki gab allerdings sogar teilweise besseres Feedback als Expert*innen (bzgl. der Erklärung des Feedbacks & der Spezifität). Dies hing aber jeweils sehr von den genutzten Prompts ab, so dass es in der Diskussion auch primär darum ging, wie diese formuliert sein müssen und evtl. in einer Art Archiv für die Hochschullehre gesammelt werden könnten.

Einen weiteren interessanten Beitrag hielt Dr. Susi Klaß von der Friedrich-Schiller-Universität Jena. Unter dem Titel „Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester“ berichtete sie von einem Lehrkonzept zur Förderung der Kernpraktik Unterrichtsgespräche zu führen bei Lehramtsstudierenden, das im Learning to Teach-Lab Science (LTL:S) durchgeführt wurde, in dem auch mit Simulationen von Gesprächssituationen gearbeitet wurde. Die Ergebnisse zeigten differentielle Befunden (bspw. ergaben sich Unterschiede in der Wirksamkeit verschiedener Lernelemente je nach Methode), aber verdeutlichten nochmals das Potential simulationsbasierten Lernens in der Lehrkräftebildung. Ebenfalls interessant war die Keynote „Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation“ von Prof. Dr. Felicitas Thiel von der Freien Universität Berlin, in der sie einen historischen Überblick über die Entwicklung empirischer Bildungsforschung bzw. evidenzbasierter Bildungspraxis in Deutschland gab. Christoph hatte sich bisher bspw. nicht sehr mit der schon um die Jahrhundertwende des 20. Jahrhunderts entwickelten experimentellen Pädagogik beschäfigt (z.B. Meyerhardt, 1910).

Wir haben uns gefreut, auf der AEPF 23 zu Gast sein zu dürfen, waren sehr angetan von der Conference-Dinner-Location und nehmen viele Ideen aus den vielfältigen Beiträgen und Diskussionen mit!

Direkt an der Havel – Das Conference Dinner. Bildnachweis: © Philipp Wotschel

Vorträge:

  • Behr, F. (2023, 14.09.). Professionelle Wahrnehmung schulischer Beratungssituationen. Effekte einer videobasierten Lernumgebung zur Förderung beratungsrelevanter Kompetenzen von angehenden Lehrkräften. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Jacobsen, L., & Weber, K. (2023, 14.09.). Optimierung von Lernprozessen in der Hochschulbildung: Eine Untersuchung der Qualität von KI-gestütztem Feedback. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Klaß, S., Hauk. D., Hickethier, F., Dehne, M., Calcagni, E., & Gröscher, A. (2023, 15.09.). Lernen, Unterrichtsgespräche wirksam zu führen: Quasi-experimentelle Ergebnisse zum Modellieren einer Core Practice im Praxissemester. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Kobs, S., Ay-Bryson, D.S., Kühne, F., & Knigge, M. (2023, 14.09.). Rollenspiele als wirksames Mittel zur Steigerung der Beratungskompetenz bei angehenden Lehrkräften? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meier, J., Vogelsang, C., Küth, S., Scholl, D., Watson, C., & Seifert, A. (2023, 14.09.). Welche Rolle spielt eine reflexive Haltung für eine qualitätsvolle Unterrichtsreflexion? – Zusammenhänge zwischen einer quasi-experimentellen Einstellung und der Reflexionsperformanz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Meyerhardt, M.W. (1910). Experimentelle Pädagogik. Monatshefte für deutsche Sprache und Pädagogik, 11(1), 1-11. (Online)
  • Thiel, F. (2023, 14.09.). Empirische Bildungsforschung, evidenzbasierte Bildungspolitik, wissensbasierte Bildungspraxis – Voraussetzungen einer erfolgreichen Wissenstranslation (Keynote). Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Vogelsang, C, Janzen, T., Meier, J., & Wotschel, P. (2023, 14.09.). „Die Prüfungen werden mich sicherlich nicht zu einer besseren Lehrkraft machen.“ Wie beurteilen Studierende Prüfungen und Feedback im Lehramtsstudium? Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.
  • Wotschel, P., Vogelsang C.,  Janzen, T., & Meier, J. (2023, 14.09.). Als Lehrkraft gut beraten? Entwicklung und Erprobung eines handlungsnahen Prüfungsformates zur Erfassung von Beratungskompetenz von Lehramtsstudierenden. Sektionstagung empirische Bildungsforschung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF 2023), Universität Potsdam.

Den Wald statt lauter Bäume sehen – Forschungssynthesen in der empirischen Bildungsforschung

Oft ist es sinnvoll, die Forschungslandschaft in ihrer Gesamtheit zu betrachten, statt einzelne Studien – also statt den Baum, den ganzen Wald zu betrachten.
Bildnachweis: © Pixabay

Jeden Tag werden wir ein bisschen schlauer, denn es erscheinen neue Studien zu den vielfältigsten Themen der Bildungsforschung. Gibt man bei Google Scholar die Begriffe „digitale Medien“ und „Schule“ ein, so werden allein für das Jahr 2021 über 2.000 Ergebnisse angezeigt! Da ist es nicht nur für Forschende oder Politiker*innen schwierig den Überblick zu behalten, die im Sinne einer evidenzbasierten Steuerung die Erkenntnisse der empirischen Bildungsforschung heranziehen, sondern besonders für Lehrkräfte, die diese Erkenntnisse in die Praxis umsetzen sollen. Oftmals würden diese sich gerne an Erkenntnissen der neuesten Forschung bedienen, haben aber weder die Zeit noch die Möglichkeiten sich mit verschiedenen Studien zu beschäftigen und die für sie daraus wichtigen Schlüsse zu ziehen. Um hier die vielen Einzelergebnisse gebündelt und eingeordnet betrachten zu können, sind Forschungssynthesen von großer Bedeutung, so wie sie zum Beispiel am Zentrum für internationale Bildungsvergleichsstudien (ZIB) an der TU München bei der Arbeitsgruppe Forschungssynthesen am ZIB entstehen.

Was sind Forschungssynthesen und wie werden sie erstellt?

Es gibt im Grunde drei Arten von Forschungssynthesen: Metaanalysen, systematische Reviews und Second-Order Metanalysen/Reviews. Der Unterschied zwischen den Metaanalysen und den systematischen Reviews liegt darin, dass erstere statistische Methoden zu einer zusammenfassenden Synthese benutzen und so ein auch quantifizierendes Quasi-Ergebnis aller Studien erzeugen, während letztere die Ergebnisse beschreibend zusammenfassen. Second-Order Metanalysen/Reviews sind so etwas wie Meta-Metaanalysen (à la Inception). Sie fassen entsprechend des Typus die Ergebnisse mehrerer Synthesen zusammen. Laut Arbeitsgruppe Forschungssynthesen am ZIB, gibt es fünf Schritte für den Ablauf von Forschungssynthesen:

  1. Literaturrecherche
  2. Ein- und Ausschlusskodierung
  3. Feinkodierung
  4. Ergebnisgewinnung
  5. Transfer

Zurzeit werden von der Arbeitsgruppe viele für die Unterrichts- und Schulpraxis relevante Themen wie Digitale Medien, Lesekompetenz oder MINT untersucht und für Lehrkräfte sehr eingängig aufbereitet. Sogar zu Forschungssynthesen finden sich dort ein Erklärvideo:

Einflussgrößen und Effektstärken

Ein sehr bekanntes und auch hier im Blog schon zitiertes Beispiel für eine Second-Order Metaanalyse ist von John Hattie 2009 unter dem Titel Visible learning veröffentlicht worden. In dieser Synthese wurden um die 800 Meta-Analysen zusammengefasst und ein Ranking erstellt, in dem verschiedene Einflussgrößen und die Stärken ihrer Effekte auf das Lernen ersichtlich werden. Feedback, welches als zentrales Konzept in unserem Teilprojekt für das Fach Englisch eine wichtige Rolle spielt, hat hierbei mit d=0.73, eine im Vergleich sehr hohe Effektstärke auf das Lernen von Schüler*innen (Hattie, 2009). Es ist daher aus unserer Sicht umso wichtiger, dass Lehrkräfte auch in dieser einflussreichen Kompetenz handlungsnah ausgebildet und geprüft werden.

Literatur:

  • Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Routledge.

Back to the roots! – Besuch im PhD-Kolloquium der WWU Englischdidaktik

Nicht allzu lange ist es her, da war ich noch Student und habe bei Prof. Frauke Matz meine Masterarbeit geschrieben – nun hatte sie mich eingeladen meine eigene Forschung in ihrem Kolloquium vorzustellen und zu diskutieren. Dieser Einladung bin ich natürlich gerne gefolgt!

Bildnachweis: © WWU Münster

Der digitale Vortrag umfasste die theoretischen Grundlagen unserer Performanztests, die auf dem Kontinuumsmodell professioneller Kompetenz von Blömeke, Gustafson & Shavelson (2015) beruhen, wonach Performanz die sichtbare Ausprägung der Kompetenz darstellt. Danach habe ich die bisherigen Planungen zum Testdesign präsentiert, also die Bewertungskriterien, das Konzept und die Steuerung der Simulation und das Material, welches als Grundlage für das Feedbackgespräch dient. Es wurden auch erste Einblicke in meine aktuelle Forschungsarbeit, in der die Authentizität eben dieses Materials untersucht wird, gegeben.

Die Diskussion im Anschluss war geprägt von einer distinkt fachdidaktischen Perspektive auf das Projekt. Ein Diskussionspunkt war die Sprache in der die Simulation stattfinden soll: Deutsch oder Englisch? Hier gibt es für beide Seiten sehr gute Argumente, so ist die Lehrkraft einerseits ein sprachliches Vorbild und sollte in der Lage sein, sich sprachlich auf das Niveau der Lernenden einzulassen. Außerdem gilt im Englischunterricht auch der Grundsatz der funktionalen Einsprachigkeit – so viel Englisch wie möglich, so wenig Deutsch wie nötig (MSB NRW, 2019). Andererseits könnte eine Simulation in der Fremdsprache auf der Seite der zu Testenden dazu führen, dass ihre fremdsprachlichen Fähigkeiten sie daran hindern, ihre Feedbackkompetenzen zu zeigen, was die Validität des Tests schmälern könnte. Wie sich dieses Dilemma auflösen lässt, wird sich hoffentlich nach der Pilotierung und weiteren Überlegungen zeigen.

Ich möchte mich ganz herzlich beim gesamten Münsteraner Team für das reichhaltige food for thought und die neuen Impulse bedanken. Insbesondere bedanke ich mich natürlich bei Prof. Frauke Matz für die Einladung 🙂

Literatur:

  • Blömeke, S., Gustafsson, J.-E. & Shavelson, R. J. (2015). Beyond Dichotomies: Competence Viewed as a Continuum. Zeitschrift für Psychologie, 223(1), 3–13. (Online)
  • Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen. (2019). Kernlehrplan für die Sekundarstufe I Gymnasium in Nordrhein-Westfalen. Englisch. (Online)

Podcast: Klasse(n)arbeit

Ergänzungen zur aktuellen Debatten der Lehramtsausbildung

Einbettung von: Spotify, Podcast „Klasse(n)arbeit“ der Gießener Offensive Lehrerbildung

Die Gießener Offensive Lehrerbildung (GOL), die innerhalb der Qualitätsoffensive Lehrerbildung des BMBF gefördert wird, behandelt in mehreren Podcastfolgen unterschiedliche Fragen und Themen der Lehramtsausbildung. Der Podcast trägt den schönen Titel Klasse(n)arbeit und er kann auf den Seiten der GOL auch heruntergeladen werden (je nach Einstellungen des Browsers). Man findet ihn aber auch bei Spotify (eingebunden oben)

Eine erste Hörempfehlung, insbesondere für Personen, die an wissenschaftlichen Perspektiven interessiert sind, möchte ich Folge 2 mit dem Titel Reflexion reflektieren: Was ist das? Und wenn ja, wie viele?, in der unter Anderem Claudia von Aufschnaiter (Liebe Grüße!) und Christian Hofmann verschiedene Definitionen, Positionen und Perspektiven auf Reflexionsprozesse, – fähigkeiten und -möglichkeiten diskutieren.

Dabei wird deutlich, dass gerade der Umgang mit Reflexion und die Förderung von Reflexivität bei Studierenden ein in der Lehrerbildungsforschung stark diskutiertes Thema ist (vgl. von Aufschnaiter, Fraij & Kost, 2019). Reflexive Anteile in der Lehramtsausbildung werden dabei auch immer wieder kritisch diskutiert, wie es bspw. Tobias Leonard in seiner Keynote auf der Jahrestagung 2021 der DGfE-Sektion Schulpädagogik mit dem Titel Reflexion und Reflexivität in Unterricht, Schule und Lehrer*innen­bildung getan hat, in der er ebenfalls die Beliebigkeit der Verwendung des Reflexionsbegriffs kritisiert und sich gegen überzogene Reflexionsansprüche in der Lehramtsprofessionalisierung in Schule und Hochschule wendet. Es bleibt also ein weiterhin ein heißes Thema der Lehramtsausbildung.

Literatur

  • Leornard, T. (2021). Von der Wiege bis zur Bahre? Rekonstruktionen (all)gegenwärtiger Reflexionsansprüche und ihre Bedeutung für Schule und Lehrer*innenbildung (Konferenzbeitrag). Jahrestagung der DGfE-Sektion Schulpädagogik, Universität Osnabrück (online), 22.09.2021.
  • von Aufschnaiter, C., Fraij, A., & Kost, D. (2019). Reflexion und Reflexivität in der Lehrerbildung. Herausforderung Lehrer* innenbildung-Zeitschrift zur Konzeption, Gestaltung und Diskussion2(1), 144-159. (Online)

Besuch auf dem 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung – Standortbestimmungen

Bildnachweis: © DGFF 2021

Letzte Woche waren Christoph Vogelsang und meine Wenigkeit, Thomas Janzen, auf dem zweijährlichen Kongress der DGFF, der Deutschen Gesellschaft für Fremdsprachenforschung, der dieses Jahr coronabedingt digital stattfand und von der Universität Duisburg-Essen ausgerichtet worden ist. Ziel des Besuchs der Tagung, die unter dem Titel „Standortbestimmungen“ lief, war es Eindrücke aus aktueller Forschung in der Fremdsprachendidaktik zu erhalten und neue Impulse für die Arbeit im Projekt mitzunehmen. Daher lag der Fokus der von uns besuchten Vorträge auf den Themen der Lehrkräfteprofessionalisierung und -ausbildung, des Feedbacks und des Schreibens.

So wurden z.B. auf dem Vortrag von Olivia Rütti-Joy der Pädagogischen Hochschule St. Gallen interessante Ergebnisse zu Untersuchungen einer Interventionsstudie zu berufsspezifischen Sprachkenntnissen von Englischlehrkräften im Bereich Feedback berichtet. Spannend war außerdem der Vortrag von Dr. Almut Schön der TU Berlin, die von ihren Forschungsergebnissen zu Interaktionskompetenz in Fachsprachenprüfungen im Bereich DaF von Ärzten berichtete. Da diese, wie unsere Performanztests, ebenfalls den klassischen OSCE der Mediziner*innenausbildung ähneln, aber einen fremdsprachlichen Fokus haben, freuen wir uns schon darauf, demnächst in einen tiefergehenden Austausch zu kommen.

Viel zu diskutieren gab es auch in dem Nachwuchscafé reloaded, was als eine Art Symposium von Prof. Dr. Frauke Matz und Prof. Dr. Dominik Rumlich, unserem Kooperationspartner für das Fach Englisch, angeboten wurde. Es gab einen angeregten Austausch über Wege zur Promotion, Ängste und Sorgen im Prozess und Optionen für die Zeit danach. Deutlich wurde, dass zwar jeder Prozess individuell verläuft, aber der Weg nicht alleine zu schaffen ist. Neben den spannenden Einzelvorträgen in den Sektionen und den Symposien gab es auch drei unterschiedliche interdisziplinäre Plenarvorträge von Prof. Dr. Susanne Prediger, die die Wichtigkeit von Sprache im Fach Mathematik diskutierte, Dr. Bonny Norton aus Kanada, die über digital storytelling in einer multilingualen Zukunft vortrug und zuletzt Prof. Dr. Aladin El-Mafaalani, der in seinem Vortrag den großen Bogen von Strukturwandel in offenen Gesellschaften und Sprache spannte.

Ich gehe mit gestärkter Motivation und vielen Eindrücken von tollen und anregungsreichen Vorträgen von diesem Kongress zurück an die Arbeit im Projekt. Wir möchten uns beide für die zum Großteil reibungslose Organisation und Durchführung bei dem ganzen Kongressteam der Universität Duisburg-Essen unter der Leitung von Prof Dr. Eva Wilden bedanken und freuen uns schon auf den nächsten Kongress im Jahr 2023 – dann ganz sicher auch mit einem Beitrag aus dem Projekt PERFORM-LA 😉

Vorträge:

  • El-Mafaalani, A. (2021). Teilhabe, Rassismus und Strukturwandel in offenen Gesellschaften. 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 24.09.2021.
  • Matz, F. & Rumlich, D. (2021). Nachwuchs Café (reloaded) Standortbestimmungen… . (Symposium). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 23.09.2021.
  • Norton, B. (2021). Identity, Investment, and Digital Storytelling for a Multilingual Future. (Keynote). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online) , 23.09.2021.
  • Prediger, S. (2021). Forschungsformate zum Beitrag der Sprachbildung zur Bildungsgerechtigkeit –Erfahrungen aus einer anderen Fachdidaktik. (Keynote). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online) , 22.09.2021.
  • Rütti-Joy, O. (2021). Feedback-Literalität an der Schnittstelle der Fremdsprachenforschung, Englischdidaktik und empirischen Bildungsforschung: Wie verortet sich die Fremdsprachenkompetenz? (Konferenzbeitrag). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 23.09.2021.
  • Schön, A. (2021). Interaktionskompetenz erforschen und testen: am Beispiel der Fachsprachenprüfungen in DaF für Ärzte. (Konferenzbeitrag). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 24.09.2021.

„Das hast du aber gut gemacht!“

Warum das kein gutes Feedback ist
und wie Feedback mit Lernenden effektiv gestaltet werden kann

Was auch immer wir tun, nicht selten bekommen wir eine Rückmeldung – oder Feedback – darüber, wie wir es getan haben. Wenn wir kochen, wird gesagt wie es schmeckt, wenn wir eine (vermeintlich) lustige Anekdote erzählen, wird (hoffentlich) gelacht und wenn wir in der Schule eine Prüfung ablegen, wird uns gesagt, wie gut oder schlecht unsere Leistung war. Doch obwohl Leistungsrückmeldungen in der Schule zu den alltäglichen Aufgaben der Lehrkräfte zählen, ist dieser Aspekt in der universitären Lehramtsausbildung nicht adäquat repräsentiert. Um dem entgegenzuwirken, soll ein performanznahes Prüfungsformat entwickelt werden, welches genau diesen Kompetenzbereich bei angehenden Lehrkräften prüft und fördert. Um ein solches Prüfungsformat entwickeln zu können, muss allerdings das Konstrukt ‚Feedback‘ näher beleuchtet werden.

Was ist Feedback und brauchen wir es überhaupt?

Eine gängige Definition von Feedback ist bei Hattie & Timperley zu finden, welche dieses als „information provided by an agent (e.g., teacher, peer, book, parent, self, experience) regarding aspects of one’s performance or understanding” (2007, S. 81) verstehen. Grundsätzlich folgt diese Definition einer kognitivistischen Auffassung von Feedback, die es als eine unidirektionale Vermittlung von Wissen darstellt (Ajjawi & Boud, 2017, S. 252).

Aber sollten wir überhaupt Feedback geben? In der Forschung wird Feedback eine generelle Effektstärke zwischen d=0,79 und d=0,48 auf den Lernerfolg von Schüler*innen zugeschrieben was einen großen bis mittleren Effekt bedeutet (Wisniewski et al. 2020). Doch Feedback ist nicht gleich Feedback und auch nicht ausschließlich positiv zu betrachten. So hat ca. ein Drittel des gegebenen Feedbacks negative Auswirkungen und ist nicht lernförderlich (Narciss, 2014). Es ist daher wichtig dieses diverse Konstrukt detailliert zu betrachten. Ein zentrales Ergebnis aus der Studie von Hattie & Timperley (2007) ist, dass Feedback auf vier Ebenen gegeben werden kann:

  • Aufgabe,
  • Prozess,
  • Selbstregulation und
  • Selbst.

Außerdem kann Feedback in drei Perspektiven erfolgen:

  • Feed back: Wie hat es geklappt?
  • Feed up: Wo geht es hin?
  • Feed forward: Was muss getan werden, um dahin zukommen?

In der Studie stellte sich außerdem heraus, dass Feedback vor allem dann effektiv ist, wenn es auf die Aufgabe, den Prozess und die Selbstregulation bezogen ist (high-information Feedback), wohingegen Rückmeldungen auf der Ebene des Selbst, also z.B. Lob oder Kritik an der Person selbst, sogar hinderlich sein kann (Hattie & Timperley, 2007; Zierer, 2019). Schaut man sich also die Überschrift nochmal an, stellt man schnell fest, dass diese Art von Rückmeldung inhaltsleer ist, sich nur auf die Person bezieht und damit wenig effektiv ist. Weiterhin führen Hattie & Wollenschläger (2014) an, dass weniger bedeutsam ist, welches Feedback Lehrkräfte geben, sondern was bei den Lernenden ankommt – und diese interessiert vor allem, wie sie sich verbessern können (siehe auch Zierer, 2019, S. 7).

Feedback, doch nicht so einseitig?

Andere Ansätze sehen Feedback als wesentlich komplexeres Konstrukt, in welchem die Lernenden eine aktive Rolle spielen und nicht lediglich passiv Informationen empfangen, so wie es die Definition eingangs impliziert. So definieren Boud & Molloy (2012) Feedback als „ process whereby learners obtain information about their work in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work“. Den Lernenden wird somit eine größere Autonomie im eigenen Lernprozess zugeschrieben, was essenziell für eine höhere Lernmotivation und damit auch für höheren Lernerfolg ist (vgl. Deci & Ryan, 1985). Teil dieses Feedbackprozesses ist ein Dialog zwischen den Lernenden und der Feedbackquelle, in der das benötigte Feedback ausgehandelt wird (vgl. Boud & Molloy, 2012, S. 90). Ziel dieser Feedbackaushandlungen ist es herauszufinden, welche Informationen und Hilfestellungen die Lernenden benötigen, um sich zu verbessern. Aljaafreh & Lantolf (1994) bedienen sich in ihrer Studie Vygotskys soziokulturellem Ansatz (Vygotsky, 1978) und dem Modell der „Zone der nächsten Entwicklung“. Diese Zone beschreibt das Lernpotential von Lernenden, welches sie mit Unterstützung von Expert*innen ausschöpfen können. In ihrer Studie konnten sie zeigen, dass Feedback effektiv ist, wenn es im Dialog geführt wird und gestuft innerhalb Zone der nächsten Entwicklung ausgehandelt wird. So kann gezielt auf die Bedürfnisse der individuellen Lernenden eingegangen werden und das Feedback wird adaptiv gestaltet.

Für das Forschungsprojekt lassen sich so erste wesentliche Erkenntnisse und Kriterien ableiten, die für das im Performanztest angestrebte Konstrukt relevant sind. Feedback sollte…

  • sich auf Aufgabe, Prozess und Selbstregulation beziehen,
  • die drei Perspektiven feed back / feed up / feed forward berücksichtigen, wobei letzteres für Lernende am bedeutsamsten ist,
  • im Dialog stattfinden und
  • auf die individuellen Bedürfnisse eingehen, also adaptiv sein.

Neben dem ist es auch wichtig, fachspezifische Aspekte von Feedback zu beleuchten, was Thema eines nächsten Beitrags sein wird. Darin wird ein expliziter Fokus auf das Feedback im Kompetenzbereich Schreiben für Lernende einer Fremdsprache gelegt.

Literatur

  • Ajjawi, R. & Boud, D. (2017). Researching feedback dialogue: an interactional analysis approach. Assessment & Evaluation in Higher Education, 42(2), 252–265. (Online)
  • Aljaafreh, a. & Lantolf, J. P. (1994). Negative Feedback as Regulation and Second Language Learning in the Zone of Proximal Development. The Modern Language Journal, 78(4), 465-483.
  • D. Boud & E. Molloy (Hrsg.), Feedback in Higher and Professional Education. Routledge. (Online)
  • Deci, E. L. & Ryan, R. M. (1985). Intrinsic Motivation and Self-Determination in Human Behavior. Springer US. (Online)
  • Hattie, J. & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. (Online)
  • Hattie, J. & Wollenschläger, M. (2014). A conceptualization of feedback. In H. Ditton & A. Müller (Hrsg.), Feedback und Rückmeldungen: Theoretische Grundlagen, empirische Befunde, praktische Anwendungsfelder (S. 135–149). Waxmann.
  • Narciss, S. (2014). Modelle zu den Bedingungen und Wirkungen von Feedback in Lehr-Lernsituationen. In H. Ditton & A. Müller (Hrsg.), Feedback und Rückmeldungen: Theoretische Grundlagen, empirische Befunde, praktische Anwendungsfelder (43-). Waxmann.
  • Vygotskij, L. S. (1978). Mind in society: The development of higher psychological processes (M. Cole, V. John-Steiner, S. Scribner & E. Souberman, Hg.). Harvard University Press.
  • Wisniewski, B., Zierer, K. & Hattie, J. (2020). The Power of Feedback Revisited: A Meta-Analysis of Educational Feedback Research. Frontiers in psychology, 10. (Online)
  • Zierer, K. (2019). Erfolgreiches Feedback ist nicht einfach, aber es ist wirkmächig. Friedrich Jahresheft, 6–9.

Erster Vortrag im PhD-Kolloquium der Paderborner Englischdidaktik

Am 7. Juli wurde das erste Mal ein Vortrag der PERFORM-LA Nachwuchsgruppe vor einem externen Publikum gehalten. Unter dem Titel „Development of performance-based assessment in EFL teacher education – Feedback on writing” hat Thomas Janzen (that’s me) den Mitarbeitenden der Paderborner Englischdidaktik und Kooperationspartner Prof. Dr. Dominik Rumlich erste Ergebnisse der Literaturrecherche präsentiert und samt weiterer Ideen zur Projektumsetzung zur Diskussion gestellt.

Der Vortrag begann mit einer Vorstellung der Nachwuchsforschungsgruppe. Die dem Projekt zugrundeliegenden Desiderata wurden kurz erläutert und die inhaltliche Umsetzung für den Bereich der Englischdidaktik – ‚Feedback on writing‘ – hergeleitet. Es folgte eine detaillierte Auflistung von Kriterien, die effektives Feedback im Allgemeinen, sowie bezogen auf die Kompetenz „Schreiben“, charakterisieren (siehe hierzu in Kürze den kommenden Blogbeitrag). Der Fokus lag auf der Adaption und Abstufung des Feedbacks an das individuelle Lernniveau der Lernenden, um so Lernpotentiale voll ausschöpfen zu können. Abschließend wurde ein erster Entwurf des Forschungsdesigns und ein Beispiel einer Textvignette vorgestellt.

In der anschließenden Diskussion wurden relevante Aspekte besprochen, die die Komplexität des Vorhabens nochmal hervorhoben. So muss die Authentizität des angedachten Rollenspiels multiperspektivisch fokussiert und im Hinblick auf die verschiedenen Validitäts- und Reliabilitätskonstrukte hinreichend zusammengeführt werden. Zudem muss auch der Aspekt der Fremdsprachigkeit ausreichend Berücksichtigung finden, da Englisch für die angehenden Lehrkräfte (vermutlich) nicht die Muttersprache ist und die Sprachkompetenz in der Fremdsprache daher ein wesentlicher Faktor für die Performanz sein kann.

Nach fruchtvoller Diskussion und vielen neuen Anregungen und Impulsen (für die ich sehr dankbar bin!) verabschiedete sich die Runde. Für den kontinuierlichen Austausch wird es auch im kommenden Semester wieder einen Vortrag geben.