Schlagwort-Archive: Performanztest

Besuch auf der digiGEBF 2021 – Thementagung Digitalisierung im Bildungsbereich

Bildnachweis: © GEBF, Universität Tübingen

Nachdem Thomas vor kurzem schon über unsere Teilnahme auf dem Kongress der DGFF 2021 berichtet hat (und zwar hier), möchte ich noch von einer weiteren Konferenz berichten. In ihrenm digitalen Konferenzjahr veranstaltete die Gesellschaft für Empirische Bildungsforschung (GEBF) am 22. September 2021 die Thementagung Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen. Sie fand ebenfalls online statt, wurde aber ausgerichtet von einem Team der Universtität Tübingen um Prof. Dr. Andreas Lachner. Für uns als Nachwuchsforschungsgruppe war natürlich besonders das Symposium Gestaltungsmerkmale digitaler simulationsbasierter Lernumgebungen in der Lehrerbildung interessant, in dem insbesondere mehrere Vorträge von Kolleg*innen der DFG-Forschergruppe COSIMA der LMU und TU München.

Bildnachweis: © Forschergruppe COSIMA, LMU München

Unter anderem berichtete Stephanie Kron in ihrem Vortrag über einen Performanztest, in dem Lehramtsstudierende mit Fach Mathematik in simulierten Gesprächen mit einer*m Schüler*in aktuellen Lernstand und Schwierigkeiten diagnostizieren müssen und anschließend weitere Lernschritte planen bzw. empfehlen müssen. Sie untersuchte. inwiefern sich das Erleben von Authentizität, Immersion und externer kognitiver Belastung der Studierenden dabei unterschied, je nachdem ob sie mit trainierten (allerdings erwachsenen) Schauspieler*innen dialogische Videogespräche oder ob sie ein geskriptetes Onlinegespräch führen mussten, bei denen ihnen Audioaufnahmen und Standbilder von Schüler*innen vorgelegt wurden. Bei mehrmaligen Durchgängen unterschieden sich die beiden Präsentationsformate allerdings nicht wesentlich, wobei es sehr schade ist, dass aufgrund der Corona-Pandemie keine simulierten Gespräch in Präsenz durchgeführt werden konnten.

Michael Nickl untersuchte in seinem Vortrag, ob sich die Leistung von Studierenden mit unterschiedlichen Profilen in kognitiven und motivationalen Voraussetzungen im einem videobasierten Performanztest unterschieden, in dem diese Videosequenzen mit mehreren Schüler*innen betrachtet haben, die mathematische Aufgaben lösen sollen. die Aufgabe der angehenden Lehrkräfte war es dabei Lernstände und Schwierigkeiten zu diagnostieren, Notizen zu jeder*m abgebildeten Lernenden zu machen und davon ausgehend weitere Vorgehensweisen im Lernprozess vorzuschlagen. Er konnte dabei drei Voraussetzungsprofile identifizieren (motiviert, wissend, benachteiligt). Dabei ergaben sich bzgl. der Performanz bei der Diagnose nur signifikante Unterschiede zwischen den Profilen Wissend und Benachteiligt und das auch nur bzgl. der Anzahl bearbeiteter Videos und der Urteilsgenauigkeit.

Wir werden im Blog noch häufiger über die Arbeiten der Forschergruppe COSIMA berichten. Insofern ist dies ein guter erster Einblick. Es lohnt sich auch ein Besuch auf ihrer Website.

Vorträge:

  • Kron, S., Sommerhoff, D., Achtner, M., Wecker, C., Siebeck, M., Stürmer, K., & Ufer, S. (2021). Simulationsbasierte Online-Lernumgebungen in der Lehramtsausbildung: Einfluss des Präsentationsformats auf die Entwicklung von Authentizität, Immersion und kognitiver Belastung. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.
  • Nickl, M., Sommerhoff, D., Codreanu, El., Ufer, S., & Seidel, T. (2021). Lernvoraussetzungs-Profile in video-basierten Simulationsumgebungen. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.

Wie nehmen Lehramtsstudierende verschiedene Prüfungsformate wahr?

Einblicke in unsere Forschungsarbeit

Ein zentrales Ziel unserer Arbeit ist die Entwicklung performanzorientierter Prüfungsformate, also Formaten, in denen Personen möglichst handlungsnahe Anforderungen bewältigen müssen. Wir orientieren uns dabei an Konzepten der Ausbildung von Mediziner*innen (Miller, 1990). Dort werden bspw. typische Handlungsanforderungen (z.B. Anamnesegespräche) mit Schauspieler*innen simuliert (so genannte standardisierte Patient*innen) und teilweise auch zur Prüfung eingesetzt. Wir möchten das große Potential solcher Formate auch für die Lehramtsausbildung nutzbar machen. Sie könnten zum Beispiel im Master als Alternativen zu klassischen Prüfungsformaten im Praxissemester oder für Modulprüfungen verwendet werden. Damit diese aber auch in der Praxis verwendet werden können, müssen sie bestimmte Anforderungen erfüllen und natürlich auch von Studierenden akzeptiert werden.

Im Lehramtsstudium werden Studierende mit verschiedenen Prüfungsformaten konfrontiert. Uns interessiert daher insbesondere, wie performanzorientiertere Formate im Vergleich zu eher etablierten Formaten wahrgenommen und empfunden werden. In der Forschungsliteratur haben wir bisher keine empirischen Studien gefunden, aus denen für Lehramtsstudierende schon Hinweise abzulesen sind (zumindest bisher, Hinweise nehmen wir natürlich gerne entgegen). Was es aber gibt, sind Studien zur Wahrnehmung von Prüfungen in einem Studium generell. Dabei wurden Prüfungsformate aus Sicht der Studierenden hinsichtlich verschiedener Merkmale betrachtet, bspw. ob sie als fair oder auch authentisch für das Ziel des Studiums empfunden werden (z.B. Struyven, Dochy & Janssens, 2005). Prüfungsformen, die nur in der Lehramtsausbildung vorkommen, wie den benoteten Unterrichtsbesuch, wurden dabei bisher kaum betrachtet.

Aus diesem Grund haben wir eine eigene kleine Befragung initiiert und mit Hilfe von Likert-Items bei denen Studierende den Grad ihrer Zustimmung zu Aussagen angeben müssen, Einschätzungen zu verschiedenen Prüfungsformaten in den Dimensionen Fairness, Authentizität/Relevanz und Transparenz eingeholt. Hierzu haben wir N = 626 Lehramtsstudierende im Masterstudium rund ums Praxissemester befragt. Das Praxissemester ist dabei ein interessanter Kontext, weil es in NRW ja als bewertungsfreier Rahmen definiert wurde, viele Studierende sich aber dennoch auch eine Bewertung schulpraktischer Leistungen wünschen. Wir haben dabei die eher klassischen Formate Klausuren und mündliche Prüfungen sowie die eher performanznahen Formate Unterrichtsbesuch und – für unsere Ziele besonders interessant – Rollenspiele als Prüfungsformat betrachtet.

(c) eigene Darstellung, PERFORM-LA

Wir sind gerade mitten in der Datenauswertung. Um zumindest schon einmal einen ersten kleinen Einblick zu geben, sind in der Abbildung die Verteilungen der Antworten der Befragten auf das Item „… können grundsätzlich objektiv und nachvollziehbar bewertet werden“, jeweils unterschieden für die vier Prüfungsformate dargestellt. Es geht also um eine grundsätzliche Einschätzung, ob eine faire Bewertung an sich möglich ist (was im konkreten Fall natürlich davon abhängt, wie eine Prüfung genau ausgestaltet wird). Deutlich wird, dass mündliche Prüfungen und Rollenspiele von der Mehrheit der Studierenden als weniger objektiv bewertbar eingeschätzt werden (jeweils über 60%, die der Aussage nicht zu stimmen, erste drei Kategorien). Uns selbst hat überrascht, dass der Unterrichtsbesuch, dessen Bewertung von vielen Referendar*innen im Vorbereitungsdienst eher als instransparent angesehen wird, zumindest bei den Befragten hinsichtlich der Beurteilbarkeit ähnlich wie Klausuren eingeschätzt wird.

Wir möchten allen Studierenden, die unsere Items bzw. Fragen beantwortet haben, herzlich danken. Vielen Dank für ihre Unterstützung, das hilft uns sehr in unserer Arbeit.

Literatur

  • Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine65(9), S63-7. (Online)
  • Struyven, K., Dochy, F., & Janssens, S. (2005). Students’ perceptions about evaluation and assessment in higher education: A review. Assessment & Evaluation in Higher Education, 30(4), 325-341. (Online)

Erster Vortrag im PhD-Kolloquium der Paderborner Englischdidaktik

Am 7. Juli wurde das erste Mal ein Vortrag der PERFORM-LA Nachwuchsgruppe vor einem externen Publikum gehalten. Unter dem Titel „Development of performance-based assessment in EFL teacher education – Feedback on writing” hat Thomas Janzen (that’s me) den Mitarbeitenden der Paderborner Englischdidaktik und Kooperationspartner Prof. Dr. Dominik Rumlich erste Ergebnisse der Literaturrecherche präsentiert und samt weiterer Ideen zur Projektumsetzung zur Diskussion gestellt.

Der Vortrag begann mit einer Vorstellung der Nachwuchsforschungsgruppe. Die dem Projekt zugrundeliegenden Desiderata wurden kurz erläutert und die inhaltliche Umsetzung für den Bereich der Englischdidaktik – ‚Feedback on writing‘ – hergeleitet. Es folgte eine detaillierte Auflistung von Kriterien, die effektives Feedback im Allgemeinen, sowie bezogen auf die Kompetenz „Schreiben“, charakterisieren (siehe hierzu in Kürze den kommenden Blogbeitrag). Der Fokus lag auf der Adaption und Abstufung des Feedbacks an das individuelle Lernniveau der Lernenden, um so Lernpotentiale voll ausschöpfen zu können. Abschließend wurde ein erster Entwurf des Forschungsdesigns und ein Beispiel einer Textvignette vorgestellt.

In der anschließenden Diskussion wurden relevante Aspekte besprochen, die die Komplexität des Vorhabens nochmal hervorhoben. So muss die Authentizität des angedachten Rollenspiels multiperspektivisch fokussiert und im Hinblick auf die verschiedenen Validitäts- und Reliabilitätskonstrukte hinreichend zusammengeführt werden. Zudem muss auch der Aspekt der Fremdsprachigkeit ausreichend Berücksichtigung finden, da Englisch für die angehenden Lehrkräfte (vermutlich) nicht die Muttersprache ist und die Sprachkompetenz in der Fremdsprache daher ein wesentlicher Faktor für die Performanz sein kann.

Nach fruchtvoller Diskussion und vielen neuen Anregungen und Impulsen (für die ich sehr dankbar bin!) verabschiedete sich die Runde. Für den kontinuierlichen Austausch wird es auch im kommenden Semester wieder einen Vortrag geben.