Schlagwort-Archive: performance assessment

Wie nehmen Lehramtsstudierende verschiedene Prüfungsformate wahr?

Einblicke in unsere Forschungsarbeit

Ein zentrales Ziel unserer Arbeit ist die Entwicklung performanzorientierter Prüfungsformate, also Formaten, in denen Personen möglichst handlungsnahe Anforderungen bewältigen müssen. Wir orientieren uns dabei an Konzepten der Ausbildung von Mediziner*innen (Miller, 1990). Dort werden bspw. typische Handlungsanforderungen (z.B. Anamnesegespräche) mit Schauspieler*innen simuliert (so genannte standardisierte Patient*innen) und teilweise auch zur Prüfung eingesetzt. Wir möchten das große Potential solcher Formate auch für die Lehramtsausbildung nutzbar machen. Sie könnten zum Beispiel im Master als Alternativen zu klassischen Prüfungsformaten im Praxissemester oder für Modulprüfungen verwendet werden. Damit diese aber auch in der Praxis verwendet werden können, müssen sie bestimmte Anforderungen erfüllen und natürlich auch von Studierenden akzeptiert werden.

Im Lehramtsstudium werden Studierende mit verschiedenen Prüfungsformaten konfrontiert. Uns interessiert daher insbesondere, wie performanzorientiertere Formate im Vergleich zu eher etablierten Formaten wahrgenommen und empfunden werden. In der Forschungsliteratur haben wir bisher keine empirischen Studien gefunden, aus denen für Lehramtsstudierende schon Hinweise abzulesen sind (zumindest bisher, Hinweise nehmen wir natürlich gerne entgegen). Was es aber gibt, sind Studien zur Wahrnehmung von Prüfungen in einem Studium generell. Dabei wurden Prüfungsformate aus Sicht der Studierenden hinsichtlich verschiedener Merkmale betrachtet, bspw. ob sie als fair oder auch authentisch für das Ziel des Studiums empfunden werden (z.B. Struyven, Dochy & Janssens, 2005). Prüfungsformen, die nur in der Lehramtsausbildung vorkommen, wie den benoteten Unterrichtsbesuch, wurden dabei bisher kaum betrachtet.

Aus diesem Grund haben wir eine eigene kleine Befragung initiiert und mit Hilfe von Likert-Items bei denen Studierende den Grad ihrer Zustimmung zu Aussagen angeben müssen, Einschätzungen zu verschiedenen Prüfungsformaten in den Dimensionen Fairness, Authentizität/Relevanz und Transparenz eingeholt. Hierzu haben wir N = 626 Lehramtsstudierende im Masterstudium rund ums Praxissemester befragt. Das Praxissemester ist dabei ein interessanter Kontext, weil es in NRW ja als bewertungsfreier Rahmen definiert wurde, viele Studierende sich aber dennoch auch eine Bewertung schulpraktischer Leistungen wünschen. Wir haben dabei die eher klassischen Formate Klausuren und mündliche Prüfungen sowie die eher performanznahen Formate Unterrichtsbesuch und – für unsere Ziele besonders interessant – Rollenspiele als Prüfungsformat betrachtet.

(c) eigene Darstellung, PERFORM-LA

Wir sind gerade mitten in der Datenauswertung. Um zumindest schon einmal einen ersten kleinen Einblick zu geben, sind in der Abbildung die Verteilungen der Antworten der Befragten auf das Item „… können grundsätzlich objektiv und nachvollziehbar bewertet werden“, jeweils unterschieden für die vier Prüfungsformate dargestellt. Es geht also um eine grundsätzliche Einschätzung, ob eine faire Bewertung an sich möglich ist (was im konkreten Fall natürlich davon abhängt, wie eine Prüfung genau ausgestaltet wird). Deutlich wird, dass mündliche Prüfungen und Rollenspiele von der Mehrheit der Studierenden als weniger objektiv bewertbar eingeschätzt werden (jeweils über 60%, die der Aussage nicht zu stimmen, erste drei Kategorien). Uns selbst hat überrascht, dass der Unterrichtsbesuch, dessen Bewertung von vielen Referendar*innen im Vorbereitungsdienst eher als instransparent angesehen wird, zumindest bei den Befragten hinsichtlich der Beurteilbarkeit ähnlich wie Klausuren eingeschätzt wird.

Wir möchten allen Studierenden, die unsere Items bzw. Fragen beantwortet haben, herzlich danken. Vielen Dank für ihre Unterstützung, das hilft uns sehr in unserer Arbeit.

Literatur

  • Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine, 65(9), S63-7. (Online)
  • Struyven, K., Dochy, F., & Janssens, S. (2005). Students’ perceptions about evaluation and assessment in higher education: A review. Assessment & Evaluation in Higher Education, 30(4), 325-341. (Online)

Erster Vortrag im PhD-Kolloquium der Paderborner Englischdidaktik

Am 7. Juli wurde das erste Mal ein Vortrag der PERFORM-LA Nachwuchsgruppe vor einem externen Publikum gehalten. Unter dem Titel „Development of performance-based assessment in EFL teacher education – Feedback on writing” hat Thomas Janzen (that’s me) den Mitarbeitenden der Paderborner Englischdidaktik und Kooperationspartner Prof. Dr. Dominik Rumlich erste Ergebnisse der Literaturrecherche präsentiert und samt weiterer Ideen zur Projektumsetzung zur Diskussion gestellt.

Der Vortrag begann mit einer Vorstellung der Nachwuchsforschungsgruppe. Die dem Projekt zugrundeliegenden Desiderata wurden kurz erläutert und die inhaltliche Umsetzung für den Bereich der Englischdidaktik – ‚Feedback on writing‘ – hergeleitet. Es folgte eine detaillierte Auflistung von Kriterien, die effektives Feedback im Allgemeinen, sowie bezogen auf die Kompetenz „Schreiben“, charakterisieren (siehe hierzu in Kürze den kommenden Blogbeitrag). Der Fokus lag auf der Adaption und Abstufung des Feedbacks an das individuelle Lernniveau der Lernenden, um so Lernpotentiale voll ausschöpfen zu können. Abschließend wurde ein erster Entwurf des Forschungsdesigns und ein Beispiel einer Textvignette vorgestellt.

In der anschließenden Diskussion wurden relevante Aspekte besprochen, die die Komplexität des Vorhabens nochmal hervorhoben. So muss die Authentizität des angedachten Rollenspiels multiperspektivisch fokussiert und im Hinblick auf die verschiedenen Validitäts- und Reliabilitätskonstrukte hinreichend zusammengeführt werden. Zudem muss auch der Aspekt der Fremdsprachigkeit ausreichend Berücksichtigung finden, da Englisch für die angehenden Lehrkräfte (vermutlich) nicht die Muttersprache ist und die Sprachkompetenz in der Fremdsprache daher ein wesentlicher Faktor für die Performanz sein kann.

Nach fruchtvoller Diskussion und vielen neuen Anregungen und Impulsen (für die ich sehr dankbar bin!) verabschiedete sich die Runde. Für den kontinuierlichen Austausch wird es auch im kommenden Semester wieder einen Vortrag geben.