Archiv der Kategorie: Performanzorientiertes Testen

Performanztests im Radio

Simulationen als Elemente der Ausbildung

Bildnachweis: © Bayrischer Rundfunk, BR 2

In einem Radiobeitrag in der Sendung IQ – Wissenschaft und Forschung des Bayrischen Rundfunkts ist ein aktueller Beitrag ( ca. 25 Minuten) erschienen, in demperformanzorientierte Trainings- und Prüfverfahren in der Ausbildung von Mediziner*innen und Pflegekräften beschrieben werden. Dabei handelt es sich um Simulationen typischer, beruflicher Situationen, bei denen angehenden Ärzt*innen oder Pflegekräfte in einer Rollenspielsituation mit hierfür trainierten Schauspieler*innen agieren müssen. Im Beitrag werden verschiedene Beispiele solcher performanzorientierter Lehrverfahren hinsichtlich ihrer Ziele und Struktur vorgestellt. Dabei wir häufig mit so genannten Seminarschauspieler*innen gearbeitet, die für ihre Rollen in Simulationen speziell vorbereitet werden und die insbesondere auch Feedback aus der Sicht der simulierten Patienten oder Kolleg*innen geben. Man spricht auch von standardisierten Patient*innen. Im Fokus stehen häufig, wie im Beitrag, Situationen, in denen mit Anderen kommuniziert und interagiert werden muss.

Einbettung von: Bayrischer Rundfunk, BR 2, IQ Wissenschaft und Forschung, Sendung vom 07. Oktober 2021

Solche Konzepte gibt es in der Mediziner*innenausbildung schon vergleichsweise lang und neben ihrer hohen Bedeutung für die Ausbildung, werden sie auch immer mehr als Prüfungsformat verwendet: so genannten Objective Structured Clinical Examinations (OSCE) (Harden, 1988). Mittlerweile gibt es solche Simulationen für eine Vielzahl verschiedener medizinischer Anforderungsbereiche. Zunehmend werden solche Simulationen auch für die Erfassung der Fähigkeiten von medizinischen Ausbilder*innen entwickelt, dann als Objective Structured Teaching Examinations (OSTE) (siehe z.B. Fakhouri & Nunes, 2019).

Simulationen für das Lehramt

Zentrales Ziel unserer Nachwuchsforschungsgruppe ist es, derartige Verfahren auch für die Lehramtsausbildung zu entwickeln und zu erproben (vgl. Vogelsang et al., 2019). Kommunikation und Interaktion sind Bestandteil der meisten (nicht alle) Anforderungen bzw. Aufgaben im Lehrer*innenberuf. Dabei konzentrieren wir uns auf die Entwicklung von Simulationsprototypen für Lehramtsstudierende im Fach Englisch und für bildungswissenschaftliche Anforderungen. Zusätzlich werden bestehende Arbeiten für das Lehramt mit Fach Physik hin zu einem (hoffentlich) funktionierenden OSTE-Prototypen weitergeführt. Dies erfordert natürlich einiges an Entwicklungsarbeit und begleitende Forschung zur Validierung, aus der wir hier auch immer mal wieder berichten werden.

Insgesamt sehen wir in performanzorientierten Lehr- und Prüfungsverfahren ein großes Potential für die Weiterentwicklung der Lehramtsausbildung, Auch an anderen Stellen bietet die Medizinausbildung weitere Anregungen für das Lehramt. Das werden wir ebenfalls in zukünftigen Blogbeiträgen immer mal wieder thematisieren. An dieser Stelle bleibt allerdings nur noch, eine absolute Hörempfehlung für den Beitrag auszusprechen.

Literatur:

  • Fakhouri, S. A., & Nunes, M. D. P. T. (2019). Objective structured teaching examination (OSTE): an underused tool developed to assess clinical teaching skills. A narrative review of the literature. Sao Paulo Medical Journal, 137, 193-200. (Online)
  • Harden, M. (1988) What is an OSCE?, Medical Teacher, 10:1, 19-22, (Online)
  • Vogelsang, C., Borowski, A., Kulgemeyer, C., Riese, J., Reinhold, P., Schecker, H., Buschhüter, D., Enkrott, P., Kempin, M. & Schröder (2019). Performance-Oriented  Testing  and  Training  in  Teacher  Education.  In C. Lautenbach, J. Fischer, O. Zlatkin-Troitschanskaia, H.A. Pant, & M. Toepper (Hrsg.), Student Learning Outcomes Assessment in Higher Education – Perspectives, Concepts and Approaches for Research, Transfer and Implementation (KoKoHs Working Papers, 12) (S. 40-43). Berlin & Mainz: Humboldt Universität & Johannes Guttenberg Universität. (Online)

Besuch auf der digiGEBF 2021 – Thementagung Digitalisierung im Bildungsbereich

Bildnachweis: © GEBF, Universität Tübingen

Nachdem Thomas vor kurzem schon über unsere Teilnahme auf dem Kongress der DGFF 2021 berichtet hat (und zwar hier), möchte ich noch von einer weiteren Konferenz berichten. In ihrenm digitalen Konferenzjahr veranstaltete die Gesellschaft für Empirische Bildungsforschung (GEBF) am 22. September 2021 die Thementagung Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen. Sie fand ebenfalls online statt, wurde aber ausgerichtet von einem Team der Universtität Tübingen um Prof. Dr. Andreas Lachner. Für uns als Nachwuchsforschungsgruppe war natürlich besonders das Symposium Gestaltungsmerkmale digitaler simulationsbasierter Lernumgebungen in der Lehrerbildung interessant, in dem insbesondere mehrere Vorträge von Kolleg*innen der DFG-Forschergruppe COSIMA der LMU und TU München.

Bildnachweis: © Forschergruppe COSIMA, LMU München

Unter anderem berichtete Stephanie Kron in ihrem Vortrag über einen Performanztest, in dem Lehramtsstudierende mit Fach Mathematik in simulierten Gesprächen mit einer*m Schüler*in aktuellen Lernstand und Schwierigkeiten diagnostizieren müssen und anschließend weitere Lernschritte planen bzw. empfehlen müssen. Sie untersuchte. inwiefern sich das Erleben von Authentizität, Immersion und externer kognitiver Belastung der Studierenden dabei unterschied, je nachdem ob sie mit trainierten (allerdings erwachsenen) Schauspieler*innen dialogische Videogespräche oder ob sie ein geskriptetes Onlinegespräch führen mussten, bei denen ihnen Audioaufnahmen und Standbilder von Schüler*innen vorgelegt wurden. Bei mehrmaligen Durchgängen unterschieden sich die beiden Präsentationsformate allerdings nicht wesentlich, wobei es sehr schade ist, dass aufgrund der Corona-Pandemie keine simulierten Gespräch in Präsenz durchgeführt werden konnten.

Michael Nickl untersuchte in seinem Vortrag, ob sich die Leistung von Studierenden mit unterschiedlichen Profilen in kognitiven und motivationalen Voraussetzungen im einem videobasierten Performanztest unterschieden, in dem diese Videosequenzen mit mehreren Schüler*innen betrachtet haben, die mathematische Aufgaben lösen sollen. die Aufgabe der angehenden Lehrkräfte war es dabei Lernstände und Schwierigkeiten zu diagnostieren, Notizen zu jeder*m abgebildeten Lernenden zu machen und davon ausgehend weitere Vorgehensweisen im Lernprozess vorzuschlagen. Er konnte dabei drei Voraussetzungsprofile identifizieren (motiviert, wissend, benachteiligt). Dabei ergaben sich bzgl. der Performanz bei der Diagnose nur signifikante Unterschiede zwischen den Profilen Wissend und Benachteiligt und das auch nur bzgl. der Anzahl bearbeiteter Videos und der Urteilsgenauigkeit.

Wir werden im Blog noch häufiger über die Arbeiten der Forschergruppe COSIMA berichten. Insofern ist dies ein guter erster Einblick. Es lohnt sich auch ein Besuch auf ihrer Website.

Vorträge:

  • Kron, S., Sommerhoff, D., Achtner, M., Wecker, C., Siebeck, M., Stürmer, K., & Ufer, S. (2021). Simulationsbasierte Online-Lernumgebungen in der Lehramtsausbildung: Einfluss des Präsentationsformats auf die Entwicklung von Authentizität, Immersion und kognitiver Belastung. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.
  • Nickl, M., Sommerhoff, D., Codreanu, El., Ufer, S., & Seidel, T. (2021). Lernvoraussetzungs-Profile in video-basierten Simulationsumgebungen. Thementagung „Digitalisierung im Bildungsbereich – Potentiale und Herausforderungen“ im digitalen Konferenzjahr der Gesellschaft für Empirische Bildungsforschung (GEBF) (online), 22.09.2021.

Besuch auf dem 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung – Standortbestimmungen

Bildnachweis: © DGFF 2021

Letzte Woche waren Christoph Vogelsang und meine Wenigkeit, Thomas Janzen, auf dem zweijährlichen Kongress der DGFF, der Deutschen Gesellschaft für Fremdsprachenforschung, der dieses Jahr coronabedingt digital stattfand und von der Universität Duisburg-Essen ausgerichtet worden ist. Ziel des Besuchs der Tagung, die unter dem Titel „Standortbestimmungen“ lief, war es Eindrücke aus aktueller Forschung in der Fremdsprachendidaktik zu erhalten und neue Impulse für die Arbeit im Projekt mitzunehmen. Daher lag der Fokus der von uns besuchten Vorträge auf den Themen der Lehrkräfteprofessionalisierung und -ausbildung, des Feedbacks und des Schreibens.

So wurden z.B. auf dem Vortrag von Olivia Rütti-Joy der Pädagogischen Hochschule St. Gallen interessante Ergebnisse zu Untersuchungen einer Interventionsstudie zu berufsspezifischen Sprachkenntnissen von Englischlehrkräften im Bereich Feedback berichtet. Spannend war außerdem der Vortrag von Dr. Almut Schön der TU Berlin, die von ihren Forschungsergebnissen zu Interaktionskompetenz in Fachsprachenprüfungen im Bereich DaF von Ärzten berichtete. Da diese, wie unsere Performanztests, ebenfalls den klassischen OSCE der Mediziner*innenausbildung ähneln, aber einen fremdsprachlichen Fokus haben, freuen wir uns schon darauf, demnächst in einen tiefergehenden Austausch zu kommen.

Viel zu diskutieren gab es auch in dem Nachwuchscafé reloaded, was als eine Art Symposium von Prof. Dr. Frauke Matz und Prof. Dr. Dominik Rumlich, unserem Kooperationspartner für das Fach Englisch, angeboten wurde. Es gab einen angeregten Austausch über Wege zur Promotion, Ängste und Sorgen im Prozess und Optionen für die Zeit danach. Deutlich wurde, dass zwar jeder Prozess individuell verläuft, aber der Weg nicht alleine zu schaffen ist. Neben den spannenden Einzelvorträgen in den Sektionen und den Symposien gab es auch drei unterschiedliche interdisziplinäre Plenarvorträge von Prof. Dr. Susanne Prediger, die die Wichtigkeit von Sprache im Fach Mathematik diskutierte, Dr. Bonny Norton aus Kanada, die über digital storytelling in einer multilingualen Zukunft vortrug und zuletzt Prof. Dr. Aladin El-Mafaalani, der in seinem Vortrag den großen Bogen von Strukturwandel in offenen Gesellschaften und Sprache spannte.

Ich gehe mit gestärkter Motivation und vielen Eindrücken von tollen und anregungsreichen Vorträgen von diesem Kongress zurück an die Arbeit im Projekt. Wir möchten uns beide für die zum Großteil reibungslose Organisation und Durchführung bei dem ganzen Kongressteam der Universität Duisburg-Essen unter der Leitung von Prof Dr. Eva Wilden bedanken und freuen uns schon auf den nächsten Kongress im Jahr 2023 – dann ganz sicher auch mit einem Beitrag aus dem Projekt PERFORM-LA 😉

Vorträge:

  • El-Mafaalani, A. (2021). Teilhabe, Rassismus und Strukturwandel in offenen Gesellschaften. 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 24.09.2021.
  • Matz, F. & Rumlich, D. (2021). Nachwuchs Café (reloaded) Standortbestimmungen… . (Symposium). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 23.09.2021.
  • Norton, B. (2021). Identity, Investment, and Digital Storytelling for a Multilingual Future. (Keynote). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online) , 23.09.2021.
  • Prediger, S. (2021). Forschungsformate zum Beitrag der Sprachbildung zur Bildungsgerechtigkeit –Erfahrungen aus einer anderen Fachdidaktik. (Keynote). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online) , 22.09.2021.
  • Rütti-Joy, O. (2021). Feedback-Literalität an der Schnittstelle der Fremdsprachenforschung, Englischdidaktik und empirischen Bildungsforschung: Wie verortet sich die Fremdsprachenkompetenz? (Konferenzbeitrag). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 23.09.2021.
  • Schön, A. (2021). Interaktionskompetenz erforschen und testen: am Beispiel der Fachsprachenprüfungen in DaF für Ärzte. (Konferenzbeitrag). 29. Kongress der Deutschen Gesellschaft für Fremdsprachenforschung, Universität Duisburg-Essen (online), 24.09.2021.

Wie nehmen Lehramtsstudierende verschiedene Prüfungsformate wahr?

Einblicke in unsere Forschungsarbeit

Ein zentrales Ziel unserer Arbeit ist die Entwicklung performanzorientierter Prüfungsformate, also Formaten, in denen Personen möglichst handlungsnahe Anforderungen bewältigen müssen. Wir orientieren uns dabei an Konzepten der Ausbildung von Mediziner*innen (Miller, 1990). Dort werden bspw. typische Handlungsanforderungen (z.B. Anamnesegespräche) mit Schauspieler*innen simuliert (so genannte standardisierte Patient*innen) und teilweise auch zur Prüfung eingesetzt. Wir möchten das große Potential solcher Formate auch für die Lehramtsausbildung nutzbar machen. Sie könnten zum Beispiel im Master als Alternativen zu klassischen Prüfungsformaten im Praxissemester oder für Modulprüfungen verwendet werden. Damit diese aber auch in der Praxis verwendet werden können, müssen sie bestimmte Anforderungen erfüllen und natürlich auch von Studierenden akzeptiert werden.

Im Lehramtsstudium werden Studierende mit verschiedenen Prüfungsformaten konfrontiert. Uns interessiert daher insbesondere, wie performanzorientiertere Formate im Vergleich zu eher etablierten Formaten wahrgenommen und empfunden werden. In der Forschungsliteratur haben wir bisher keine empirischen Studien gefunden, aus denen für Lehramtsstudierende schon Hinweise abzulesen sind (zumindest bisher, Hinweise nehmen wir natürlich gerne entgegen). Was es aber gibt, sind Studien zur Wahrnehmung von Prüfungen in einem Studium generell. Dabei wurden Prüfungsformate aus Sicht der Studierenden hinsichtlich verschiedener Merkmale betrachtet, bspw. ob sie als fair oder auch authentisch für das Ziel des Studiums empfunden werden (z.B. Struyven, Dochy & Janssens, 2005). Prüfungsformen, die nur in der Lehramtsausbildung vorkommen, wie den benoteten Unterrichtsbesuch, wurden dabei bisher kaum betrachtet.

Aus diesem Grund haben wir eine eigene kleine Befragung initiiert und mit Hilfe von Likert-Items bei denen Studierende den Grad ihrer Zustimmung zu Aussagen angeben müssen, Einschätzungen zu verschiedenen Prüfungsformaten in den Dimensionen Fairness, Authentizität/Relevanz und Transparenz eingeholt. Hierzu haben wir N = 626 Lehramtsstudierende im Masterstudium rund ums Praxissemester befragt. Das Praxissemester ist dabei ein interessanter Kontext, weil es in NRW ja als bewertungsfreier Rahmen definiert wurde, viele Studierende sich aber dennoch auch eine Bewertung schulpraktischer Leistungen wünschen. Wir haben dabei die eher klassischen Formate Klausuren und mündliche Prüfungen sowie die eher performanznahen Formate Unterrichtsbesuch und – für unsere Ziele besonders interessant – Rollenspiele als Prüfungsformat betrachtet.

(c) eigene Darstellung, PERFORM-LA

Wir sind gerade mitten in der Datenauswertung. Um zumindest schon einmal einen ersten kleinen Einblick zu geben, sind in der Abbildung die Verteilungen der Antworten der Befragten auf das Item „… können grundsätzlich objektiv und nachvollziehbar bewertet werden“, jeweils unterschieden für die vier Prüfungsformate dargestellt. Es geht also um eine grundsätzliche Einschätzung, ob eine faire Bewertung an sich möglich ist (was im konkreten Fall natürlich davon abhängt, wie eine Prüfung genau ausgestaltet wird). Deutlich wird, dass mündliche Prüfungen und Rollenspiele von der Mehrheit der Studierenden als weniger objektiv bewertbar eingeschätzt werden (jeweils über 60%, die der Aussage nicht zu stimmen, erste drei Kategorien). Uns selbst hat überrascht, dass der Unterrichtsbesuch, dessen Bewertung von vielen Referendar*innen im Vorbereitungsdienst eher als instransparent angesehen wird, zumindest bei den Befragten hinsichtlich der Beurteilbarkeit ähnlich wie Klausuren eingeschätzt wird.

Wir möchten allen Studierenden, die unsere Items bzw. Fragen beantwortet haben, herzlich danken. Vielen Dank für ihre Unterstützung, das hilft uns sehr in unserer Arbeit.

Literatur

  • Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine, 65(9), S63-7. (Online)
  • Struyven, K., Dochy, F., & Janssens, S. (2005). Students’ perceptions about evaluation and assessment in higher education: A review. Assessment & Evaluation in Higher Education, 30(4), 325-341. (Online)