Lehrevaluation

Zurück zur LEHRE-Seite

Einleitung
Faktoren VB-Psych
Faktoren LEIRA
Vergleich zwischen Einführungskurs, inhaltlichen und Methoden-Veranstaltungen
Bewertung von Lehrveranstaltungen durch Studierende
Literatur
Anhang

Am Lehrstuhl für Allgemeine Psychologie und Kulturpsychologie werden seit dem Wintersemester 1996/97 von Seiten der Dozierenden (Prof. Dr. N. Groeben; Prof'in Dr. B. Scheele; Dr'in M. Schreier, seit Februar 2001 Prof'in an der IUB; sowie seit WiSe 00/01 Dipl.-Psych. J. Naumann und Dipl.-Psych. T. Richter) Selbstevaluationen der Lehre durchgeführt. Eingesetzt wurden dabei zunächst zwei Fragebogen-Instrumente, von denen das eine ein Klassiker ist (VB-PSYCH: Fragebogen zur Beurteilung von Hochschulveranstaltungen im Fach Psychologie, Diehl & Kohr, 1977), das andere ein Instrument aus neuerer Zeit (LEIRA: Lehrevaluationsinventar von Rindermann und Amelang, Rindermann & Amelang, 1993; s. auch Rindermann & Amelang, 1994). Da zwischen beiden Instrumenten ein inhaltlicher Überlappungsbereich (s.u.) besteht, wird seit dem WiSe 1999/2000 aus ökonomischen Gr&uhttp://www.uni-koeln.de/rrzk/www/eingabe/uml;nden nur noch der LEIRA ausgegeben, der sich als inhaltlich differenzierter erwiesen hat. Die Items der beiden Fragebogen-Instrumente gehen aus den folgenden Faktorenanalysen hervor.

Die evaluierten Lehrveranstaltungen waren im Einzelnen:

1. Einführung in das (Grund-)Studium der Psychologie (Blockkurs jeweils im Wintersemester von 1996/97 bis 2002/03; Scheele/Groeben);
2. "Inhaltliche Veranstaltungen": Prof. Dr. N. Groeben: Vorlesung Anthropologische Subjektmodelle (in) der Psychologie (WiSe 96/97, SS 2001), Übung Kreativität (WiSe 96/97), Vorlesung Lernpsychologie (WiSe 97/98, SoSe 2000, 2002) Seminar Kreatives Problemlösen (WiSe 98/99, SoSe 2001), Seminar Dogmatismus - Neugier (SoSe 1999, 2002), Vorlesung Sprachpsychologie (WiSe 99/00, 01/02), Seminar Ironie und Witz (SoSe 2000), Seminar Theorien des reflexiven Subjekts (WiSe 00/01), Seminar Kritik der Psychoanalyse (SoSe 2001), Seminar Willensfreiheit (SoSe 2002), Seminar Lesekompetenz (WiSe 02/03); Prof'in Dr. B. Scheele: Übungsvorlesung Prosoziale Motivation (WiSe 96/97, 98/99, 02/03), Seminar Leistung, Macht, Moral (WiSe 96/97), Seminar Stressentstehung und -bewältigung (WiSe 97/98, 01/02), Übungsvorlesung Sprache, Denken, Sprechen (SoSe 1998, 2000, 2002), Seminar Aggression als motivationspsychologisches Konstrukt (SoSe 1998, WiSe 01/02), Vorlesung Emotionspsychologie (SoSe 1999, 2001, 2003), Seminar Katharsis (SoSe 1999), Seminar Motivation und Gender (WiSe 99/00), Seminar Lernen am Modell (SoSe 2001, 2003), Seminar Selbstbezogene Emotionen (SoSe 2002); Prof'in Dr. M. Schreier: Seminar Psychologie der Verantwortungsattribution (SoSe 1998, 2000), Seminar Der Genuss (WiSe 98/99), Mediensozialisation (WiSe 02/03); Dipl.-Psych. T. Richter: Seminar Entscheidungstheorien (SoSe 2003).
3. "Methoden-Veranstaltungen": Prof. Dr. N. Groeben: Vorlesung Einführung in die Wissenschaftstheorie (WiSe 96/97, 97/98, 98/99, 99/00, 00/01, 01/02, 02/03), Empiriepraktikum (SoSe 1999, 2000, 2001, 2003) Seminar Ethik und Experiment (SoSe 2000); Prof'in Dr. B. Scheele: Seminar Interview: Dialog-Hermeneutik (WiSe 97/98, SoSe 1999, 2001, 2003), Seminar Technik des empirischen Arbeitens (SoSe 1998), Seminar Rezeption und Produktion wissenschaftlicher Texte (SoSe 1999, 2000); Prof'in Dr. M. Schreier: Empiriepraktikum (SoSe 1998, 1999, 2000, 2002), Experimentalpraktikum (WiSe 98/99, 99/00, 00/01, 01/02), Vorlesung Versuchsplanung (SoSe 1999), Einfühhttp://www.uni-koeln.de/rrzk/www/eingabe/rung in die psychologische Methodenlehre (WiSe 99/00, 01/02, 02/03), Qualitative Methoden in der Medienpsychologie (SoSe 2002); Prof. Dr. N. Groeben und Prof'in Dr. B. Scheele: Übung Datenerhebung und -auswertung (WiSe 98/99, 99/00, 00/01, 01/02, 02/03); Dipl.-Psych. J. Naumann und Dipl.-Psych. T. Richter: Experimentalpraktikum (WiSe 00/01, 01/02), Seminar Auswertungsverfahren im ALM (WiSe 00/01); Dipl.-Psych. J. Naumann: Vorlesung Statistik I (WiSe 02/03); Dipl.-Psych. T. Richter: Experimentalpraktikum (WiSe 02/03), Empiriepraktikum (SoSe 2003).

Ziel der Evaluation war zunächst einmal ein Methodenvergleich zwischen den beiden eingesetzten Fragebogen-Instrumenten, um die Möglichkeiten und Grenzen von Evaluationsverfahren näher bestimmen zu können. Über die auf dieses Ziel ausgerichteten Auswertungen wird hier nicht im Einzelnen berichtet, weil sie mehr von methodologischem Forschungsinteresse sind. Das zweite Ziel war die Bewertung und ggf. Verbesserung des neu entwickelten Einführungskurses in das (Grund-)Studium der Psychologie, der deshalb im Folgenden in erster Linie mit den übrigen Veranstaltungen verglichen werden soll. Als drittes Ziel ist selbstverständlich generell die Rückmeldung der Studierenden zu den Lehrveranstaltungen anzusetzen, auf deren Grundlage ggf. (allerdings auch nicht unbedingt immer) Veränderungen vorgenommen werden sollen. Dieser generelle Bewertungsaspekt wird im Anschluss an die Vergleiche veranschaulicht. Dabei werden einige grundsätzliche Probleme der Lehrevaluation diskutiert werden.

In einschlägigen Untersuchungen (so auch Diehl & Kohr, 1977; Diehl, 2003; Esser, 1994) ergibt sich immer wieder, dass für die Studierenden motivational, arbeitstechnisch etc. ein erheblicher Unterschied zwischen (im weiteren Sinne) Methoden-Veranstaltungen und eher "inhaltlich" ausgerichteten Lehrveranstaltungen existiert. Methodenveranstaltungen stimmen oft nicht mit den Voreinstellungen der sozialwissenschaftlichen Studierenden überein und werden von vielen Studierenden daher als uninteressant und zu anspruchsvoll empfunden, was die Bewertung negativ beeinflussen könnte. Unter Rückbezug auf die angeführten Zielsetzungen bei der Darstellung der Ergebnisse wird daher der Vergleich des Einführungskurses mit den im weiteren Sinne methodischen Veranstaltungen (s.o.) sowie den übrigen "inhaltlichen" Veranstaltungen der Dozierenden Groeben, Scheele, Schreier, Richter und Naumann fokussiert.

Dabei wäre es unökonomisch und aus methodischen Gründen auch unangemessen, einen entsprechenden Vergleich auf dem Niveau einzelner Fragebogen-Items vorzunehmen. Vielmehr liegen den eingesetzten Evaluations-Instrumenten bestimmte (Bewertungs-) Dimensionen zugrunde, die in der Regel über eine Faktorenanalyse des jeweiligen Instruments gesichert werden. Für den VB-PSYCH ist von Diehl und Kohr (1977) diese Faktorenstruktur errechnet und angegeben worden, und zwar mit folgenden vier Faktoren:

Faktor 1: Relevanz und Nützlichkeit der Veranstaltungsinhalte

Faktor 2: Verhalten der Dozenten gegenüber den Veranstaltungsteilnehmern

Faktor 3: Angemessenheit von Schwierigkeit und Umfang der Veranstaltungsinhalte

Faktor 4: Methodik und Aufbau der Veranstaltung

Für den LEIRA sind inhaltliche Dimensionen angesetzt worden, deren Anzahl mit 16 allerdings relativ groß ist. Um eine Vergleichbarkeit der beiden Fragebögen zu gewährleisten, wurde beim LEIRA eine Reduktion der Dimensionenanzahl via Faktorenanalyse angestrebt. Unabhängig von diesem Problem ist es sowieso angezeigt, bei Untersuchungen an einer neuen Stichprobe von Untersuchungspartnern/innen (Uptn) eine erneute Faktorenanalyse zu errechnen, um die faktorielle Struktur der jeweiligen Instrumente für diese Untersuchungsstichprobe zu sichern. Daher wurde auch beim VB-Psych eine Faktorenanalyse durchgeführt.

Zurück zum Seitenanfang

Faktoren VB-Psych

Die entsprechende Faktorenstruktur für den VB-PSYCH auf der Grundlage der bewerteten Lehrveranstaltungen führt in Abweichung von dem Ergebnis von Diehl und Kohr (1977) zu einer Fünf-Faktoren-Struktur, und zwar:

Faktor 1: Angemessenheit der Schwierigkeit und Verständlichkeit der Veranstaltungsinhalte

Faktor 2: Lehrengagement und Kompetenz der/des Dozierenden

Faktor 3: Praxisnähe und Fachrelevanz der Veranstaltungsinhalte

Faktor 4: Gegliedertheit der Veranstaltung

Faktor 5: Inhaltliche Wichtigkeit für das Psychologiestudium

Zurück zum Seitenanfang

Faktoren LEIRA

Aus Gründen der methodischen Vergleichbarkeit (s.o.) wurde dann für den LEIRA-Fragebogen ebenfalls eine Fünf-Faktor-Lösung angezielt, die sich folgenderweise darstellt:

Faktor 1: Interessantheit und Effektivität der Veranstaltung

Faktor 2: Engagement, Fachkompetenz und Wirksamkeit der/des Dozierenden

Faktor 3: Praxisnähe und persönliche Bedeutung

Faktor 4: Beteiligung der Studierenden und Verständlichkeit der Veranstaltung

Faktor 5: Arbeitsaufwand der Studierenden für die Veranstaltung

Zurück zum Seitenanfang

Vergleich zwischen Einführungskurs, inhaltlichen und Methoden-Veranstaltungen

Unter Rückgriff auf diese faktoriellen Strukturen wurden anschließend, wie oben begründet, Vergleiche zwischen dem Einführungskurs, den Methoden-Veranstaltungen und den so genannten "inhaltlichen" Veranstaltungen berechnet. Dazu wurden Skalenwerte durch einfaches Aufsummieren der einzelnen Itemwerte gebildet. Die Items, die in den obigen Auflistungen kursiv gedruckt sind, wurden aufgrund zu geringer Faktorladungen (< .50) bei der Skalenwertbildung nicht berücksichtigt. Um die erzielten Werte auf den Skalen leichter interpretieren zu können, wurden anschließend Skalenmittelwerte berechnet. Die Skalenmittelwerte können aufgrund der zugrunde liegenden Ratingskalen beim VB-PSYCH rein theoretisch Werte von 1 bis 4 (4-stufige Skala von 'stimmt' bis 'stimmt nicht'; wegen der einfacheren Interpretation wurde die Skala hier umgedreht, 'stimmt' entspricht 4 Punkte, 'stimmt nicht' 1 Punkt) und beim LEIRA von 1 bis 7 (7-stufige Skala von 'trifft nicht zu' bis 'trifft zu') einnehmen.

Da mit den folgenden Signifikanztests keine universellen Hypothesen überprüft werden, sondern vielmehr die Unterschiede zwischen den Veranstaltungsarten exploriert werden sollen, kann von einer -Adjustierung abgesehen werden (Koch, 2001). Die Veranstaltungsvergleiche werden somit paarweise mittels Welch-Test durchgeführt.

Wie den nachfolgenden Tabellen zu entnehmen ist, ergeben sich beim LEIRA zahlreiche und zum Teil sehr hohe Signifikanzen. Dies kann u.a. auf die hohen Stichprobengrößen zurückgeführt werden. Um bestimmen zu können, ob die signifikanten Unterschiede auch substanziell sind, wurden zusätzlich Effektstärkemaße (d-Wert, s. z.B. Bortz & Döring, 2002) berechnet. Nach einem Vorschlag von Cohen (1988) kann ab d = .30 von einem schwachen, ab d = .50 von einem mittleren und ab d = .80 von einem starken Effekt ausgegangen werden.

Die dargestellten Ergebnisse scheinen darauf hinzudeuten, dass der Einführungskurs im Vergleich zu den übrigen inhaltlichen Veranstaltungen als weniger interessant und effektiv eingeschätzt wird (Skala 1, mittlerer Effekt: d = .79). In Bezug zu den Methoden-Veranstaltungen findet sich zwar ein signifikanter Unterschied; dieser ist jedoch nicht substanziell (d = .21). Die inhaltlichen Veranstaltungen werden als deutlich interessanter eingestuft als die Methoden-Veranstaltungen (d = .94: großer Effekt). Bei der Skala 2 ,Engagement, Fachkompetenz und Wirksamkeit der Dozierenden' resultierten zwei signifikante Unterschiede, die allerdings nur schwach ausfielen (d = .44 bzw. d = .46). Sowohl beim Einführungskurs als auch bei den inhaltlichen Veranstaltungen werden die zugehörigen Aspekte etwas höher eingestuft als bei den Methoden-Veranstaltungen (Skala 2). Einführungskurs und die übrigen inhaltlichen Veranstaltungen unterscheiden sich diesbezüglich nicht. Des Weiteren wird der Einführungskurs als praxisnäher und persönlich bedeutender (Skala 3) eingeschätzt als die inhaltlichen (d = .64) und Methoden-Veranstaltungen (d = .49), während sich inhaltliche und Methoden-Veranstaltungen nicht signifikant unterscheiden. Bei der Skala 4 ,Beteiligung der Studierenden und Verständlichkeit' finden sich keine Unterschiede zwischen Einführungskurs und inhaltlichen Veranstaltungen. Diese beiden Veranstaltungsarten weisen aber jeweils leichte Unterschiede zu den Methodenveranstaltungen im positiven Sinne auf (d = .39 bzw. d = .37). Bezüglich des Arbeitsaufwands der Studierenden für die jeweilige Veranstaltung (Skala 5) unterscheidet sich der Einführungskurs von allen übrigen Veranstaltungen (d.h. inhaltlichen und Methoden-Veranstaltung) insofern, als der Arbeitsaufwand für den Einführungskurs am geringsten ist, und dies mit großem Effekt (d = 1.10 bzw. d = 1.67). Zudem werden die Methoden-Veranstaltungen im Vergleich zu den inhaltlichen Veranstaltungen als arbeitsaufwändiger angesehen (mittlerer Effekt: d = .59).

Auch beim VB-PSYCH ergeben sich trotz geringerer Stichprobenumfängen wiederum fast durchgehend signifikante Unterschiede, die den nachfolgenden Tabellen zu entnehmen sind. Hier erweist sich nur der Unterschied zwischen inhaltlichen und Methoden-Veranstaltungen hinsichtlich der Skala 3 (,,Praxisnähe und Fachrelevanz") als nicht-signifikant.

Inhaltlich bedeuten die Ergebnisse der Tabellen zum VB-PSYCH Folgendes: Der Einführungskurs wird im Vergleich zu den inhaltlichen (mittlerer Effekt: d = .62) und Methoden-Veranstaltungen (großer Effekt: d = 1.23) als weniger schwierig und besser verständlich eingeschätzt (Skala 1), was seinerseits mit einer mittleren Effektstärke (d = .75) auch noch einmal für den Vergleich von inhaltlichen und Methoden-Veranstaltungen gilt. Das Lehrengagement und die Kompetenz der/des Dozierenden (Skala 2) werden sowohl im Einführungskurs (d = .37) als auch in den übrigen inhaltlichen Veranstaltungen (d = .77) höher eingestuft als in den Methoden-Veranstaltungen, wobei im ersten Fall nur eine schwache Effektstärke gegeben ist. Dies gilt auch für den Vergleich zwischen dem Einführungskurs und den inhaltlichen Veranstaltungen (d = .49). Die Inhalte des Einführungskurses werden des Weiteren im Vergleich zu den übrigen Veranstaltungen (insgesamt) als praxisnäher und fachrelevanter beurteilt (Skala 3, d = .50 bzw. d = .43); zugleich wird der Einführungskurs im Vergleich wiederum sowohl zu den inhaltlichen Veranstaltungen (d = .60) als auch insbesondere zu den Methoden-Veranstaltungen (d = .94) als gegliederter bewertet (Skala 4). Auch die inhaltlichen Veranstaltungen werden in Relation zu den Methoden-Veranstaltungen als besser organisiert eingeschätzt, wobei der Unterschied hier nicht so deutlich ausgefallen ist (d = .36). Schließlich wird die inhaltliche Wichtigkeit für das Psychologie-Studium (Skala 5) bei den inhaltlichen Veranstaltungen sowohl im Vergleich zum Einführungskurs (großer Effekt: d = 1.37) als auch zu den Methoden-Veranstaltungen (mittlerer Effekt: d = .55) von den Studierenden höher bewertet. Bezüglich dieser Skala werden zudem die Methoden-Veranstaltungen höher eingeschätzt als der Einführungskurs (d = .74).

Insgesamt zeigen die Daten, dass man bei den eingesetzten Instrumenten durchaus von einer gewissen Validität ausgehen kann. Auf den ersten Blick unplausibel ist allerdings das Ergebnis, dass in beiden Fragebögen in Bezug auf das Lehrengagement und die Kompetenz der Dozierenden die inhaltlichen Veranstaltungen und der Einführungskurs höher eingeschätzt werden als die Methoden-Veranstaltungen. Eine Ursache hierfür könnte - wie bereits eingangs erwähnt - in der höher bewerteten Schwierigkeit der Methoden-Veranstaltungen liegen. Die wahrgenommene höhere Schwierigkeit könnte die Beurteilung hinsichtlich des Lehrengagements und der Kompetenz der Dozierenden negativ beeinflusst haben.
Anzumerken bleibt jedoch, dass methodisch saubere Vergleiche zwischen Methoden- und inhaltlichen Veranstaltungen verlangen, dass Veranstaltungen gleichen Typus, die jeweils von denselben Dozierenden gehalten wurden, gegenübergestellt werden. Nur so können Konfundierungen mit der Veranstaltungsart und/oder den Dozierenden vermieden werden. Zur Darstellung dieser Auswertungsmöglichkeit über mehrere Dozierenden hinweg ist an dieser Stelle jedoch nicht genügend Raum vorhanden (s. aber Koch, 2004).

Die Replikation des oben berichteten Ergebnisses, dass Methoden-Veranstaltungen im Vergleich zu inhaltlichen Veranstaltungen als schwieriger, uninteressanter und weniger (inhaltlich) wichtig für das Psychologie-Studium angesehen werden, spricht dafür, dass auch in den vorliegenden Untersuchungsstichproben die üblichen Bewertungsmuster der Studierenden abgebildet worden sind. Andererseits zeigt die Unterschätzung der Relevanz von Methoden-Veranstaltungen für das Psychologie-Studium, wenn man z.B. deren Gewicht bei den Lehrzielen und dem Studienplan für die Diplom-Ausbildung zugrunde legt, auch die Grenzen der Aussagekraft dieser Bewertungsperspektiven auf.
Allerdings kann man in Bezug auf das wichtigste inhaltliche Ziel dieser Evaluation (s.o.), nämlich die didaktische Realisierung und Etablierung eines Einführungskurses, doch von einem relativ validen Vergleich zwischen den Veranstaltungskategorien in Relation auf die hier zentralen Dimensionen der Verständlichkeit, der Gegliedertheit, Praxisnähe und Fachrelevanz ausgehen. Insgesamt sind dabei auch die absoluten Werte mit einer quasi ,,Zustimmung" zu der didaktischen Konzeption von 5,5 (Skala 1) beim LEIRA (bei einer 7-stufigen Skala von 1 ,trifft nicht zu' bis 7 ,trifft zu') bzw. 5,3 (Skala 3) sowie 3,3 und 3,8 (bei den Skalen 3 und 4) beim VB-PSYCH (4-stufige Skala von ,stimmt' bis ,stimmt nicht') als durchaus ermutigend anzusehen. Dass im Einführungskurs der Arbeitsaufwand als weniger intensiv im Vergleich zu den sonstigen Veranstaltungen angegeben wird, entspricht ebenfalls durchaus der Konzeption dieses Kurses, in dem ja zunächst einmal die relevanten Informationen und zumindest ansatzweise auch Arbeitstechniken für die Bewältigung des Studiums einführend vorgestellt werden sollen. So sind relevante Verbesserungsaspekte vor allem aus den individuellen, qualitativen Rückmeldungen (innerhalb und außerhalb der eingesetzten Fragebögen) zu entnehmen, als deren Folge z.B. inzwischen auch die Präsentation von Referaten mitthematisiert wird und von der Organisation her die drei Blockkurse in der ersten Hälfte des jeweiligen Wintersemesters (d.h. bis zu den Weihnachtsferien) abgeschlossen werden.

Die angeführten Skalenmittelwerte machen überdies deutlich, dass der Arbeitsaufwand der Studierenden für die inhaltlichen Veranstaltungen (LEIRA Faktor 5) von ihnen selbst nur als durchschnittlich (m = 3,64) bewertet wird. Auf der anderen Seite wird die inhaltliche Wichtigkeit dieser Veranstaltungen für das Psychologie-Studium (VB-PSYCH Faktor 5) mit 3,6 fast als optimal eingeschätzt; es wird auf die Dauer zu überprüfen sein, ob dies speziell für die angebotenen Themen der Allgemeinen Psychologie oder aber vielleicht für die Fächer des Grundstudiums generell im Vergleich zu den anwendungsorientierten Fächern des Hauptstudiums gilt (ggf. anhand paralleler Lehrevaluationen in diesen Fächern mit dem gleichen Instrumentarium).

Zurück zum Seitenanfang

Bewertung von Lehrveranstaltungen durch Studierende

An dieser Stelle wird die Bewertung der Lehrveranstaltungen mittels der inhaltlichen Dimensionen des LEIRA veranschaulicht. Dabei werden einige grundsätzliche Problembereiche der Lehrevaluation diskutiert. Der LEIRA besteht insgesamt aus 16 Skalen (s. Anhang). Sechs der sechzehn Skalen (3. ,Struktur', 4. ,Breite', 5. ,Verarbeitung', 6. ,Lehrkompetenz', 7. ,Dozentenengagement', 9. ,Klima') beziehen sich nach Rindermann (2001) auf beobachtbares Lehrverhalten der Dozierenden. Die Lehreffektivität, was als Zielkriterium einer Lehrveranstaltung gelten kann, soll mit den Skalen 8. ,Interessantheit', 11. ,Lernen' und 16. ,Allgemeineinschätzung' erhoben werden. Unter studierendenbezogene Aspekte, deren Ausmaß von den Einflüssen von Studierenden selbst (mit) abhängen, werden von Rindermann (2001) die Skalen 12. ,Referate', 14. ,Beteiligung' und 15. ,Diskussion' subsumiert. Als Rahmenbedingungen im Sinne von potenziell verzerrenden Variablen (= Biasvariablen) können die Aspekte 1. ,Themarelevanz', 2. ,Persönliche Bedeutung', 10. ,Anforderung', d.h. Schwierigkeit der Veranstaltung, sowie 13. ,Fleiß' (besser Arbeitsaufwand) der Studierenden eingeordnet werden.

Es können zumindest zwei Funktionen der Lehrevaluation unterschieden werden (Prenzel, 1999): eine Entwicklungs- bzw. Optimierungsfunktion und eine Rechenschaftsfunktion.
Bei der Optimierungsfunktion werden Rückmeldungen für die Dozierenden erhoben, um diese für eventuelle Verbesserungen der Lehre zu verwenden (vgl. Bargel & Hage, 2000; Gold, 1996). Um aussagekräftige Informationen zu erhalten, sollten Bewertungen von mindestens N = 10 Studierenden vorliegen, da nur so die Objektivität der Beurteilung gewährleistet werden kann. Aufgrund der Resultate kann der/die Dozierende seine Lehrqualität einschätzen.
Bei der Lehrevaluation im Sinne der Rechenschaftsfunktion werden Vergleiche zwischen der Lehrleistung von Dozierenden durchgeführt und veröffentlicht, womöglich mit - bislang in Deutschland lediglich diskutierten (vgl. Diehl, 2003; Koch, 2004; Rindermann, 2001) - weit reichenden Konsequenzen für die Lehrenden (z.B. Gehaltseinbußen, weniger Chancen bei Berufungen usw.). Bei dieser Form der Lehrevaluation sind härtere Kriterien zu fordern als bei der im Sinne einer Entwicklungsfunktion. Hiermit ist neben anderen Validitätskriterien insbesondere die Generalisierbarkeit der Ergebnisse anzuführen. Im Kontext der Rechenschaftsfunktion müssen somit nicht nur auf der Ebene der einzelnen Veranstaltungen jeweils genügend Studierendenurteile vorliegen (s.o., N = 10). Um eine Generalisierbarkeit und somit Vergleichbarkeit zu gewährleisten, müssen auch ausreichend Veranstaltungen eines/r Dozierenden bewertet worden sein. Hierzu sollten zumindest N = 5 Veranstaltungen gleichen Typus zur Verfügung stehen (vgl. Rindermann, 2001; Koch, 2004).

Dass es hierbei wesentlich ist, zwischen unterschiedlichen Veranstaltungsarten (z.B. Vorlesung vs. Referate-Seminar) zu differenzieren, sei an einem Beispiel veranschaulicht.

In dem Beispiel wird eine Vorlesung mit methodischem Inhalt (,,Wissenschaftstheorie") und ein Seminar mit inhaltlichem Bezug (,,Kreatives Problemlösen") gegenübergestellt. Beide Veranstaltungen wurden über mehrere Semester von Herrn Prof. Groeben gehalten. Für die Vorlesung liegen insgesamt n = 42 studentische Einschätzungen vor, für das Referate-Seminar n = 30. In der unteren Tabelle sind die Mittelwerte beider Veranstaltungen, die Signifikanz-Werte der Unterschiede (via Welch-Test) und die Effektstärken eingetragen.
Wenn man nur die Lehrverhaltensskalen betrachtet, fällt unmittelbar auf, dass kaum signifikante Unterschiede vorliegen. Nur bei zwei Aspekten sind Signifikanzen aufgetreten und zwar bei den Skalen 5. ,Verarbeitung' (d = .80) und 9. ,Klima' (d = .63). Bei diesen Skalen geht es darum, inwiefern die Dozierenden die Studierenden zum Mitdenken motivieren und zur kritischen Auseinandersetzung mit den Inhalten anregen (,Verarbeitung') bzw. ein positive, wertschätzende Atmosphäre schaffen (,Klima').

Die Ergebnisse sprechen a posteriori für eine gewisse Validität des LEIRA. Aufgrund ihrer Operationalisierungen (s. zugehörige Items im Anhang) ist es nachzuvollziehen, dass Lehrverhalten wie die Organisation des Kurses (3. ,Struktur'), der Theorie-Praxis-Bezug (4. ,Breite') sowie die Lehrkompetenz (Skala 6.) und das Engagement der Dozierenden (Skala 7.) unabhängig davon realisierbar sind, ob es sich um ein Referate-Seminar oder um eine Vorlesung handelt. Es sind Lehraspekte, die im Wesentlichen von der Person des/der Dozierenden abhängen. Der Aspekt der Verarbeitung (Skala 5.) kann hingegen in Referate-Seminaren leichter umgesetzt werden, da die Studierenden unmittelbar höhere Beteiligungsmöglichkeiten besitzen. In gewissen Ausmaß kann das zugehörige Lehrverhalten zwar auch in Vorlesungen verwirklicht werden, was sich mit einem absoluten Wert von (m = 5.83) auch gezeigt hat, nur eben nicht so stark wie in Referate-Seminaren (m = 6.58). Dies gilt im gleichen Maße für den Aspekt des Klimas, d.h. der Atmosphäre in der Veranstaltung (Skala 9.). Durch den relativ zentrierten Unterrichtsstil in Vorlesungen wird eine gewisse Distanz zwischen Dozierendem/r und Studierenden quasi nebenbei aufgebaut.
Bei den Rahmenbedingungen werden die ,Relevanz' (Skala 1.) und die ,Persönliche Bedeutung' des Themas (Skala 2.) in dem inhaltlichen Referate-Seminar signifikant und deutlich höher bewertet (d = .98 bzw. d = .70) als bei der Methoden-Vorlesung. Gleichzeitig wird das Anforderungsniveau (Skala 10.) bei der Vorlesung höher eingeschätzt. Dies entspricht dem oftmals gefundenen Unterschied bei der studentischen Bewertung zwischen inhaltlichen und Methoden-Veranstaltungen (s.o.). Interessant ist, dass sich dies kaum auf die Lehreffektivitätsvariablen auswirkt. Hier findet sich nur bei der Allgemeinbeurteilung ein signifikanter Unterschied, der zudem mit d = .49 nur schwach ausgefallen ist.
Bei den studierendenbezogenen Skalen 14. ,Beteiligung' und 15. ,Diskussion' ergaben sich ebenfalls nachvollziehbare Resultate. Beide Skalen werden bei der Seminar-Veranstaltung höher bewertet, wobei nur bei der Skala ,Diskussion' ein signifikanter Effekt (d = .98) resultierte. Diskussionen werden zwar von dem Verhalten der Studierenden bedingt, sie sind jedoch auch mit dem Veranstaltungstypus verknüpft. Gegen einen hohen Diskussionsanteil bei Vorlesungen ist nämlich einzuwenden, dass ein Hauptanliegen dieser Veranstaltungsart in der Vermittlung von Stoff liegt, was prinzipiell Diskussionen nicht ausschließt. Diese sind auch hier vielmehr erwünscht, nur nicht so stark wie bei Seminaren, sondern eher im mittleren Ausmaß. Auch wenn von den Autoren des LEIRA eine Bewertung unabhängig vom Veranstaltungstypus versucht wurde, spielen hier womöglich die Vorerwartungen der Studierenden eine Rolle, insbesondere beim Item ,Es finden ausreichend Diskussionen statt'. Wenn von einem zu hohen Diskussionsanteil in Vorlesungen ausgegangen wird, wird dieses Item niedriger bewertet als bei adäquaten Erwartungen.

Insgesamt sollte anhand des Beispiels deutlich werden, dass man vor allem bei vergleichenden Bewertungen im Sinne der Rechenschaftsfunktion zunächst einmal generell bestimmen muss, welche Aspekte ein/e Dozierende/r zu verantworten hat und bei welchen er oder sie wenig Einflussmöglichkeiten besitzt. So sollten studierendenbezogene Aspekte und Rahmenbedingungen auch als solche verstanden und nicht zur Bewertung der Dozierenden herangezogen werden. Bei den Lehrverhaltensskalen gibt es wiederum einige Aspekte, die von der jeweiligen Veranstaltungsart mitbestimmt werden. Daher sollte man, um auf der sicheren Seite zu stehen, bei Lehrkompetenz-Vergleichen immer nur Veranstaltungen gleichen Typus heranziehen. Nur so können Konfundierungseffekte vermieden werden.

Auf die generelle Kritik an der studentischen Lehrevaluation und an dem LEIRA im Speziellen wird an dieser Stelle nicht eingegangen. Hier sei nur angemerkt, dass bisherige deutsch- und englischsprachige Fragebögen zur Lehrevaluation und somit auch der LEIRA im Wesentlichen auf intuitiv formulierten Items und/oder auf Einschätzungen von Dozierenden oder Studierenden bezüglich relevanter Aspekte einer guten Lehre basieren oder sich auf solche Instrumente beziehen. Die auf diese Weise konstruierten Itempools, die ohne Zweifel einen kryptonormativen Gehalt (Groeben, 1986) aufweisen, wurden anschließend inhaltlich (z.B. Rindermann & Amelang, 1993) oder über Faktorenanalysen (z.B. Diehl & Kohr, 1977) gebündelt. Zwar finden sich immer wieder Hinweise, dass auch hochschuldidaktische Literatur berücksichtigt worden ist. Diese Bezugnahme geht jedoch in der Regel nicht über a posteriori angeführte Verweise auf Lehr-Lern-Konzeptionen hinaus (s. z.B. Rindermann, 1998, 2001; Marsh & Roche, 1994); eine systematische nachvollziehbare Aufarbeitung der Forschungsliteratur und Herleitung relevanter Aspekte fehlt bisher.
Diese Vorgehensweise führte zu den immer wieder aufkommenden Vorwürfen, dass es sich bei Verfahren zur Lehrevaluation um eine lose Zusammenstellung von Items ohne großen übergreifenden theoretischen Rahmen handele (Kromrey, 1995) oder dass theoretische Begründungen der Kriterien guter Lehre fehlten (Gold, 1996).

Dieser Ansatzpunkt für Kritik sollte bei einem neuen Fragebogen zum Dozierendenverhalten (FRADOV: Koch, 2004), der an diesem Lehrstuhl entwickelt worden ist, ausgeschlossen werden. Eine deduktiv-theoretische Herangehensweise bei der Konstruktion des Fragebogens war dabei allerdings nicht möglich, da eine Theorie der Hochschuldidaktik selbst heute (noch) nicht existiert (Bargel & Hage, 2000). Realisierbar war jedoch ein umfassender, systematischer Rekurs auf lehrevaluationsrelevante Forschungsbereiche. Zur theoriebezogenen Herleitung der bedeutsamen Aspekte einer ,,guten" Lehre wurden dazu die grundlegenden relevanten Arbeiten und Konzeptionen aus der kognitiven Psychologie, der kognitiven Instruktionspsychologie und der konstruktivismusbezogenen Lehrkonzeption bzw. aus dem Forschungsbereich des selbstbestimmten Lernens herangezogen.

Zurück zum Seitenanfang

Literatur

Bargel, T. & Hage, N. El (2000). Evaluation der Hochschullehre. Zeitschrift für Pädagogik, Beiheft 41, 207-224.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.

Diehl, J.M. (2003). Normierung zweier Fragebögen zur studentischen Beurteilung von Vorlesungen und Seminaren. Psychologie in Erziehung und Unterricht, 50, 27-42.

Diehl, J.M. & Kohr, H.U. (1977). Entwicklung eines Fragebogens zur Beurteilung von Hochschulveranstaltungen im Fach Psychologie. Psychologie in Erziehung und Unterricht, 24, 61-75.

Esser, H. (1994). Lehrbericht der Fakultät für Sozialwissenschaften der Universität Mannheim. Ergebnisse der Studenten- und Lehrerhebung im Wintersemester 1993/94. Mannheim: Fakultätsbericht.

Gold, A. (1996). Können Studierende die Qualität der Lehre beurteilen? Einige Anmerkungen zu Rindermanns Antwort an seine Kritiker. Zeitschrift für Pädagogische Psychologie, 10, 147-150.

Koch, E. (2001). Über die angemessene Verwendung der alpha-Adjustierung. Kölner Psychologische Studien, 6, 33-44.

Koch, E. (2004). Gute Hochschullehre. Theoriebezogene Herleitung und empirische Erfassung relevanter Lehraspekte. (Im Druck)

Kromrey, H. (1995). Rezension des Heidelberger Inventars zur Lehrveranstaltungs-Evaluation. Zeitschrift für Pädagogische Psychologie, 9, 221-224.

Marsh, H.W. & Roche, L.A. (1994). The use of students' evaluations of university teaching to improve teaching effectiveness. Canberra: Department of Employment, Education and Training.

Marsh, H.W. & Roche, L.A. (1997). Making students' evaluations of teaching effectiveness effective. American Psychologist, 52, 1187-1197.

Prenzel, M. (1999). Studentische Beurteilungen von Lehrveranstaltungen - ein Thema für pädagogische Forschung? In G. Pollak & R. Prim (Hrsg.), Erziehungswissenschaft und Pädagogik zwischen kritischer Reflexion und Dienstleistung (S. 268-279). Weinheim: Deutscher Studien Verlag.

Rindermann, H. (1998). Skalen der Lehrevaluation: Welche Aspekte sollen in universitären Lehrveranstaltungen beurteilt werden? In G. Krampen (Hrsg.), Psychologiedidaktik und Evaluation (S. 295-316). Bonn: Deutscher Psychologenverband.

Rindermann, H. (2001). Lehrevaluation. Landau: Verlag Empirische Pädagogik.

Rindermann, H. & Amelang, M. (1993). Entwicklung eines Instruments zur Evaluation von universitären Lehrveranstaltungen. Bericht an das Wissenschaftsministerium des Landes Baden-Württemberg. Psychologisches Institut der Universität Heidelberg.

Rindermann, H. & Amelang, M. (1994). Das Heidelberger Inventar zur Lehrveranstaltungsbeurteilung (HILVE). Heidelberg: Asanger.

Zurück zum Seitenanfang

Anhang

Items und Dimensionen des LEIRA

Antwortskala:

trifft nicht zu

1 -- 2 -- 3 -- 4 -- 5 -- 6 -- 7

trifft zu

1. Themarelevanz
Das behandelte Thema ist von gesellschaftlicher Bedeutung.
Das Thema hat praktische Bedeutung.

2. Persönliche Bedeutung
Das was ich hier höre und lerne, kann mich persönlich und menschlich weiterbringen.
Das Thema der Veranstaltung interessiert mich.

3. Struktur
Der inhaltliche Aufbau der Veranstaltung ist stringent/logisch.
Die Vorträge des Dozenten sind gut gegliedert.
Die Veranstaltung ist gut organisiert.

4. Breite
Der Stoff wird anhand von Beispielen aus dem Alltag oder der Praxis veranschaulicht.
Die Relevanz/Bedeutung/Nutzen der behandelten Themen wird nahegelegt.
Ein Bezug zwischen Theorie und Praxis wird hergestellt.

5. Verarbeitung
Ich werde zum Mitdenken motiviert.
Zur kritischen Auseinandersetzung mit den behandelten Themen wird angeregt.

6. Lehrkompetenz
Der Dozent kann Kompliziertes verständlich machen.
Die Dozentin/Der Dozent wirkt gut vorbereitet.
Die Dozentin/Der Dozent ist m.E. fachkompetent.
Die Dozentin/Der Dozent spricht frei und anregend.

7. Dozentenengagement
Der Dozent zeigt Engagement in seiner Lehrtätigkeit und versucht Begeisterung "rüberzubringen".
Die Dozentin/Der Dozent nimmt die Lehre wichtig.
Dem Dozenten macht es Spaß, zu lehren.
Dem Dozenten ist es wichtig, dass die Studierenden etwas in der Veranstaltung lernen können.

8. Interessantheit
Die Veranstaltung ist interessant.
Mir ist in der Veranstaltung langweilig.
Die Veranstaltung zieht sich schleppend dahin.

9. Klima
Der Dozent ist im Umgang mit den Studierenden freundlich und aufgeschlossen.
Die Dozentin/Der Dozent ist kooperativ.

10. Anforderung
Die Stoffmenge kann ich noch verkraften.
Das Tempo der Veranstaltung ist zu schnell, ich kam nicht mehr mit.
Ich verstehe alles.

11. Lernen
Ich habe viel in der Veranstaltung gelernt.
Ich lerne etwas Sinnvolles und Wichtiges.

12. Referate
Die Referate der Studierenden sind interessant.
Die Referate sind strukturiert und verständlich.
Die Referate sind nützlich und wertvoll.
Die Referenten werden durch den Dozenten gut betreut und adäquat ergänzt.

13. Fleiß
Ich bereite mich auf die Veranstaltung vor oder bereitete sie nach.
Mein Arbeitsaufwand für die Veranstaltung ist verglichen mit anderen Veranstaltungen sehr hoch.
Ich arbeite für die Veranstaltung, z.B. lese die angegebene Literatur.

14. Beteiligung
An der Veranstaltung beteilige ich mich mit Wortbeiträgen.
Beim Einbringen eigener Beiträge fühle ich mich frei und äußerungsfähig.

15. Diskussion
Es finden ausreichend Diskussionen statt.
Die Diskussionen in der Veranstaltung sind produktiv.

16. Allgemeineinschätzung
Der Besuch der Veranstaltung lohnt sich.
Die Veranstaltung fördert mein Interesse am Studienfach.
Wenn man alles in einer Note zusammenfassen könnte,
würde ich der Veranstaltung folgende Note geben: ................................
(Notenskala von sehr gut = 1 bis ungenügend = 6, es sind auch Viertelnoten, wie 3,5 oder 2+ möglich. Bitte die betreffende Zahl eintragen.)

Autor:

Zurück zur LEHRE-Seite