Schon ein paar Tage alt, ging die Kritik an der Hattie Studie von Rolf Schulmeister und Jörn Loviscach etwas an mir vorbei, nur um mir jetzt umso häufiger über den Weg zu laufen. Per Mail oder im Netz stolper ich über Hinweise zu dem Text, der Kritikpunkte benennt und als pdf unter: http://www.bak-online.de/downloads/Seminar2-2014_S121-130.pdf abgerufen werden kann. In der Kritik weisen Schulmeister und Loviscach darauf hin, dass die Meta-Analyse „Visible Learning“, welche eine Vielzahl von (Meta-)Analysen zur Wirkung von Unterricht untersucht und zusammenfast, beträchtliche und methodische Schwächen aufweist und kommen zum Schluss, dass das Werk einer grundlegenden Überprüfung bedarf. Auf Basis von Stichproben aus den von Hattie herangezogenen Untersuchungen finden die beiden Autoren folgende Kritikpunkte:

• offenbar nicht wenige der von Hattie herangezogenen Studien sind methodisch zweifelhaft und nicht aussagekräftig genug,
• die Zuordnung einiger in die Beforschung aufgenommene Untersuchungen zu entsprechenden Themen der Hattie-Studie erscheint den Kritikern fragwürdig,
• die von Hattie genutzten Analysen sind nicht sorgfältig ausgewählt und so findet sich z.B. eine Studie zur Konzentration industrieller Macht, die nicht mit der Konzentration im Lernprozess zu verwechseln sei. Auch konnten Schulmeister und Loviscach nicht immer die in der Hattie-Studie gefundenen Zahlen in den Originalen wiederfinden,
• Kritik an der Kompatibilität von abhängigen Variablen, die in der Hattie-Studie Anwendung fanden,
• statistische Messfehler, wie die Mittlung von Standardfehlern aus verschiedenen statistischen Untersuchung,
• nicht nachvollziehbares Ranking, welches in der Hattie-Studie große Aufmerksamkeit erregte. Die beiden Kritiker konnten nach einigen Korrekturen auf Basis der Nachprüfungen anderes Rangordnungen errechnen.

Das als kurze Zusammenfassung der Ergebnisse und Kritikpunkte von Schulmeister und Loviscach. Eine bemerkenswerte und sicherlich nützliche Arbeit, die vielleicht dazu einlädt, vorsichtiger mit Daten und Ergebnissen umzugehen.

Nachzulesen in Schulmeister, Rolf & Loviscach, Jörn (2014). Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. SEMINAR 2/2014, S. 121-130.

Quelle zur Hattie-Studie: Hattie, John (2014). Lernen sichtbar machen. 2. korr. Aufl. Hohengehren: Schneider. (bei Amazon)

Die Zusammenfassung der Kritik von Schulmeister& Loviscach online unter: https://docs.google.com/document/d/1hUbe8GYPFToduveTVD1laNXn-2lwlxsWRNkc62l5LYg/