Wie ist die Leistungsverteilung in den Studienfächern?

Unsere Universität hat eine öffentliche Notenverteilungsdatenbank, also habe ich eine wirklich schnelle Analyse einiger historischer Daten durchgeführt, um zu sehen, ob es irgendeine Unterstützung für diese Idee gibt. Zu meiner Überraschung scheint es so zu sein. Aber meine Analyse ist sehr begrenzt.

Ich habe die Notenverteilungen für alle Intro-Psychologie- und Intro-Informatik-Kurse von 2010-2014 heruntergeladen. Dadurch habe ich die Noten von etwa 15.000 Psychologiestudenten und etwa 1.500 Informatikstudenten erhalten. Ich habe die Anzahl für jede Buchstabennote summiert und dann auf einen Prozentsatz der Schüler normalisiert. Entschuldigung für das etwas hässliche Diagramm, aber hier ist, was ich gefunden habe:

Die Verteilung der Buchstabennoten scheint in beiden Disziplinen ziemlich einheitlich zu sein, aber was mir auffällt, ist die Vergabe von „W“-Noten, die die Note ist, die ein Student erhält, wenn er sich mindestens für die erste Unterrichtswoche eingeschrieben hat . Etwa 20 % aller Intro-CS-Studenten ziehen sich aus dem Unterricht zurück, während weniger als 5 % der Intro-Psych-Studenten dies tun. Dies könnte darauf hindeuten, dass eine größere Zahl von CS-Studierenden den Kurs als zu anspruchsvoll für sich empfindet und lieber abbricht, als eine schlechte Note zu bekommen.

Nach den Untersuchungen von Elizabeth Patitsas ist die Verteilung nicht bimodal . Sie untersuchte 778 CS-Kurse der University of British Columbia sowie 5 CS-Kurse der University of Toronto und stellte fest, dass die überwiegende Mehrheit nicht bimodal war:

Schätzungsweise 85,1 % der Abschlussnoten in den CS-Unterrichtsklassen der UBC sind normalverteilt. 5,8 % der getesteten Klassen waren bimodal, was nicht viel mehr ist als die False-Positive-Rate, die ich erwarten würde (5 %).

Mehr zu diesen Ergebnissen können Sie im oben verlinkten Blogbeitrag oder in „ Evidence That Computer Science Grades Are Not Bimodal “ von Elizabeth Patitsas, Jesse Berlin, Michelle Craig und Steve Easterbrook nachlesen.

Erschwerend kommt hinzu, dass Personen, die glauben, dass die Verteilung bimodal ist, bei einer Diskussion darüber eher eine bimodale Verteilung in einer normalverteilten Stichprobe sehen :

Wir haben die Nachbesprechung verschoben, bis unsere Analyse abgeschlossen war, in der Annahme, dass Sie die vorläufigen Ergebnisse der Studie wissen möchten. Wir haben tatsächlich festgestellt, dass Teilnehmer, die der Aussage „Einige Schüler sind von Natur aus dazu prädisponiert, in Informatik besser abzuschneiden als andere“ stärker zustimmten, mehrdeutige Verteilungen statistisch signifikant häufiger als bimodal bezeichnen.

(Dies ist angesichts der Komplexität der Frage etwas kurz. Ich werde es später erweitern, wenn ich mehr Ergebnisse zusammenfassen kann.)

Sicher ist wahrscheinlich nur die hohe Durchfallquote in CS1-Level-Klassen weltweit. Aus einer aktuellen (2014) Metaanalyse :

In diesem Artikel beantworten wir die Forderung nach weiteren substanziellen Beweisen für das Phänomen der CS1-Fehlerrate, indem wir eine systematische Überprüfung der einführenden Programmierliteratur und eine statistische Analyse der aus relevanten Artikeln extrahierten Erfolgsratendaten durchführen. Bestehensquoten, die die Ergebnisse von 161 CS1-Kursen beschreiben, die in 15 verschiedenen Ländern und an 51 Institutionen durchgeführt wurden, wurden extrahiert und analysiert. Es wurde eine fast identische mittlere weltweite Bestehensquote von 67,7% gefunden. Die Moderatoranalyse ergab signifikante, aber vielleicht nicht wesentliche Unterschiede in den Bestehensquoten, basierend auf: Klassenstufe, Land und Klassengröße. Es wurde jedoch festgestellt, dass sich die Erfolgsquoten im Laufe der Zeit oder basierend auf der im Kurs gelehrten Programmiersprache nicht wesentlich unterschieden.

Es gab eine frühere weltweite Studie aus dem Jahr 2007 (unter Verwendung von selbst gemeldeten Online-Daten), die dieser Zahl zustimmte (~ 33 % Ausfallrate), obwohl die beobachtete Verteilung für die bestandenen Schüler anders war:

Leider vergleicht keine der Studien diese Zahl mit anderen Bereichen, aber die Studie von 2007 errechnete auch, dass der Abschluss von CS-Tertiärbildung weltweit niedrig ist, 26,8 %, so dass das Bestehen von CS1 danach kaum ein reibungsloses Segeln garantiert.

Die letztere [kontraproduktive 3D-]Grafik basiert auf UNESCO-Daten, weshalb Nordamerika fehlt (der US-Boykott[ed] UNESCO.)

Es gibt jedoch ein Papier , in dem es heißt:

Studien in Irland [1] haben gezeigt, dass die Informatik die höchste Ausfallrate aufweist, was eine Nicht-Abschlussrate von 26,9 % für Informatikkurse ergibt.

[... zitieren:]

[1] Mark Morgan, Rita Flanagan und Thomas Kellaghan, „Higher Education Report A Study of Non-Completion in Undergraduate University Courses“, veröffentlicht im Februar 2001

Es wurden mehrere Theorien für die Ausfallrate von CS1 aufgestellt: genetische Grundlage, „Lernimpuls“ und/oder Stolpersteine, aber es ist noch zu früh, um zu sagen, ob eine davon überzeugende empirische Unterstützung hat. (Tatsächlich argumentiert das letzte Papier, dass es insofern keine gute Datenerfassungsstrategie gibt, die es auch nur eins zu eins erlauben würde, zu entscheiden.) Und ein akademischer Blog schlägt vor (basierend auf seinen eigenen Daten), dass keine richtig sein könnte. Noch ein anderer Artikel legt nahe, dass (Duckworths) Körnung eine wesentliche Rolle spielt. Und im Hinblick darauf, dass die Abschlussnote eine Aggregation ist, legt eine Arbeit (basierend auf einer einzelnen Lehrveranstaltung) nahe, dass die bimodalen Abschlussnoten der Studierenden aus der praktischen Seite der Bewertung stammen:

Leider war ich nicht in der Lage, andere Artikel zu finden, die sich mit diesem Aspekt befassen, aber es scheint mir, dass das Schleifpapier in die gleiche Richtung weist; Es stellte sich heraus, dass Grit ein viel besserer Prädiktor für den CS1-Erfolg war als ACT (selbst als Proxy für IQ angesehen).

Das in der Frage erwähnte Buckelpapier wird nicht sehr ernst genommen (die meisten dieser Papiere zitieren es nicht), und heutzutage sogar von seinen eigenen Autoren selbst . Es scheint auch nicht das erste gewesen zu sein, das das Phänomen der Notenverteilung beobachtet hat. Ich bin mir nicht ganz sicher, warum es online populär wurde. Seine starke Sprache und/oder der SE-Effekt vielleicht. In diesem Papier aus dem Jahr 2005 wurde beispielsweise auch die Ausfallrate von 30 % bis 40 % erwähnt.

Hier ist auch ein Diagramm mit der Ausfallrate nach Ländern aus der Metaanalyse von 2014:

Die Autoren weisen darauf hin, dass die Top-3-Versagensführer Portugal, Deutschland und Brasilien in dieser Studie durch eine ziemlich kleine Stichprobe vertreten waren, sodass man sich auf die Daten für diese Länder nicht wirklich verlassen kann. Andererseits wurde festgestellt, dass „von den 4 Ländern, die 80 % der Stichprobe ausmachten, Finnland mit 57,7 % die niedrigste Bestehensquote aufweist“. Die anderen drei Länder in diesem 80 %-Masse der Daten, die USA, das Vereinigte Königreich und Australien, hatten statistisch nicht unterscheidbare Raten.

Auch hätte die Methodik in dieser Meta-Analyse offener sein sollen, aber sie sagen: "Derzeit haben wir in dieser Studie festgestellt, dass 3 von 10 Studenten CS1 nicht abschließen oder nicht bestehen." Sie zählen Auszahlungen also definitiv als Misserfolg, im Grunde für die Statik, die sie gemeldet haben.