Warum wurde der „Wertschöpfungsmodell“-Algorithmus geheim gehalten?

Diese TED-Präsentation besagt, dass das New Yorker Bildungsministerium einen geheimen Algorithmus verwendet, um Lehrer zu bewerten:

(..) Lehrer wurden mit einem komplexen, geheimen Algorithmus bewertet, der als „Mehrwertmodell (..)“ bezeichnet wird.

Ich habe nach diesem Algorithmus gesucht und es gibt einige Kritik daran ( Huffington Post ):

Ein Algorithmus ist ein automatischer Weg, um Ergebnisse zu ermitteln. Diese lästigen menschlichen Faktoren wie Urteilsvermögen, Emotionen, Urteilsvermögen, Verständnis, Empathie, Sympathie, kritisches Denken müssen nicht mit einbezogen werden.

Während die Verwendung oder Nichtverwendung eines Algorithmus zur Bewertung eindeutig umstritten ist, interessiere ich mich hauptsächlich für den Teil, der nicht öffentlich ist. Das klingt seltsam, da Lehrer nicht wissen, was sie verbessern sollten, wenn sie dadurch bestraft werden.

Frage: Warum wurde der „Wertschöpfungsmodell“-Algorithmus geheim gehalten?

Was hat das mit Regierungen zu tun?
@KDog ist eine Richtlinie zur Bewertung öffentlicher Angestellter.
Können Sie bitte klarer sagen, dass dies öffentliche Schulen sind und in welchen Gerichtsbarkeiten. So wie die Frage gestellt ist, könnte es sich um einen Lehrer in einem Unternehmen oder so ziemlich alles handeln.
Und wem gehört die IP auf dem Algo?
@KDog - Die Entscheidung, wie Angestellte im öffentlichen Dienst bewertet werden, scheint eine politische Entscheidung zu sein. Und was bedeutet IP in diesem Zusammenhang?
@Alexei Rechte an geistigem Eigentum
@KDog Im Allgemeinen gibt es keine echte IP für Algorithmen (obwohl Implementierungen urheberrechtlich geschützt sein können). Es ist wahrscheinlich ein Geheimnis, Lehrer daran zu hindern, den Algorithmus zu spielen, um ihre Punktzahl künstlich aufzublähen.
Ich stimme für das Schließen als „Motivations“-Frage. Die einzigen Menschen, die wissen, warum wir es sind, haben es entschieden. „Welche Gründe wurden von Stadt/Land/Behörde angegeben?“ Wäre beantwortbarer.
@MartinTournoij wenn Geld für die Auswertung bezahlt wird, besteht ein Anreiz, den Algorithmus zu verschleiern, gerade weil es weniger Rechtsschutz gibt; es wäre ein Geschäftsgeheimnis, das nur dann gesetzlich geschützt ist, wenn es auch in der Praxis geschützt wird.
Die allgemeinen Ideen hinter diesen Bewertungstypen sind bekannt, und es gibt keinen einzigen geheimen Algorithmus , der von allen verwendet wird. Verschiedene Gruppen könnten unterschiedliche Gründe dafür haben, ihre Version geheim zu halten, z. B. zu versuchen, jemanden daran zu hindern, das System zu spielen, oder Kritik für schlechte Algorithmen zu vermeiden.
Ich kenne nicht genug Details, um zu wissen, ob / warum dies speziell getan worden wäre. Aber ein Grund, warum Sie die Details eines unvollkommenen Algorithmus verbergen würden, ist, Leute daran zu hindern, „das System zu spielen“ oder „auf die Probe zu spielen“. Wenn es keine Kenntnis darüber gibt, was analysiert wird, müssen die Menschen im Grunde normal handeln und nur hoffen, dass die magische Blackbox ihre Arbeit nicht übersieht. Das ist alles, was sie tun können. Wenn sie den Algorithmus kennen, können sie sich nur auf Dinge konzentrieren, die der Algorithmus bewertet, während sie andere Dinge ignorieren, selbst wenn diese anderen Dinge eigentlich wirklich wichtig sind.
@Tal - ja, es macht absolut Sinn und das ist wahrscheinlich die beste Antwort, die ich bekommen kann.
@KDog Es scheint klar zu sein, dass dies eine Frage der öffentlichen Ordnung ist. Laut dem Artikel verwendete das New Yorker Bildungsministerium diesen Ansatz, um Lehrer zu bewerten. Die politische Frage lautet also: "Warum war es ein Geheimnis?".
@indigochild Wahrscheinlich, aber ich sollte den Artikel nicht lesen müssen, um das herauszufinden. Das sage ich.
@ Tal Ich stimme zu. Übrigens ist das im Wesentlichen das, was en.wikipedia.org/wiki/Goodhart%27s_law sagt: "Wenn eine Maßnahme zu einem Ziel wird, ist sie keine gute Maßnahme mehr."
@Tal - Scheint, als hätten Sie dort den Anfang einer hervorragenden Antwort. Sie sollten erwägen, einen zu schreiben.

Antworten (2)

Der Algorithmus wird geheim gehalten, da er von einem privaten Unternehmen entwickelt wurde und als solches proprietär ist ( Quelle ).

Soweit ich weiß, ist dies das System, das vom NY Board of Education verwendet wird, aber ich konnte es noch nicht bestätigen. Aber wenn ja, dann beantwortet es Ihre Frage: Es ist ein Produkt, von dem viele Vermögen abhängen.

Derselbe Grund, warum wir den Quellcode in Wahlmaschinen nicht einsehen können (oder „nicht konnten“, falls sich das geändert hat), um sicherzustellen, dass sie die Stimmen ehrlich tabellieren.
@PoloHoleSet - Nun, in einigen Ländern gibt es eine Anforderung, Stimmen auch auf Papier aufzubewahren (im Falle von Maschinenausdrucken). Aber aus Erfahrungen bei der Wahl in meinem Heimatland kann ich Ihnen sagen, dass das egal ist. Stalin sagte, dass es darauf ankomme, wer die Stimmen zähle, nicht wer abstimme. Du glaubst nicht, was da vor sich geht. Man kann auch Schotten fragen - ihr Unabhängigkeitsvotum war so fein wie möglich ...
Glauben Sie mir, ich behaupte nicht, dass der US-Weg für solche Sachen überhaupt der wünschenswerte Modus ist.

Ein Grund, Bewertungsalgorithmen wie diesen geheim zu halten, besteht darin, die Fähigkeit der Leute zu verringern, Ihr System zu "spielen", indem sie schlecht abschneiden, aber hoch abschneiden. Indem ein solcher Algorithmus geheim gehalten wird, ermutigt er hoffentlich die Menschen, einfach ihr Bestes zu geben und zu hoffen, dass der Algorithmus dies widerspiegelt.

Wenn der Algorithmus auf diese Weise gespielt werden kann, weist dies darauf hin, dass er nicht zweckmäßig ist und behoben werden sollte.
@Vikki Alle möglichen Algorithmen sind wahrscheinlich spielbar, es wäre sehr schwierig, etwas zu finden, das nicht spielbar ist. Stellen Sie sich vor, wie viele Leute daran arbeiten, sicherzustellen, dass die tatsächlichen Spiele ausgewogen sind, und dennoch schaffen es die Leute, sie auf unerwünschte und unerwartete Weise zu minimieren, selbst ohne nennenswerte finanzielle Vorteile.
Warum wurde der „Wertschöpfungsmodell“-Algorithmus geheim gehalten?
AntwortenHierDatenschutz-Bestimmungen1y, 0v