Legitimität von Peer-Review

Viele Angelegenheiten in der Wissenschaft, wie zum Beispiel wer finanziert wird, was veröffentlicht wird und wer eine Anstellung bekommt, werden von einer relativ kleinen Gruppe von Personen geregelt. Dies gilt ganz allgemein, von den Künsten bis zu den Wissenschaften.

Bei der Förderung, bei der öffentliche Gelder für Projekte ausgegeben werden, entscheidet eine kleine Gruppe von Menschen stellvertretend für die breite Bevölkerung. Die Befugnis, diese Entscheidungen zu treffen, wird vom Volk auf sehr indirekte Weise gewährt, gewählte Vertreter wählen Gremien, die dann ein ziemlich komplexes System von Gremien verwenden, um Entscheidungen zu treffen. Es gibt natürlich Checks and Balances.

Aber reicht diese unglaublich indirekte Repräsentation der Bevölkerung aus, um diese Gremien legitim zu machen? Gibt es andere Faktoren, auf denen die Legitimität beruht?

Vielleicht bieten Institutionen, die für diese Entscheidungen verantwortlich sind, und die von ihnen verwendeten Systeme eine Quelle der Legitimität. Vielleicht ist es nur dann der Fall, wenn ihre Verfahren offen sind.

Wie auch immer, ich habe damit ein bisschen zu kämpfen, Vorschläge wären willkommen.

OK, ich habe das gerade entdeckt, aber die erste Zeile deutet darauf hin, dass es in Bezug auf Ihre Frage genau richtig ist: "Bias in Peer Review" (PDF) .

Antworten (1)

Es gibt also Probleme mit Peer-Review, aber es ist nicht ganz so schlimm, wie Sie es hier darstellen.

Wenn Sie über den Prozess sprechen, wie eine Einreichung veröffentlicht wird, hilft dies, dies zu erklären.

Zunächst reicht der Autor einen Artikel zur Prüfung bei einer Zeitschrift ein. In diesem Stadium wird der Artikel für die Blindüberprüfung vorbereitet, sodass das Manuskript keine identifizierenden Informationen enthält.

Zweitens entscheidet der Herausgeber der Zeitschrift, ob die Einreichung begutachtet werden sollte oder nicht. Wenn nicht, dann ist das Papier "Schreibtisch abgelehnt". Viele Zeitschriften erhalten mehrere hundert Einreichungen pro Jahr, und es gibt einfach nicht genug Leute, um sie alle angemessen zu begutachten. Der Redakteur muss sich also überlegen, für welche Artikel es sich lohnt, die wertvollen Ressourcen aufzuwenden, die erforderlich sind, um den Artikel auf Veröffentlichungsqualität zu bringen.

Wenn der Redakteur der Meinung ist, dass der Artikel möglicherweise eine Chance hat, veröffentlicht zu werden, wird er oder sie den Artikel zur Kommentierung an Gutachter senden. In der Regel geht die Arbeit an ein bis drei Gutachter.

Verschiedene Zeitschriften können in diesem Prozess im Hinblick darauf eingestuft werden, wer wen kennt.

Ein einzelnes Blindjournal ist eines, bei dem die Gutachter die Autoren der von ihnen begutachteten Arbeiten nicht kennen.

Ein doppelt blindes Journal ist eines, bei dem weder die Gutachter noch die Autoren die Identität des anderen kennen.

Eine dreifach blinde Zeitschrift wird eine Zeitschrift sein, in der weder die Gutachter noch die Autoren, noch nicht einmal die Herausgeber die Identität der Autoren und Gutachter kennen. (Diese Art von Zeitschriften erfordert Redaktionsassistenten, die die E-Mails usw. bearbeiten, um die Integrität des Prozesses zu wahren.)

Jetzt sind sogar dreifach blinde Zeitschriften anfällig für Fehler im Begutachtungsprozess. Es kann einfach passieren, dass Sie gebeten werden, die Arbeit eines Freundes oder eine Arbeit, die Sie zufällig auf einer Konferenz gehört haben, zu überprüfen. Idealerweise sollte sich ein Schiedsrichter in einer solchen Position zurückziehen, aber meiner Meinung nach passiert das nicht oft, nur weil es oft wirklich schwierig ist, qualifizierte Schiedsrichter zu finden, die bereit sind, ihre Zeit freiwillig zu übernehmen Das Papier wurde automatisch wegen Mangels an qualifizierten Gutachtern abgelehnt.

Es gibt zwar Probleme bei der tatsächlichen Umsetzung, aber insgesamt halte ich den Prozess bei dreifach blind begutachteten Zeitschriften für solide.

Hmm. "[I]n einer Umfrage unter fast 1.500 Redakteuren in der Chemie gaben mehrere Befragte an, dass Doppelblindheit "sinnlos sei, weil Inhalt und Verweise Identität verraten"" (aus dem pdf in meinem Kommentar zur Frage). Triple-Blind wird nicht (einmal) erwähnt, aber das sollte keinen großen Unterschied machen. BTW: Ich weiß nicht, was 'eine Vielzahl' hier bedeuten soll??
Ich denke, sie meinen wahrscheinlich die größte Zahl, aber eine Zahl von weniger als 50 % stimmte dieser Aussage zu. Ich bin ein bisschen überrascht von diesem Ergebnis, um ehrlich zu sein.
Sie haben Recht mit der Pluralität. Ich überprüfte. Außerdem: "Diese Annahme wurde in einer Reihe von empirischen Studien getestet, die zeigten, dass Gutachter Autoren in 25%–40% der Fälle erfolgreich identifizieren können[.]"
Das ist wirklich interessant. Obwohl es zeigt, dass der Rezensent es nicht öfter weiß als er oder sie. Ich persönlich denke, dass das größere Problem mit Peer Review auf der Seite des Herausgebers liegt und nicht auf der Seite der Gutachter. Es gibt zu viele Schiedsrichter, um sie alle erfolgreich zu spielen. Es gibt viel weniger Herausgeber wichtiger Zeitschriften, daher sind ihre persönlichen Eigenheiten potenziell viel wichtiger.
Ich habe eher versucht zu fragen, was die Grundlage dafür ist, einer kleinen Anzahl von Menschen die Macht zu geben, diese Entscheidungen zu treffen, was es gerecht macht. Besonders fragwürdig ist es, wenn es um das Gemeinwohl geht. Sie könnten denken, dass der Prozess vernünftig ist, ich bin nicht besonders anderer Meinung. Man kann argumentieren, dass eine diesbezügliche Einigung in der Bevölkerung im Wesentlichen darauf hinausläuft, worauf es bei der Legitimität ankommt – andererseits stößt dies wiederum auf das Problem der Expertise.
@shane 1) Wahrscheinlicher zeigt es, dass einige Rezensenten gut im Identifizieren sind und andere nicht so gut darin sind. 2) Deshalb habe ich erwähnt, dass die Zeitung Triple-Blind nicht erwähnt. Ist es üblich?
Das Schöne daran ist, dass kaum jemand dazu in der Lage oder bereit ist. Um wirklich ein ehrlicher Redakteur zu sein, müssen Sie enorm viel wissen und bereit sein, einen großen Teil Ihrer eigenen Zeit zu opfern, um die Hunderte und Aberhunderte von Einsendungen, die Sie erhalten, zu sichten und diese Anrufe zu tätigen, welche Dinge an Gutachter weitergegeben werden sollen und welche nicht zu. Es ist eine schwierige, zeitraubende und nicht besonders gut bezahlte Arbeit.
@Watson, in Philosophie nehme ich an, dass es in den Top-Journalen immer häufiger vorkommt. Zwei bekannte Zeitschriften, die Triple Blind praktizieren, sind Nous und Mind. Kleinere Zeitschriften können sich die Redaktionsassistenten usw. nicht leisten. Ich weiß nicht, wie die Statistiken zusammenbrechen würden, und ich möchte keine schlecht informierte Vermutung wagen.
Ich sehe nicht ein, wie es vordergründig altruistisch bedeutet, dass es fair ist oder im Falle von Finanzierungsentscheidungen, dass sie im Interesse der Bevölkerung getroffen werden, die diese Befugnisse letztendlich einräumt.
@shane Ich denke darüber nach, diese Frage ziemlich stark zu überarbeiten, es wird diese Antwort wahrscheinlich etwas seltsam aussehen lassen. Ich habe die Wahl, ob ich erneut frage oder redigiere. Ich dachte, ich lasse Sie mitreden.
Mach einfach weiter und überarbeite es. Bei Bedarf können wir meine Antwort überarbeiten oder hoffen, dass jemand anderes eine bessere Antwort findet.
@shane Ich habe das nicht gesehen, bevor ich eine überarbeitete Frage gepostet habe.
Legitimität von Peer-Review
AntwortenHierDatenschutz-Bestimmungen1y, 0v