Wahrscheinlich ist jeder Softwareentwickler auf ein Whiteboard-Interview gestoßen. Nehmen wir aus Gründen der Frage an, dass ein Whiteboard-Interview das Interview ist, bei dem der Kandidat ein Problem erhält, das er auf einem Whiteboard lösen muss, ohne die tatsächlichen Entwicklungstools zu verwenden. Und das Thema des Problems sind höchstwahrscheinlich Algorithmen und Datenstrukturen.
Wenn Sie im Internet nach „Whiteboard-Interview“ suchen, scheint dieses Konzept als etwas Negatives angesehen zu werden. Der Hauptgrund scheint zu sein, dass die Leute denken, dass das Ergebnis eines Whiteboard-Interviews nicht der Arbeitsumgebung ähnelt. Somit kann die Fähigkeit des Kandidaten, den Job zu erledigen, nicht gezeigt werden. Und es wird von beiden Seiten des Einstellungsverfahrens als unfair angesehen: 1 2 3 .
Aber all diese Artikel basieren auf Erfahrungen einer oder mehrerer Personen. Gibt es also wissenschaftliche Untersuchungen zur Effektivität von Whiteboard-Interviews? Ich erwarte nicht, dass wissenschaftliche Forschung die Frage „Sind Whiteboard-Interviews schlecht?“ beantworten wird. Aber ich würde etwas in der Art von erwarten
Wir denken, dass Whiteboard-Interviews gut sind, um X über Kandidaten zu verstehen. Wir messen „die Güte von X“ mit der Metrik Y . Und wir messen die Interviewleistung mit Z . Hier ist die Y(Z) -Abhängigkeit, aus der wir unter der Annahme, dass Y eine gute Metrik von X ist, schließen , dass Whiteboard-Interviews gut/schlecht genug sind, um X zu verstehen .
Es ist ein schwieriges Problem, X und Y zu wählen . Aber ich vermute, dass kluge Wissenschaftler immer noch ein Modell finden können.
Zum Beispiel. Vielleicht könnte X die Effektivität einer Person sein , was wirklich schwer zu messen ist, aber große Unternehmen versuchen es immer noch mit Leistungsbeurteilungen. Nehmen wir an, Y ist der Durchschnitt der ersten drei Bewertungsnoten . Und Z ist der Durchschnitt der Gutachternoten . Gibt es einen Zusammenhang zwischen Y und Z ?
Vielleicht sogar etwas einfacher. Beantworten wir die Frage „Wie gut messen unsere Bewertungen das Engagement einer Person in unserem Unternehmen ?“. Versuchen Sie dann, es mit Y zu messen - *Anzahl der Personen, die das Unternehmen in den ersten 3/6/9/12 Monaten verlassen haben. Und zeichnen Sie ein Histogramm in Abhängigkeit von der Z - Bewertungsnote .
Gibt es also wissenschaftliche Untersuchungen zur Effektivität von Whiteboard-Interviews? Es gibt ein schwieriges Problem, die Effektivität von Personen zu messen, aber alles mit tatsächlichen Zahlen, Statistiken und Schlussfolgerungen wäre großartig.
Wie misst man die Effektivität eines Interviews?
Ich weiß, dass Sie die Schwierigkeit der Bewertungseffektivität erwähnt haben, aber Sie stellen dann immer noch dieselbe Frage, was seltsam erscheint. Wenn Sie es nicht objektiv bewerten können, können Sie diese Frage nicht abschließend beantworten.
Vielleicht hat ein großes Unternehmen eine wahrhaft positive Rate von Menschen berechnet, die das Whiteboard-Interview erfolgreich bestanden haben und tatsächlich großartige Arbeit leisten.
Die Annahme, dass dies eine korrekte Metrik ist, ist genau die gleiche fehlerhafte Annahme, die zu der Annahme führt, dass Whiteboard-Interviews ein guter Marker für Eignung sind.
Das Problem liegt nicht darin, Leute einzustellen, die das Whiteboard-Interview bestehen (und für die Stelle geeignet sein können oder nicht). Das Problem liegt darin, keine Personen einzustellen, die für die Stelle geeignet sind , aber einfach einen Test nicht bestehen, der ihre entsprechende Eignung nicht testet.
Denk darüber so:
Ein Interviewer weigert sich, jemanden einzustellen, der weniger als fünf Jahre am College verbracht hat. Das Ziel des Interviewers ist klar: die „unqualifizierten“ Bewerber auszusortieren, sodass nur „qualifizierte“ Bewerber bewertet werden. Seine Metrik (auf dem College verbrachte Zeit) ist jedoch fehlerhaft.
Ich verwende „qualifiziert“ und „ungelernt“ als ein zu stark vereinfachtes Unterscheidungsmerkmal zur Meinung des Interviewers über die erforderlichen Fähigkeiten für die Position. Ich versuche nicht, Leute zu etikettieren.
Aus diesem Grund ist die Metrik fehlerhaft: Sie trennt nicht wirklich die „Qualifizierten“ von den „Unqualifizierten“. Es erreicht nicht wirklich das Ziel, das es erreichen soll.
Das Problem mit Whiteboard-Interviews ist das gleiche. Es wird verwendet, um Personen auszusortieren, denen bestimmte Fähigkeiten fehlen, aber es testet die falsche Metrik und führt daher dazu, dass Interviewer Bewerber mit den entsprechenden Fähigkeiten entlassen und möglicherweise Bewerbern aufgrund der falschen Fähigkeiten Stellen anbieten .
Um es in einem Zitat zusammenzufassen (das oft fälschlicherweise Einstein zugeschrieben wird):
Wenn Sie einen Fisch nach seiner Fähigkeit beurteilen, auf einen Baum zu klettern, wird er sein ganzes Leben lang glauben, dass er dumm ist.
Der große unerwähnte Faktor hier ist, was der Interviewer auf dem Whiteboard erwartet .
Der Hauptgrund scheint zu sein, dass die Leute denken, dass das Ergebnis eines Whiteboard-Interviews nicht der Arbeitsumgebung ähnelt.
Ich zum Beispiel bin wirklich schlecht darin, mir die Syntax auswendig zu merken. Ich bin jedoch sehr schnell darin, verwandte Themen zu googeln, ein Beispiel-Snippet zu finden und es an meine Bedürfnisse anzupassen. Ich weiß, dass ich damit in mein eigenes Horn tue, aber ich kann die meisten Kollegen in Bezug auf die Geschwindigkeit, etwas von Grund auf neu zu implementieren, übertreffen.
Wenn Sie mich jedoch vor ein Whiteboard stellen und mich bitten, den Code für die Deserialisierung einer XML-Datei zu schreiben, dann wüsste ich nicht einmal die Klasse, die für die (De-)Serialisierung verwendet wird.
Dies kann Interviewer zu dem Schluss führen, dass ich nicht einmal die Grundlagen kenne und mein Codierungsrepertoire zu klein ist; wohingegen auch das Gegenteil der Fall sein kann: Mein Codierungsrepertoire ist zu groß , um sich die gesamte Syntax auswendig zu merken, und ich kenne mehr als nur die Grundlagen bis zu einem Punkt, an dem ich mich einfach nicht mehr auf die Grundlagen konzentriere.
Aus diesem Grund macht "nicht der Arbeitsumgebung ähnelnd" den Wert der Whiteboard-Übung zunichte. Nicht alle arbeiten gleich. Das Auswendiglernen von Wissen ist nicht die primäre Metrik, an der Sie die Eignung eines Entwicklers messen. Und das ist der springende Punkt, warum das Whiteboard-Interview kein guter Ansatz ist.
Wenn überhaupt, sollten Sie die Fähigkeit eines Entwicklers messen, sich an neue Systeme anzupassen und bestehenden Code zu verstehen , da dies eine Fähigkeit ist, die viel wertvoller ist.
Ich habe diese Art von Interview einmal gegeben. Sie hatten ihre abgeleitete Implementierung ausgedruckt DbContext
und mich gebeten, darauf hinzuweisen, was sie implementiert hatten. Sie suchten nach Antworten wie vorläufiges Löschen, Paginierung, Prüffelder, Änderungsverfolgung. Sie hatten auch zwei Fehler eingeführt. Meine Fähigkeit, den vorhandenen Code zu evaluieren, ist viel aussagekräftiger, als in der Lage zu sein, meine eigene Klasse aus dem Nichts zu erstellen.
Zweitens lässt es die Tür für einen logischen Umkehrungsfehler offen.
Angenommen, der Interviewer bittet Sie, alle Methoden von Entity Framework auswendig zu rezitieren, geordnet nach der Länge des Methodennamens (ich weiß, es ist ein dummes Beispiel, aber ich möchte ein Beispiel verwenden, bei dem wir uns nicht ablenken lassen, indem wir darüber streiten, was das Beste ist Antwort ist).
Wenn der Bewerber dazu in der Lage ist, dann ist das (indirekt) ein Beweis dafür, dass er viel Erfahrung mit Entity Framework haben muss. Ohne Erfahrung mit Entity Framework wäre er dazu nicht in der Lage.
Es ist jedoch wahrscheinlich, dass der Interviewer diese Logik fälschlicherweise umkehrt. Wenn die Anwendung dies nicht kann, heißt das nicht, dass er keine Erfahrung mit Entity Framework hat. Diese Umkehrung ist ein logischer Irrtum.
Deshalb sind diese Fragen schlecht. Wenn der Bewerber mit einer solchen Frage konfrontiert wird, steckt er zwischen Stein und Stein fest:
Unabhängig davon, ob der Interviewer in die Irrtumsfalle tappt oder nicht, bringt das Vorhandensein der Frage den Bewerber immer in die unangenehme Lage, das Wissen des Interviewers (über den Irrtum) bewerten zu müssen, bevor er eine angemessene Antwort geben kann. Das ist praktisch ein Glücksspiel , und Sie sollten wirklich keine Leute (nicht) einstellen, weil Sie (nicht) richtig geraten haben.
If I understood you correctly - you say, that if something is difficult to measure - it is not worth to measure it at all.
Das sage ich nicht. Was ich sagen will, ist, dass es unmöglich ist, den Erfolg eines Interviews auf eine einzige Ursache zurückzuführen. Sie versuchen, ungefähre Metriken zu verwenden, die nicht präzise genug sind, um Ihnen eine aussagekräftige Antwort zu geben (was dem Fehler bei Whiteboard-Interviews ähnelt: übergeneralisierte Metriken, die den Kernfokus nicht berühren). Dies unterscheidet sich auch grundlegend von Leistungsbeurteilungen oder Benotungsbeiträgen.Sorry, I don't like your answer, because it doesn't answer my question.
Es beantwortet Ihre Frage, die Antwort ist einfach nicht das, was Sie erwarten. Wenn Sie fragen, ob etwas existiert, und auch die Möglichkeit ausschließen, dass es nicht existiert, ist Ihre Frage strittig. Ich kann kein Negativ beweisen (das Fehlen der Existenz von Forschung). Wenn Sie behaupten möchten, dass Forschung existiert, dann liegt die Beweislast bei Ihnen.You're trying to use approximate metrics that are not precise enough to give you
, ja, um dies abzuschließen, benötigen Sie Recherchen, Metriken und deren Genauigkeit. Es ist im Grunde das, worum ich bitte. Wie auch immer, ich habe meine Antwort bearbeitet, was sie wahrscheinlich klarer macht. Danke für deine Kommentare.
Maskierter Mann
DoktorMoisha
Adriano Repetti
Fett
Sonneneruption
Flacher
Flacher
I just would like to see whether negative experience of developers backed-up scientifically.
Ich habe Mühe zu verstehen, wie dies wissenschaftlich bewiesen werden kann. Etwas wissenschaftlich zu beweisen bedeutet inhärent, dass es objektiv messbar ist. "negative Erfahrung von Entwicklern" ist per Definition des Wortes "Erfahrung" in diesem Zusammenhang von Natur aus subjektiv. Bestenfalls kann man Meinungen abfragen. Und selbst wenn alle befragten Meinungen übereinstimmen, haben Sie noch nichts bewiesen .Flacher
Maybe X could be person's effectiveness, which is really hard to measure, but big companies still try to do it with performance reviews.
Sie können Whiteboard-Interviews nicht mit Leistungsbeurteilungen vergleichen. Whiteboard-Interviews bewerten Fähigkeiten außerhalb einer natürlichen Arbeitsumgebung in einer Zeitskala von 10 bis 20. Leistungsbeurteilungen bewerten Fähigkeiten in einem natürlichen Arbeitsumfeld, normalerweise auf jährlicher Ebene. Der Unterschied zwischen diesen beiden ist der Hauptgrund, warum Whiteboard-Interviews als nutzlos angesehen werden, um die Fähigkeiten von Entwicklern zu bewerten.Flacher
Let's say Y is the average of first three review grades. And Z will be average of reviewers grades. Is there any correlation between Y and Z.
Haben Sie die Korrelation nicht einfach so definiert, dass Z der Durchschnitt von Y ist?Flacher
Maybe even something simpler. Let's answer question "How well do our reviews measure person's involvement in our company?"
Wie messen Sie Engagement? Das ist notorisch schwer objektiv zu messen. Wenn ich meinem Kollegen helfe, etwas zu verstehen, wird mir die Arbeit, die er leistet, auf der Grundlage seines jetzt verbesserten Verständnisses angerechnet? Welche Kreditquote erhalte ich? Wie wird das verfolgt? Wird ein Fehler in der Erstanalyse, der eine größere Nacharbeit verursacht, auf meinen Beitrag angerechnet? Sie versuchen immer wieder, unvollkommene und vage Metriken zu verwenden, was den Zweck, ein genaues Ergebnis zu finden, zunichte macht.Flacher
DoktorMoisha
Myles
DoktorMoisha
Flacher
Many companies have standards on interview processes.
in keiner Weise sinnvoll messbar. Die Tatsache, dass Unternehmen ihre eigenen Standards haben , deutet stark darauf hin, dass es kein objektives Maß dafür gibt, was objektiv am besten ist. Sie übersehen noch den Punkt, dass es unmöglich ist, jemanden einzustellen (oder nicht) bestimmten Ursachen wie dem Whiteboard-Test zuzuordnen. Interviews sind von Natur aus facettenreiche und subjektive Auswertungen.So, it wouldn't be so hard inside one company.