Physikalische Experimente - Falsche Positive

Wie wird sichergestellt, dass etwas entdeckt wurde und nicht nur Lärm? Wird eine Entdeckung von etwas vorhergesagtem als ausreichend angesehen (Higgs-Teilchen)? Wie hoch ist die Wahrscheinlichkeit eines Fehlalarms bei aktuellen Experimenten, wie den Experimenten mit dunkler Materie? Wie verhalten sie sich im Vergleich zur Wahrscheinlichkeit eines True Positive?

Siehe Varianz und Sigmas. Jedes Ergebnis wird mit einer Varianz angegeben, was seine Glaubwürdigkeit bedeutet, dh 6 Sigmas für das Higgs
Das ist eine sehr weit gefasste Frage... Du bekommst schon Antworten bezüglich Statistik, aber das ist noch nicht einmal die halbe Miete. Noch wichtiger ist, dass wir in einem qualitativ hochwertigen Experiment alle vorhersagbaren systematischen Fehlerquellen verstehen und sie alle durch Kontrollexperimente charakterisieren müssen. Nur wenn systematische UND statistische Fehler vollständig verstanden sind UND wir mindestens ein zweites unabhängiges Experiment (von ähnlicher Qualität) haben, das den Effekt ebenfalls reproduzieren kann, können wir einigermaßen sicher sein, etwas Neues gefunden zu haben.
Aus praktischen Gründen habe ich den Medianfilter bei mehreren Experimenten verwendet. Es ist ein unglaublicher "Cheat" und bemerkenswert einfach. Sie nehmen (sagen wir) 10 Messwerte, bringen sie dann in eine numerische Reihenfolge und werfen dann die Ausreißer, dh die Minima und Maxima, weg. Ich war mir nie ganz sicher, wie legitim es ist.

Antworten (2)

Dessen sind sich Teilchenphysiker durchaus bewusst. Für jeden gegebenen beobachteten Effekt gibt es immer eine Wahrscheinlichkeit ungleich Null, dass die Beobachtung ein falsch positives Ergebnis ist, das durch eine zufällige Fluktuation verursacht wurde. Der Name des Spiels besteht darin, genügend Daten zu nehmen, damit diese Wahrscheinlichkeit klein genug ist. Im Allgemeinen gilt: Je mehr Daten Sie aufnehmen, desto unwahrscheinlicher ist es, dass statistische Schwankungen bestehen bleiben.

Wenn eine Gruppe die Entdeckung eines neuen Teilchens beanspruchen möchte, ist der goldene Standard fünf Sigma : Die Größe des Effekts muss das Fünffache seiner Standardabweichung von dem sein, was man erwarten würde, wenn das Teilchen nicht existiert. Wenn ein Experiment diese Bedingung erfüllt, besteht eine Wahrscheinlichkeit von 1 zu 35 Millionen , dass die Daten aussehen würden, wenn das Teilchen nicht existierte, wie durch einen reinen statistischen Zufall. Wenn diese Wahrscheinlichkeit größer ist, hält sich die Teilchenphysik-Community damit zurück, die Entdeckung offiziell zu machen, bis die Wahrscheinlichkeit diese Schwelle überschreitet.

Es könnte auch erwähnenswert sein, dass, um als Entdeckung zu gelten, die Hypothese, dass das Teilchen existiert , nicht auf statistisch signifikantem Niveau ausgeschlossen werden muss . Es ist möglich, dass beide Modelle bei fünf Sigma ausgeschlossen werden - aber um fair zu sein, bedeutet das, dass Sie etwas entdeckt haben , nur nicht das, wonach Sie gesucht haben.
@David, das ist eine komplizierte mentale Gymnastik. Aber ja, das ist ein guter Punkt.
Statistische Signifikanz (p-Werte) und falsch positive Wahrscheinlichkeiten (bedingte Wahrscheinlichkeiten) sind jedoch nicht dasselbe. Werden also klassische Signifikanztests als ausreichend angesehen, um eine Entdeckung zu deklarieren?
Ich fürchte, DavidZ wird in einer viel besseren Position sein als ich, um diese Frage zu beantworten.
@jjack Möglicherweise benötigen Sie tatsächlich jemanden, der an der Analyse von Detektordaten beteiligt ist, um eine angemessene Antwort zu geben. Ich bin ein "niedriger" Theoretiker und kenne die Einzelheiten der Analysen nicht. Aber in den Präsentationen, die ich gesehen habe, wird alles im Hinblick auf statistische Signifikanz präsentiert.
@DavidZ hatte eine nette Antwort Physics.stackexchange.com/questions/186274/… über Detektoren - ein Großteil der bedingten Wahrscheinlichkeit liegt in der Kalibrierung für die Eigenschaften dieser Detektoren, die während des Rekonstruktionsprozesses berücksichtigt werden müssen.

Nein, ein einzelner Nachweis reicht nicht aus, um auf etwas Neues zu schließen. Es müssen genügend Ereignisse beobachtet werden, um einen statistischen Hypothesentest zu bestehen, um die Nullhypothese abzulehnen, dass das, was beobachtet wird, tatsächlich Rauschen ist. Wie @EmilioPisanty in seiner Antwort feststellte, bedeutet eine „5-Sigma“-Signifikanz, dass die Beobachtung so ist, dass die Wahrscheinlichkeit eines falschen Positivs gleich der Fläche unter der Wahrscheinlichkeitsverteilung bei mehr als 5 Standardabweichungen vom Mittelwert ist, was sehr ist kleine Wahrscheinlichkeit.

Teilchenphysiker haben aufgrund der Erfahrung mit früheren Experimenten eine sehr gute Vorstellung davon, wie das "Rauschen" für ein bestimmtes Experiment im Detektor aussehen wird. Dieses „Rauschen“ besteht beispielsweise aus Signaturen von anderen Teilchenzerfallskanälen als den interessierenden, die im Laufe des Experiments verursacht werden, sowie aus verschiedenen Quellen von elektronischem Rauschen im Detektor. Eine komplexe Computersimulation des Detektors und seiner Reaktion auf Rauschen und erwartete Signalsignaturen, bekannt als Monte-Carlo-Simulation, ist ein wesentlicher Teil der Bemühungen in jedem Teilchenphysik-Experiment.

Der Test, ob eine Entdeckung gemacht wird, ist nicht nur ein einfacher p-Wert-Test der endgültigen Massen- oder Lebensdauerdaten von Signal und Hintergrund. Das Extrahieren eines Signals aus den Rohdaten ist ein mehrstufiger Prozess, der mit Computersoftware durchgeführt wird – die Elementarteilchenphysik ist das ursprüngliche „Big Data“-Problem und war es schon lange, bevor der Begriff in der Wirtschaft Einzug hielt.

Die bedingten Wahrscheinlichkeiten werden bei der Rekonstruktion der Rohdaten der Detektoren berücksichtigt, wobei sowohl die Eigenschaften der Detektoren (Erkennungswahrscheinlichkeit/Fehlalarm, systematische Fehlerquellen) als auch die Verzweigungsanteile der vielen Zwischenzerfallskanäle von den Detektoren berücksichtigt werden ursprüngliches Teilchen zu dem, was beim Passieren der Detektoren beobachtet wird. Das ursprüngliche Teilchen (Higgs usw.) zerfällt in andere Teilchen, die wiederum in andere Teilchen zerfallen, die in Dinge wie Kaonen, Myonen, Protonen zerfallen, die langlebig genug sind, um gesehen zu werden, wie sie durch den Detektor gehen.