Wie finde ich heraus, mit wie viel Sigma-Konfidenz meine Messung die Theorie bestätigt?

Das von Ihnen angegebene Beispiel unterscheidet sich grundlegend von "mit n-Sigma bestätigt".

In Ihrem Beispiel sagt die Theorie 1 voraus, und das Experiment stimmt mit einem Fehlerbalken von ungefähr 20 % überein. Das ist es.

Nun, wenn das Experiment gemessen hatte$2\pm 0.2$, könnten wir davon sprechen, die Theorie mit einem gewissen Vertrauensniveau auszuschließen, das subtil und kompliziert sein kann.

Die Idee, ein Signal bei zu erkennen$k$-sigma geht wie folgt: Teilchenphysik-Detektoren sehen keine neuen Teilchen, sie sehen die Zerfallsprodukte neuer Teilchen, und die Zerfallsprodukte haben die gleiche Signatur wie viele gut verstandene Hintergrundprozesse.

Sie erstellen also ein Histogramm und suchen nach einer Erhebung über dem Hintergrund. Betrachten Sie der Einfachheit halber einen 1-Bin-Bump. Ihr Monte-Carlo-Modell, das das Standardmodell mit Ihrem Detektor kombiniert, sagt Ihnen, dass es eines geben wird$N$Hintergrundereignisse im Papierkorb, aber Ihre Daten hat$T$Veranstaltungen (wo$N$Und$T$ganze Zahlen sind, zählen wir Ereignisse).

Wenn$T>N$, Sie haben Signal! Sie haben ein neues Partikel erstellt$S$Mal, wo$S$Ist:

$$S = T - N$$

Vermuten$N=100$Und$T=105$? Glauben Sie wirklich, dass diese 5 Ereignisse Ihr Nobelpreis sind? Nein, und sonst niemand.

Beide Verfahren unterliegen den üblichen Regeln der Zufallszählung. Die erwarteten statistischen Schwankungen sind:

$$\sigma_N = \sqrt N$$ $$\sigma_T = \sqrt T$$

Die Ungewissheit auf$S$ist dann:

$$\sigma_S^2 = \sigma_T^2 + \sigma_N^2 = T + N$$

Ihre Messung des Signals ist dann:

$$S \pm \sigma_S = [T-N] \pm \sqrt{T + N}$$

und die "Anzahl der Sigmas", mit der Sie das neue Teilchen entdeckt haben, ist:

$$\frac S {\sigma_S} = \frac{T-N}{\sqrt{T +N}}$$

Wenn wir uns die Higgs-Boson-Entdeckung ansehen (und über Bins summieren, um meine „1-Bin-Histogramm“-Analyse zu reproduzieren):

wir können ins Auge fallen (ich bin sicher, sie waren vor der Ankündigung vorsichtiger), wir können ins Auge fallen:

$$S \approx 240$$ $$N \approx 3000$$

so dass

$$\frac S {\sigma_S} = \frac{3240-3000}{\sqrt{3240 + 3000}} =\frac{240}{6240} \approx 3$$

(Hinweis: Der Hintergrund der realen Daten ist auf besser als beschränkt$\sqrt N$...es ist keine "1-Bin"-Analyse).

Hier gibt es mehrere Imbissbuden. Ihr SNR fällt als Quadratwurzel Ihrer Laufzeit, sodass ein 3. Jahr an Daten nur eine Verbesserung von 20 % bedeutet hätte. Es zahlt sich auch aus, Wege zu finden, um Hintergrund abzulehnen, insb. wenn Ihr Signal-Rausch-Verhältnis 1/12 beträgt (1 Higgs für jeweils 12 Hintergrundereignisse).

In der Teilchenphysik wird das Signal eines "neuen Teilchens" normalerweise von vielen "bekannten Effekten" überdeckt, die von vielen Sensoren gesammelt werden. Jeder Sensor/Detektor hat eine Unsicherheit, und die „bekannten Effekte“ sind nur bis zu einem gewissen Grad bekannt. Daher kann nach dem Entfernen aller bekannten Effekte der Rest des Signals zufällig sein. Aussagen wie „Wir haben das Higgs-Boson mit einem Vertrauensniveau von 5 Sigma entdeckt“ sollten gelesen werden als „unter der Annahme, dass es kein neues Teilchen gibt und dass das Signal zufällig ist, haben wir ein extrem seltenes Ereignis beobachtet –$5\sigma$entsprechen einer Wahrscheinlichkeit von$0.57ppm$. Da diese Wahrscheinlichkeit so gering ist, glauben wir, dass unsere Hypothese (=es gibt kein neues Teilchen) falsch ist.

In den meisten anderen Bereichen der Physik (Teilchen- und Astrophysik sind wohl die Ausnahmen) unterscheidet sich die Datenanalyse deutlich von der oben beschriebenen. In den meisten Bereichen ist die Existenz eines Effekts ziemlich offensichtlich und muss daher nicht mit einem Sigma-Niveau argumentiert/unterstützt werden. ZB Ihr erstes Beispiel: Es geht Ihnen nicht um die Existenz, sondern um den Ort und seine Verbreitung. Das sind verschiedene Arten von Fragen. Daher stellen wir sie normalerweise anhand von Konfidenzniveaus dar – wie Sie es in Ihrem Beispiel getan haben.