Fehlerabschätzung bei Messungen mit hoher Standardabweichung

Im Allgemeinen lösen sich solche Probleme nicht ohne Weiteres durch eine einfache Anwendung einfacher Statistiken. Eine Standardabweichung ist als Indikator möglicherweise nicht besonders nützlich. Beispielsweise kann die Wellenbewegung bei Flutung ganz anders sein als bei ruhigeren Bedingungen.

Sie müssen auch die generische Natur des Flood-Prozesses kennen. Der Zufluss in den See erhöht den Pegel im ganzen See. Wind, der das Wasser zu einer Seite drückt, ist sehr unterschiedlich, kann aber dennoch einen Teil des Seeufers überfluten. Ein Wasserskifahrer, der dem Dock besonders nahe kommt, kann eine 1-Meter-Welle über das Dock senden, die Ihr Hochwasserwarnsystem wahrscheinlich nicht auslösen sollte.

Sie benötigen mindestens ein minimales Modell des Gesamtwassers im See, wie es durch Pegelmessungen geschätzt wird. Wahrscheinlich benötigen Sie mehrere Füllstandsmessungen an verschiedenen Orten. Sie müssen diese im Laufe der Zeit haben, um die Änderungsrate des Wassers im See zu erhalten.

Dann müssen Sie einen Weg finden, mit Lärm umzugehen. Die Standardabweichung kann nützlich sein, muss es aber nicht. Es gibt viele Trendmessungen. Beispielsweise gibt es gleitende Durchschnitte.

https://en.wikipedia.org/wiki/Moving_average

Diese Seite enthält auch Links zu einer Reihe anderer Möglichkeiten.

Sobald Sie ein Modell des gesamten Wassers im See haben, benötigen Sie Testdaten, um es zu validieren. Sie müssten echte Beobachtungen machen und sie mit Überschwemmungen vergleichen. Wenn Ihr Modell genau Zeit für eine Feier ist. Wenn Ihr Modell nicht genau ist, gehen Sie zurück an die Arbeit.

Geht man von einer Normalverteilung aus, besteht die Chance, dass eine neue Stichprobe entsteht$n\sigma$außerhalb des Mittelwertes$p_{outside}(s)$Ist repariert.

Sie können sehen, wie das in der Tabelle hier https://en.wikipedia.org/wiki/68%E2%80%9395%E2%80%9399.7_rule verwendet wird

Wählen Sie daher vor dem Deklarieren einer Überschwemmung einen Wert von aus$n$das gibt dir genug Vertrauen.

Eine Probe mit a$1\sigma$Die Abweichung ist zu 32 % wahrscheinlich nur auf einen Fehler (eine große Welle) zurückzuführen.

Es ist beliebt, bis etwa zu arbeiten

$3\sigma$(0,027 % oder tritt wahrscheinlich alle 370 Proben auf natürliche Weise auf)

aber wichtige Ergebnisse werden in der Regel bestätigt

$6\sigma$(0,000000002 % oder wahrscheinliches natürliches Auftreten alle 500.000.000 Proben).

oder höher.

Das Eliminieren von Messfehlern trägt dazu bei, eine engere Verteilung zu erreichen und das Vertrauen zu verbessern.

Zum Beispiel habe ich nach 100 Messungen einen Durchschnitt von h = 123,2 cm erhalten, aber da sich Wasser immer bewegt, ist die Standardabweichung hoch, etwa 20 cm. Kann ich in diesem Beispiel sagen, dass der Wasserstand h = 123,2 ± 0,1 cm ist, oder kann ich nur h = 120 ± 20 cm sagen, weil die Standardabweichung 20 cm beträgt?

Dies ist ein Fall, in dem der tatsächliche Blick auf die Daten klarer macht, was passiert. Hier sind einige Daten mit den von Ihnen angegebenen Eigenschaften: ein Mittelwert von 123,2 cm und eine Standardabweichung von$\sigma = 20\rm\,cm$. Ich bin von einer Normalverteilung ausgegangen, aber Sie können eine andere Verteilung wählen, wenn Sie Lust dazu haben. Diese Tausend sind gegen die Messungsnummer aufgetragen:

Die gestrichelten Linien sind bei Null,$\pm1\sigma$,$\pm2\sigma$, Und$\pm3\sigma$von der Mitte. Sie können sehen, dass die meisten Daten innerhalb der liegen$\pm1\sigma$Band um den Mittelwert, und fast alle Daten liegen innerhalb$\pm2\sigma$. Nur sehr seltene Punkte liegen außerhalb der$\pm3\sigma$Band. Es gibt zufällig genau drei Messungen außerhalb der$\pm3\sigma$Band (in der Nähe der Mitte, und alle auf der Seite nähern sich 200 cm), was jemand, der neu in diesem Geschäft ist, als Bestätigung der Aussage in einer anderen Antwort nehmen könnte, dass 99,7 % der normalverteilten Datenpunkte innerhalb liegen$\pm3\sigma$des Mittelwertes. Aber die Tatsache, dass ich genau drei "Ausreißer" bekommen habe und dass alle Ausreißer zufällig auf der hohen Seite liegen, ist ein Zufall: Drei Drei-Sigma-Ausreißer pro tausend Punkte sind der Durchschnitt über viele tausend Datenpunkte und alle bestimmte tausend Datenpunkte können ein paar mehr oder weniger als drei Ausreißer haben.

Wenn ich diese Daten in ein Histogramm komprimiere, sieht es so aus:

Sie sehen hier, dass ein Maß von 130 cm keine Seltenheit ist; Dieser Datensatz hat fünfzig oder sechzig Messungen in dem Behälter, wo eine Messung von 130 cm hingehört. Wenn Sie mir sagen$(123.2\pm20)\rm\,cm$, höre ich "normalerweise zwischen 100 cm und 140 cm".

Was vielleicht nicht intuitiv ist, ist, dass Sie mehr über den Mittelwert wissen als über eine bestimmte Messung. Der "Standardfehler beim Mittelwert" geht wie folgt$\sigma/\sqrt N$, Wo$\sigma$ist die Standardabweichung der Verteilung und$N$ist die Anzahl der Stichproben, die in die Berechnung des Mittelwerts einbezogen werden. Dieser Datensatz hat beispielsweise$\sigma = 20\rm\,cm$Und$N=1000$, also ist die Unsicherheit über den Mittelwert$\sigma/\sqrt N = 0.6\rm\,cm$. Der tatsächliche Mittelwert, den ich aus diesen tausend Datenpunkten berechne, ist$(123.3 \pm 0.6)\rm\,cm$, was völlig mit dem Mittelwert von 123,2 cm übereinstimmt, den ich von Hand eingegeben habe.

Um den Unterschied zwischen der Breite einer Verteilung und der Unsicherheit des Mittelwerts etwas deutlicher zu sehen, sind hier Histogramme von zehn verschiedenen Sätzen von jeweils 1000 Messungen, die auf die gleiche Weise wie das obige erstellt wurden:

Der Mittelwert jedes Datensatzes wird mit einem dicken blauen Punkt dargestellt. Auf der linken Seite, wo Sie die gesamte Verteilung sehen, können Sie kaum erkennen, dass nicht alle Mittel gleich sind. Auf der rechten Seite, wo nur die Mittelwerte angezeigt werden, sehen Sie die Unsicherheitsschätzung$\sigma/\sqrt N = 0.6\rm\,cm$scheint ein guter Schätzer für die Unsicherheit des Mittelwerts zu sein, da etwa zwei Drittel der Mittelwerte innerhalb eines Fehlerbalkens vom korrekten Wert liegen. Das ist wie Meta-Statistik: Statistiken über die Mittelwerte und Standardabweichungen mehrerer Datensätze erstellen.

Dies ist ein allgemeines Muster bei Statistiken: Es ist sinnvoller, wenn Sie tatsächlich mit einigen Daten spielen können, bei denen Sie einige der Dinge, die Sie interessieren, bereits kennen.