Anpassung nach der Methode der kleinsten Quadrate – 68 % Konfidenzintervall

Ich passe ein lineares Polynom an einige Daten an und habe die Fehler für jeden der am besten angepassten Parameter aus der Kovarianzmatrix abgeleitet. Ich würde erwarten, dass diese Fehler a entsprechen 1 σ 68% Konfidenzintervall, aber ich finde, dass dies nicht der Fall ist.

Wenn ich stattdessen eine Rastersuche durchführe, bei der ich einen der beiden Parameter einfriere und den anderen rastere, suche ich nach den entsprechenden Parameterwerten χ M ich N 2 + 1 , erhalte ich ein kleineres Fehlerintervall als bei den Fehlern der kleinsten Quadrate. Laut Bevington (Data Reduction and Error Analysis for the Physical Sciences) ist ein Konfidenzintervall von 68 % für einen einzelnen Parameter durch Parameterwerte gegeben, die den Wert erhöhen χ 2 -Wert von χ M ich N 2 Zu χ M ich N 2 + 1 .

Ich habe dies mit mehreren Codes getestet und alle geben die gleichen Ergebnisse. Kann mir jemand helfen, dieses Verhalten zu verstehen?

Ist Ihre Kovarianzmatrix diagonal? Wenn dies nicht der Fall ist, sind Ihre beiden Parameter korreliert. Ihre zweite Analyse (Gittersuche) scheint implizit davon auszugehen, dass Ihre beiden Parameter nicht korreliert sind.
@dmckee ja, ich denke, das ist hier kein Thema

Antworten (2)

Ich denke, das, was Sie beschrieben haben, ist nicht die richtige Methode, um ein Konfidenzintervall von 68% in einem interessierenden Parameter zu schätzen.

Der Fehler liegt im Einfrieren des anderen Parameters beim Minimieren des Chi-Quadrats.

Ein besseres Verfahren zur Bewertung der Unsicherheit in Parameter 1 besteht darin, das minimale Chi-Quadrat für einen Satz von Werten von Parameter 1 zu bewerten, während Parameter 2 variieren kann . Der am besten angepasste Wert von Parameter 1 liegt am globalen Minimum, während eine Schätzung seiner Unsicherheit bereitgestellt wird, indem das Chi-Quadrat von diesem Wert um 1 zunimmt, aber nicht notwendigerweise bei demselben Wert von Parameter 2 .

Wenn Sie Parameter 2 bei seinem besten Anpassungswert einfrieren, unterschätzen Sie die Unsicherheit in Parameter 1. Der Grund dafür ist, dass der Ort der kleinsten Chi-Quadrat-Anpassung in einem Raum von Parameter 1 vs. Parameter 2 (im Allgemeinen) in Bezug geneigt ist zu diesen Achsen.

Der beste Weg, dies zu tun, besteht darin, Chi-Quadrat über den gesamten Parameterraum auszuwerten und dann die Projektion der Chi-Quadrat+1-Kontur auf jede der Parameterachsen zu finden. Ein Bild kann mehr als tausend Worte sagen. Die roten Pfeile zeigen, wie Sie es versucht haben. Die blauen Grenzen zeigen meinen (kostengünstigen) ersten Versuch, die Schätzung zu verbessern, und dann zeigen die schwarzen Pfeile die Projektion der Fehlerellipse auf die x-Achse.

Fehler Ellipse

Mit anderen Worten, für 68 % in 1D finden Sie die (möglicherweise nicht zusammenhängende) Region in X Wo Mindest j , z ⋯ χ 2 ( X , j , z , ⋯ ) − Mindest X , j , z ⋯ χ 2 ( X , j , z , ⋯ ) ≤ 1
Danke! Das macht für mich Sinn. Es scheint, dass der Fehler der kleinsten Quadrate Ihnen korrekt die 1 gibt σ Projektion der Fehlerellipse auf die Parameterachse für eine Linie, wenn die Ellipse aufgrund von Korrelationen zwischen Parameter 1 und Parameter 2 geneigt ist. Es sieht so aus, als ob Sie die Fehler auch erhalten können, indem Sie die Fehlerellipse mithilfe der Kovarianz auf die Parameterachsen projizieren Matrix. Wie würden Sie 1-Sigma-Konfidenzintervalle ableiten, wenn Sie mehr als 2 Parameter (z. B. 5 Parameter) haben und mehrere davon miteinander korrelieren?
@grover Der teure Weg besteht darin, ein ganzes Raster zu berechnen und entlang jeder Achse zu projizieren. Monte Carlo könnte billiger sein. Oder Sie erhöhen einen Parameter, minimieren Chisq gegenüber dem Rest und verwenden dieses 1d-Diagramm, um herauszufinden, wo sich Chisq um +1 erhöht. Das ist rechnerisch billig und ungefähr richtig. Beachten Sie, dass es nur chisq+1 ist, wenn Sie nur an einem Parameter interessiert sind.

Im Fall einer 2-Parameter-Anpassung ist der 68 %-Konfidenzraum typischerweise eine Ellipse, die nicht notwendigerweise an den Achsen ausgerichtet ist. Wenn Sie die Größe der Ellipse herausfinden möchten, sollten Sie die Ausrichtung der Ellipse finden, nicht nur die Schnittpunkte der Ellipse mit einer horizontalen und vertikalen Linie durch ihren Mittelpunkt.

Beispiel: passen j = A + B X für eine große Menge von Datenpunkten, die herum gruppiert sind ( X , j ) = ( 1 , 1 ) . Die Qualität der Passform wird für ziemlich ähnlich sein ( A , B ) = ( 1 , 0 ) oder ( 0 , 1 ) . Aber wenn du dich änderst A ohne Veränderung B in die entgegengesetzte Richtung (so hast du es gemacht) bekommst du sehr schnell einen schlechten Anfall. Aber das sagt nicht viel über die Ungewissheit aus A .

Das Verfahren, das ich verwende, besteht darin, einen Parameter iterativ zu ändern, ohne den anderen zu ändern. Dann suche ich χ M ich N 2 und aktualisieren Sie den Wert. Dieser Vorgang wird für jeden Parameter wiederholt, bis χ M ich N 2 ändert sich nicht und Sie erhalten ein globales Minimum. Dies garantiert Ihnen, dass Sie durch eine umfassende Suche die beste Passform erhalten. Dann können Sie Konfidenzintervalle ableiten, indem Sie die entsprechenden Parameterwerte betrachten χ M ich N 2 + 1 . Meine Frage ist, warum unterscheidet sich dies von den Fehlern, die man aus der Kovarianzmatrix der kleinsten Quadrate ableitet?
Das sagt Ihnen die Antwort: weil die Fehlerellipse nicht garantiert achsenausgerichtet ist.
Anpassung nach der Methode der kleinsten Quadrate – 68 % Konfidenzintervall
AntwortenHierDatenschutz-Bestimmungen1y, 0v