Frage des Nachweises von Maxima bezogen auf die quadratische Form

Vermuten A ist eine symmetrische positiv-definite Matrix und jetzt wollen wir die Funktion maximieren F ( X ) = X T A X mit Einschränkung X T X = 1 . Unter Verwendung des Lagrange-Multiplikators haben wir L ( X ) = X T A X λ ( X T X 1 ) und indem wir von beiden Seiten ableiten, erhalten wir L ' ( X ) = ( A λ ICH ) X = 0 , deren Lösungen Eigenvektoren von sind A .

Meine Frage ist, wie man beweist, dass die Lösungen (die Eigenvektoren) tatsächlich Maxima von sind F ( X ) statt Minima. Ich bin mir nicht sicher, aber ich denke, das hängt mit der Hesse-Matrix zusammen, und ich habe hier eine Hesse-Matrix einer quadratischen Form gefunden , die die Hesse-Matrix einer quadratischen Form zu sein scheint A + A T , aber ich weiß nicht, wie ich es mit einer Einschränkung verwenden soll. Ich poste diese Frage, um mit einem vollständigen Beweis um Hilfe zu bitten. Danke schön.


PS Hintergrund dieser Fragestellung ist ein weit verbreitetes statistisches Modell der Hauptkomponentenanalyse. Eine verwandte Frage lautet: Warum entsprechen die Hauptkomponenten den Eigenwerten? wenn Sie interessiert sind.

Antworten (1)

Erstens, wenn A nicht symmetrisch ist, dann kann man das nicht sagen L ( X ) = ( A λ ICH ) X , das kann man nur ableiten L ( X ) = ( A + A T 2 λ ICH ) X . Lassen Sie uns anrufen A = A + A T 2 .

Wir haben notwendigerweise in Maxima/Minima die Bedingung, dass λ ich ist der Eigenwert von A und das entsprechende X ich ist der Eigenvektor von A . Wir werden das annehmen λ 1 λ 2 .

Dann wieder, A ist eine symmetrische Matrix, daher sind alle ihre Eigenwerte reell und ihre Eigenvektoren bilden eine orthonormale Basis.

Schließlich schreiben wir einen beliebigen Vektor j mit j = 1 als

j = ich A ich X ich .
Die Konstanten A ich erfüllen ich A ich 2 = 1 und dann schau mal j T A j , wir erhalten
j T A j = ich λ ich A ich 2
Einschränkungen unterliegen ich A ich 2 = 1 . Dies ist ein einfaches Optimierungsproblem, bei dem das Maximum erreicht wird, wenn A 1 = ± 1 .

Danke für Ihre Antwort. A ist eine symmetrische Matrix.
Ich bin etwas verwirrt. Warum j T A j = ich λ ich A ich 2 ?
@ Toni j = ich A ich X ich , somit A j = ich λ ich A ich X ich Weil X ich sind Eigenvektoren. Dann wieder, X ich sind also eine orthonormale Basis j T A j = ( J A J X J , ich λ ich A ich X ich ) = ich λ ich A ich 2 .
Danke schön. Ich habe noch eine Frage. Was ist der Zweck dieses Schritts j = ich A ich X ich ?
@Tony, um das Maximierungsproblem zu vereinfachen.
Ich bin mir nicht sicher, aber ich denke, die Lösung zeigt sich F ( X ) steigt mit den Eigenwerten und ihren entsprechenden Eigenvektoren, beweist aber nicht, dass sie Maxima sind.