Ableitung in Bezug auf die Matrix einer mehrdimensionalen Funktion, die zur Gradientenabstiegsoptimierung verwendet wird.

Question

Ableitung in Bezug auf die Matrix einer mehrdimensionalen Funktion, die zur Gradientenabstiegsoptimierung verwendet wird.

Matrizen
Mathematik
Optimierung
Gradientenabstieg
Multivariable Infinitesimalrechnung

WiseDev

Betrachten Sie die Verlustfunktion

\underset{A}{Mindest} \sum_{k = 1}^{3} (A^{k} X_{1} - X_{k + 1})^{2},

$\min_{A}\sum_{k=1}^{3} (A^kx_1-x_{k+1})^2,$ die unter Verwendung eines Gradientenabstiegsverfahrens optimiert wird, dh

A_{2 \times 2} = A_{2 \times 2} - a (Steigung bzgl. A)_{2 \times 2} .

$A_{2\times2} = A_{2\times2} - \alpha (\text{ gradient w.r.t. A})_{2\times2}.$ Die Parametermatrix _

A

$A$ ist ein

2 \times 2

$2\times2$ Matrix, sagen wir

A = (\begin{matrix} A_{1} & A_{2} \\ A_{3} & A_{4} \end{matrix}) .

$A = \begin{pmatrix}a_1 & a_2 \\ a_3 & a_4\end{pmatrix}.$ Allerdings ist die Verlustfunktion zweidimensional (

2 \times 1

$2\times1$ Vektor), also was wäre dieser Gradient in diesem Fall, damit die Parameter in

A

$A$ korrekt aktualisiert werden. Wenn ich versuche, diesen Gradienten zu berechnen, sagen wir für den Begriff

A^{2} X_{1},

$A^2x_1,$ Ich schließe mit

\frac{\partial A_{X_{1}}^{2}}{\partial A} = \frac{\partial (\begin{matrix} (A_{1}^{2} + A_{2} A_{3}) X_{1} + (A_{1} A_{2} + A_{2} A_{4}) X_{2} \\ (A_{1} A_{3} + A_{1} A_{4}) X_{1} + (A_{2} A_{3} + A_{4}^{2}) X_{2} \end{matrix})}{\partial A} = (\begin{matrix} 2 A_{1} X_{1} + A_{2} X_{2} & A_{3} X_{1} + A_{2} X_{2} & A_{2} X_{1} & A_{2} X_{2} \\ A_{3} X_{1} & A_{3} X_{2} & A_{1} X_{1} + A_{2} X_{2} & A_{1} X_{1} + 2 A_{4} X_{2} \end{matrix}),

$\frac{\partial A^2_{x_1}}{\partial A}= \frac{\partial \begin{pmatrix}(a_1^2+a_2a_3)x_1+(a_1a_2+a_2a_4)x_2 \\ (a_1a_3+a_1a_4)x_1+(a_2a_3+a_4^2)x_2\end{pmatrix}}{\partial A}=\begin{pmatrix}2a_1x_1+a_2x_2 & a_3x_1+a_2x_2 & a_2x_1 & a_2x_2 \\ a_3x_1 & a_3x_2 & a_1x_1+a_2x_2 & a_1x_1 + 2a_4x_2 \end{pmatrix},$

das scheint ein zu sein $2\times4$ Matrix. Das ist für meinen Algorithmus bedeutungslos! Ich weiß immer noch nicht, wie ich meine Parameter aktualisieren soll, da ich zu viele Elemente in meinem Farbverlauf habe. Ich würde einen Gradienten der gleichen Dimension wie meine Parametermatrix erwarten $A$ , die Rechenoperationen bleiben also gültig.

Was ist der richtige Weg, um einen Gradienten in Bezug auf eine (quadratische) Matrix zu berechnen, wenn Ihre Verlustfunktion mehrdimensional ist? Oder ist meine Methode / Interpretation der Gradientenaktualisierung überhaupt falsch? Wenn ja, was mache ich stattdessen?

Passant51

Es ist nicht ganz sinnvoll, dass die Zielfunktion zweidimensional ist (es sei denn, Sie betrachten die Optimierung mehrerer Ziele, aber das ist eine andere Geschichte). Vielleicht willst du

‖ A^{k} x_{1} - x_{k + 1} ‖^{2}

$\| A^k x_1- x_{k+1}\|^2$ ? (Um zu sehen, warum es im gewöhnlichen Sinne nicht ganz sinnvoll ist, beachten Sie, dass die beiden Komponenten Ihres Verlusts an verschiedenen Stellen minimiert werden können.)

WiseDev

Warum nicht, wenn ich fragen darf? Das Problem betrifft ein Systemidentifikationsziel, bei dem wir mehrere Zustände haben. Auch mein Betreuer (Ordensprofessor) hat sich diese Funktion ausgedacht und mein anderer Betreuer (Postdoc) befürwortet diese Idee.

Passant51

Sehen Sie sich zunächst die Multi-Objective-Optimierung an und prüfen Sie, ob Sie dies tun möchten. Warum nicht? Aufgrund dessen, was ich erwähnt habe. Man muss sich überlegen, was das für eine Funktion bedeutet

f : R^{4} \to R^{2}

$f: \mathbb R^4 \to \mathbb R^2$ minimiert werden. Wenn es klar ist, was es für skalare Funktionen bedeutet. Sonst nicht so klar.

Antworten (1)

Ableitung in Bezug auf die Matrix einer mehrdimensionalen Funktion, die zur Gradientenabstiegsoptimierung verwendet wird.

Es ist nicht ganz sinnvoll, dass die Zielfunktion zweidimensional ist (es sei denn, Sie betrachten die Optimierung mehrerer Ziele, aber das ist eine andere Geschichte). Vielleicht willst du $\| A^k x_1- x_{k+1}\|^2$ ? (Um zu sehen, warum es im gewöhnlichen Sinne nicht ganz sinnvoll ist, beachten Sie, dass die beiden Komponenten Ihres Verlusts an verschiedenen Stellen minimiert werden können.)
Warum nicht, wenn ich fragen darf? Das Problem betrifft ein Systemidentifikationsziel, bei dem wir mehrere Zustände haben. Auch mein Betreuer (Ordensprofessor) hat sich diese Funktion ausgedacht und mein anderer Betreuer (Postdoc) befürwortet diese Idee.
Sehen Sie sich zunächst die Multi-Objective-Optimierung an und prüfen Sie, ob Sie dies tun möchten. Warum nicht? Aufgrund dessen, was ich erwähnt habe. Man muss sich überlegen, was das für eine Funktion bedeutet $f: \mathbb R^4 \to \mathbb R^2$ minimiert werden. Wenn es klar ist, was es für skalare Funktionen bedeutet. Sonst nicht so klar.

WiseDev · Answer 1

passant51 hat Recht. Ich habe vergessen, dass mein Professor eine Funktion der Form gezeichnet hat $(\cdot)^T(\cdot)$ , was äquivalent wäre $(\cdot)^2$ im Skalarfall. Und das entspricht dem Vorschlag von passerby51, dass wir die 2-Norm zum Quadrat verwenden, die eine Skalarfunktion ist .

Kümmert euch nicht um meinen Fehler, Leute... und haltet euch von Drogen fern.

Ableitung in Bezug auf die Matrix einer mehrdimensionalen Funktion, die zur Gradientenabstiegsoptimierung verwendet wird.

WiseDev

Passant51

WiseDev

Passant51

Antworten (1)

WiseDev

Frage des Nachweises von Maxima bezogen auf die quadratische Form

Numerische Ableitung einer Matrix in Abhängigkeit von einer Rotationsmatrix

Die gewichtete Summe der Diagonalwerte wird von der Summe der Singularwerte dominiert

Existenz differenzierbarer Matrixabbildungen M(3,R)→M(3,R)M(3,R)→M(3,R)M(3,\mathbb{R}) \rightarrow M(3,\mathbb{ R})

Normungleichheit einer positiv definiten Matrix

Irgendeine Interpretation für die Tatsache, dass Schwerpunkt = optimaler Punkt für die Maximierung des Volumens eines solchen Quaders ist?

Verständnis des stochastischen Gradientenabstiegs und abgeleiteter Methoden

Lagrange-Multiplikatoren geben nicht alle Lösungen an

Wie erhält man den Gradienten eines Matrixprodukts in Bezug auf einen Vektor?

Wie gehen Sie vor, wenn Sie das Quadrat vervollständigen?