Kettenregel zur Differenzierung ergibt widersprüchliche Dimensionen

Question

Kettenregel zur Differenzierung ergibt widersprüchliche Dimensionen

Infinitesimalrechnung
Derivate
Mathematik
Realanalyse
Frechet-Ableitung
Multivariable Infinitesimalrechnung

Richard

Angenommen, ich habe differenzierbare Funktionen (im Sinne der Frechet-Ableitung) $f\colon \mathbb{R} \to \mathbb{R}^{n\times n}$ Und $g\colon \mathbb{R}^{n} \to \mathbb{R}$ , Wo $f$ ist ein linearer Operator und möchte die (frechet) Ableitung ihrer Zusammensetzung berechnen, dh $f \circ g\colon \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ . Unter Verwendung der Kettenregel für normierte Räume erhalte ich

\begin{aligned} D (F \circ G (X)) H = \underset{\in R^{N \times N}}{\underset{⏟}{(D F) (G (X))}} \cdot \underset{\in R^{1 \times N}}{\underset{⏟}{D G (X)}} H, H \in R . \end{aligned}

$\begin{align*} D(f \circ g (\mathbf{x}))h = \underbrace{ (\mathrm{D}f)(g(\mathbf{x}))}_{\in \mathbb{R}^{n\times n} } \cdot \underbrace{ \mathrm{D}g(\mathbf{x})}_{\in \mathbb{R}^{1\times n} }h, \quad h \in \mathbb{R} .\end{align*}$ Wie kann dies gelten, da die Abmessungen des Produkts nicht übereinstimmen?

Bearbeiten: Betrachten Sie die Funktion

\begin{aligned} F (X) = A (X) X . \end{aligned}

$\begin{align*} f(\mathbf{x}) = \mathbf{A}(\mathbf{x})\mathbf{x} .\end{align*}$ mit

\begin{aligned} A (X) : R^{N} \to R^{N, N}, A (X) = [\begin{matrix} a (X) & 1 & 0 & 0 & \dots & 0 \\ 1 & a (X) & 1 & 0 & \dots & 0 \\ 0 & 1 & a (X) & 1 & \dots & 0 \\ ⋮ & \dots & ⋱ & ⋱ & ⋱ & ⋮ \\ 0 & 0 & 0 & 1 & a (X) & 1 \\ 0 & 0 & 0 & 0 & 1 & a (X) \end{matrix}] \end{aligned}

$\begin{align*} \mathbf{A}(\mathbf{x})\colon \mathbb{R}^{n} \to \mathbb{R}^{n, n} , \quad \mathbf{A}(\mathbf{x}) = \begin{bmatrix} \alpha(\mathbf{x}) & 1 & 0& 0 & \cdots & 0 \\ 1 & \alpha(\mathbf{x}) & 1 & 0 & \cdots & 0 \\ 0 & 1 & \alpha(\mathbf{x}) & 1 & \cdots & 0 \\ \vdots & \cdots & \ddots & \ddots & \ddots & \vdots \\ 0 & 0 & 0 & 1 & \alpha(\mathbf{x})& 1 \\ 0 & 0 & 0 & 0 & 1 & \alpha(\mathbf{x}) \end{bmatrix} \end{align*}$ wodurch

α (x) = {‖ x ‖}_{2}

$\alpha(\mathbf{x}) = \left\|\mathbf{x}\right\|_{2}$ . Mein Professor schreibt das obige jetzt um als

\begin{aligned} A (X) X = T X + X {“ X “}_{2}, T := [\begin{array}{cccccc} 3 & 1 \\ 1 & 3 & 1 \\ ⋱ & 3 & ⋱ \\ ⋱ & ⋱ & ⋱ \\ 1 & 3 & 1 \\ 1 & 3 \end{array}] . \end{aligned}

$\begin{align*} \mathbf{A}(\mathbf{x})\mathbf{x} = \mathbf{T}\mathbf{x} + \mathbf{x}\left\|\mathbf{x}\right\|_{2} , \quad \mathbf{T}:=\left[\begin{array}{cccccc} 3 & 1 & & & & \\ 1 & 3 & 1 & & & \\ & \ddots & 3 & \ddots & & \\ & & \ddots & \ddots & \ddots & \\ & & & 1 & 3 & 1 \\ & & & & 1 & 3 \end{array}\right] .\end{align*}$ Dann findet er

\begin{aligned} D F (X) H = T H + “ X “_{2} H + X \frac{X^{⊤} H}{“ X “_{2}} = (A (X) + \frac{X X^{⊤}}{“ X “_{2}}) H \end{aligned}

$\begin{align*} \mathrm{D}f(\mathbf{x}) \mathbf{h}=\mathbf{T h}+\|\mathbf{x}\|_{2} \mathbf{h}+\mathbf{x} \frac{\mathbf{x}^{\top} \mathbf{h}}{\|\mathbf{x}\|_{2}} =\left(\mathbf{A}(\mathbf{x})+\frac{\mathbf{x} \mathbf{x}^{\top}}{\|\mathbf{x}\|_{2}}\right) \mathbf{h} \end{align*}$

woraus ich das geschlossen habe

\begin{aligned} D (A (X)) = \frac{X X^{T}}{{“ X “}_{2}} . \end{aligned}

$\begin{align*} \mathrm{D}(\mathbf{A}(\mathbf{x}))= \frac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} } .\end{align*}$

Jeff Cheng

(D f) (g (x))

$(\textrm{D}f)(g(\mathbf{x}))$ ist in

R^{n^{2} \times 1}

$\mathbb{R}^{n^2 \times 1}$

Richard

@JeffCheng siehe meine Bearbeitung.

Arthur

Wie kommt man darauf

D (A (x)) = \frac{x x^{T}}{{‖ x ‖}_{2}}

$\mathrm{D}(\mathbf{A}(\mathbf{x}))= \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ ?

Paul Frost

Was ist

R^{n \times n}

$\mathbb R^{n \times n}$ im Kontrast zu

R^{n, n}

$\mathbb R^{n, n}$ ?

Paul Frost

Du solltest schreiben

A : R^{n} \to R^{n, n}

$\mathbf{A} : \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ .

A (x)

$\mathbf{A}(x)$ ist ein Element von

R^{n, n}

$\mathbb{R}^{n, n}$ .

Antworten (3)

Kettenregel zur Differenzierung ergibt widersprüchliche Dimensionen

$(\textrm{D}f)(g(\mathbf{x}))$ ist in $\mathbb{R}^{n^2 \times 1}$
Wie kommt man darauf $\mathrm{D}(\mathbf{A}(\mathbf{x}))= \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ ?
Was ist $\mathbb R^{n \times n}$ im Kontrast zu $\mathbb R^{n, n}$ ?
Du solltest schreiben $\mathbf{A} : \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ . $\mathbf{A}(x)$ ist ein Element von $\mathbb{R}^{n, n}$ .

Arthur · Answer 1

Für die Zwecke dieser Art von multivariatem Kalkül (z. B. Frechet-Derivate) eine Domäne oder Kodomäne von $m\times n$ reelle Matrizen wird mit identifiziert $\Bbb R^{mn}$ , nicht mit $\Bbb R^{m\times n}$ . Sie "glätten" Ihre Matrizen, bevor Sie Ableitungen und Kettenregeln auf sie anwenden. Zumindest wenn Sie möchten, dass Ihre Ableitung an einem bestimmten Punkt durch ein standardmäßiges rechteckiges Zahlengitter dargestellt wird.

Wenn Sie Ihre Matrizen nicht glätten möchten, bevor Sie mit ihnen rechnen, sind Ihre Ableitungen höherdimensionale Quader. Sie wagen sich jetzt in das, was ich als Tensorkalkülgebiet bezeichnen würde.

Bearbeiten: Nachdem ich mir Ihr Beispiel angesehen habe, passiert meiner Meinung nach Folgendes: $\mathbf A$ ist eine Funktion $\Bbb R^n\to \Bbb R\to \Bbb R^{n\times n}$ , so wie du es beschreibst. Aber $f$ ist eine Funktion $\Bbb R^n\to \Bbb R^n$ , und als solches kann sein Frechet-Derivat als realisiert werden $n\times n$ Matrix. Sie haben die Matrix erhalten $Df = \mathbf{A}(\mathbf{x})+ \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ als dieses Derivat.

hm, mein Professor sagte, dass die resultierende Ableitung des Obigen in sein wird $\mathbb{R}^{n\times n}$ , jedoch würde dies mit dem abgeflachten Ansatz ein Element in ergeben $\mathbb{R}^{n^2 \times n}$
@Richard Nun, die Komposition ergibt eine Karte $\Bbb R\to\Bbb R^{n^2}$ . Die Frechet-Ableitung muss an jedem Punkt eine lineare Abbildung mit derselben Domäne und Kodomäne sein. Ich sehe nicht, wie du da rauskommst.
Ich werde meine Frage mit einem Beispiel bearbeiten, es wäre sehr nett, wenn Sie es sich dann ansehen könnten.
ok, ich habe schnell ein beispiel aus der vorlesung abgetippt

Paul Frost · Answer 2

Die Frechet-Ableitung kann zwar für Abbildungen zwischen beliebigen normierten Räumen definiert werden, insbesondere für Abbildungen in den Raum von $(n \times n)$ -Matrizen. Gegeben $\phi : V \to W$ . das Frechet-Derivat von $\phi$ bei $x \in V$ ist eine lineare Abbildung $D\phi(x) = D\phi \mid_x : V \to W$ . Das sagt die Kettenregel

D (ψ \circ ϕ) (X) = D (ψ) (ϕ (X)) \circ D ϕ (X) .

$D(\psi \circ \phi)(x) = D(\psi)(\phi(x)) \circ D\phi(x).$ Anwenden dieser linearen Karte auf

h \in V

$h \in V$ gibt

D (ψ \circ ϕ) (X) (H) = D (ψ) (ϕ (X)) (D ϕ (X) (H)) .

$D(\psi \circ \phi)(x)(h) = D(\psi)(\phi(x))(D\phi(x)(h)).$ Es scheint, dass Sie nicht richtig zwischen linearen Karten und ihren Matrixdarstellungen unterscheiden, und dies kann verwirrend sein.

Ihre Frage enthält kein Dimensionsproblem: $Dg(x)$ ist eine lineare Abbildung $\mathbb R^n \to \mathbb R$ , somit $D\phi(x)(h) \in \mathbb R$ . Auch $Df(g(x))$ ist eine lineare Abbildung $\mathbb R \to \mathbb R^{n \times n}$ und natürlich fügst du ein $Dg(x)(h)$ als Argument. In Bezug auf Matrizen: $Dg(x)$ ist ein $(n \times 1)$ -Matrix, $Df(g(x))$ ist ein $(1 \times n^2)$ -Matrix (wo wir identifizieren $\mathbb R^{n \times n}$ mit $\mathbb R^{n^2}$ um eine "Standard"-Matrix mit echten Einträgen zu erhalten) und ihr Produkt an $n \times n^2$ -Matrix. Du schreibst $Df(g(x)) \in \mathbb R^{n \times n}$ , aber das ist falsch, da es darauf hindeutet, dass es ein ist $(n \times n)$ -Matrix.

Bei deinem Beispiel sehe ich den Zusammenhang zur Kettenregel nicht. $f$ ist nicht die Zusammensetzung zweier Funktionen, wie sie in der Kettenregel benötigt wird. Aber sicher dein Fazit

D (A (X)) = \frac{X X^{T}}{{“ X “}_{2}}

$D(\mathbf{A}(\mathbf{x}))= \frac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ scheitert.

D A (x)

$D \mathbf A(x)$ ist eine lineare Abbildung

D A (x) : R^{n} \to R^{n \times n}

$D \mathbf A(x) : \mathbb R^n \to \mathbb R^{n \times n}$ , Aber

\frac{x x^{⊤}}{‖ x ‖_{2}}

$\frac{\mathbf{x} \mathbf{x}^{\top}}{\|\mathbf{x}\|_{2}}$ ist eine Single $(n \times n)$ -Matrix .

Greg · Answer 3

$\def\bbR#1{{\mathbb R}^{#1}} \def\a{\alpha}\def\o{{\tt1}}\def\p{\partial} \def\E{{\cal E}} \def\L{\left}\def\R{\right} \def\LR#1{\L(#1\R)} \def\trace#1{\operatorname{Tr}\LR{#1}} \def\qiq{\quad\implies\quad} \def\grad#1#2{\frac{\p #1}{\p #2}} \def\c#1{\color{red}{#1}}$ Ein Matrix-für-Vektor-Gradient erzeugt einen Tensor dritter Ordnung, sodass er nicht bequem in die Standard-Matrixnotation passt.

Das Differential einer Matrix hat jedoch die Form einer Matrix und gehorcht allen Regeln der Matrizenalgebra. Ebenso gehorcht das Differential eines Vektors den bekannten Regeln der Vektoralgebra.

Betrachten Sie zunächst die Differentiale der konstituierenden Funktionen.

\begin{aligned} a^{2} & = X^{T} X \\ 2 a D a & = 2 X^{T} D X & ⟹ D a = \frac{X^{T} D X}{a} \\ A & = B + ICH a & ⟹ D A = ICH D a \end{aligned}

$\eqalign{ \a^2 &= x^Tx \\ 2\a\,d\a &= 2x^Tdx &\qiq d\a = \frac{x^Tdx}{\a} \\ A &= B + I\a &\qiq dA = I\,d\a \\ }$ Damit können wir die zusammengesetzte Funktion durch Rücksubstitution differenzieren.

\begin{aligned} F & = A X \\ D F & = A D X + D A X \\ = A D X + X D a \\ = (A + \frac{X X^{T}}{a}) D X \\ \frac{\partial F}{\partial X} & = (A + \frac{X X^{T}}{a}) \end{aligned}

$\eqalign{ f &= Ax \\ df &= A\,dx + dA\,x \\ &= A\,dx + x\,d\a \\ &= \LR{A + \frac{xx^T}{\a}}dx \\ \grad{f}{x} &= \LR{A + \frac{xx^T}{\a}} \\ }$ Wenn Sie wirklich den Tensor dritter Ordnung brauchen, ist es

\begin{aligned} \frac{\partial A}{\partial X} & = (\frac{ICH ⋆ X}{a}) \end{aligned}

$\eqalign{ \grad{A}{x} &= \LR{\frac{I\star x}{\a}} \\ }$ Wo

⋆

$\star$ bezeichnet das dyadische (auch Tensor-) Produkt.

danke für die Antwort, ich habe noch nicht wirklich etwas über Differentiale gelernt, werden sie durch das Thema Differentialformen rigoros eingeführt?
@Richard Das könnte Ihnen helfen, den Vektorfall zu verstehen, aber das Differential einer Matrix kann nicht mit Differentialformen ausgedrückt werden. Um mehr zu erfahren, würde ich die neueste Ausgabe von Magnus und Neudeckers Matrix Differential Calculus oder vielleicht Hjorungnes' Complex-Valued Matrix Derivatives empfehlen

Kettenregel zur Differenzierung ergibt widersprüchliche Dimensionen

Richard

Jeff Cheng

Richard

Arthur

Paul Frost

Paul Frost

Antworten (3)

Arthur

Richard

Arthur

Richard

Richard

Paul Frost

Greg

Richard

Greg

Was ist der geometrische Unterschied zwischen partieller Ableitung und gewöhnlicher Ableitung?

Ein Wendepunkt, an dem die zweite Ableitung nicht existiert?

Zeigen, dass Funktional mit stetigen partiellen Ableitungen eine quadratische Form ist

Magie der Differentialnotation in der Integration durch u-Substitution [Duplikat]

Dilemma bezüglich des ersten Fundamentalsatzes der Analysis

Wo ist der Fehler in meinem Beweis, dass alle Ableitungen stetig sind?

Definition von Differenzierbarkeit und Ableitung

Differenzierbarkeit von f(x,y)=xy3x2+y2f(x,y)=xy3x2+y2f(x,y)= \frac{xy^3}{x^2+y^2} für (x,y)≠ (0,0)(x,y)≠(0,0)(x,y)\neq (0,0) und 000 für (x,y)=(0,0)(x,y)=(0 ,0)(x,y)=(0,0).

Frage zur "falschen" Anwendung der Kettenregel

Beweise, dass f:R2→Rf:R2→Rf:\mathbb{R^2}\rightarrow \mathbb{R} nicht injektiv ist mit dem Umkehrsatz