Feature-Vektor-Verkettung

Question

Feature-Vektor-Verkettung

Vektoren
Mathematik
Lineare Algebra
maschinelles Lernen

Orbit

Beim maschinellen Lernen (und nicht nur) kommt es häufig vor, dass verschiedene Merkmalsvektoren zu einem einzigen Vektor höherer Dimension verkettet werden, der dann von einer Funktion verarbeitet wird. Beispielsweise werden Merkmalsvektoren, die für ein Bild mit unterschiedlichen Maßstäben berechnet wurden, verkettet, um einen mehrskaligen Merkmalsvektor zu bilden, der dann weiter verarbeitet wird.

Das Kombinieren von Vektoren durch Verkettung erscheint mir jedoch irgendwie künstlich (wir stapeln sie einfach und verwenden dann eine Funktion, die in einem höherdimensionalen Raum operiert):

z = v \oplus w = [v_{1}, \dots, v_{N}]^{T} \oplus [w_{1}, \dots, w_{M}]^{T} = [v_{1}, \dots, v_{N}, w_{1}, \dots, w_{N}]^{T} \in R^{N + M},

$\mathbf{z} = \mathbf{v} \oplus \mathbf{w} = [v_1, \dots, v_n]^T \oplus [w_1, \dots, w_m]^T = [v_1,\dots, v_n, w_1,\dots, w_n]^T \in \mathbb{R}^{n+m},$

F (z) : R^{N + M} \to R^{k} .

$f(\mathbf{z}): \mathbb{R}^{n+m} \to \mathbb{R}^{k}.$

Zunächst möchte ich fragen, ob es eine formale Definition von Verkettung als Abbildung auf einen höherdimensionalen Raum gibt (vielleicht in Form einer Matrixmultiplikation). Was kann über den Raum gesagt werden, in dem die verketteten Vektoren leben? Insbesondere wenn der zweite Vektor fest ist, werden die durch den ersten Vektor repräsentierten Punkte auf einen höherdimensionalen Raum abgebildet, aber sie werden auf den Unterraum beschränkt $\mathbb{R}^{n}\subset \mathbb{R}^{n+m}$ senkrecht zu den übrigen Achsen $n+1,\dots m$ . Es ist wie eine vielfältige Einbettung.

Abschließend habe ich mich gefragt, ob es Alternativen zur Verkettung für eine effektive Kombination von Merkmalsvektoren gibt.

Antworten (2)

Feature-Vektor-Verkettung

5xum · Answer 1

Gibt es eine formale Definition der Verkettung als Abbildung auf den höherdimensionalen Raum (vielleicht in Form einer Matrixmultiplikation)

Formal würde die Abbildung ein Paar von Vektoren in einen höherdimensionalen Vektor abbilden, es wäre also eine Abbildung

C : R^{N} \times R^{M} \to R^{N + M}

$C:\mathbb R^n\times \mathbb R^m \to \mathbb R^{n+m}$

aber die Matrix der Zuordnung hängt wie immer von der Basis ab, die Sie sowohl in der Domäne als auch in der Kodomäne verwenden. Die Matrix ist, wenn man die offensichtlichen Basisvektoren wählt, einfach die Identitätsmatrix. Mit anderen Worten, das Mapping ist ehrlich gesagt ziemlich langweilig, was die Mathematik betrifft.

Tatsächlich die Vektorräume $\mathbb R^n\times\mathbb R^m$ Und $\mathbb R^{n+m}$ sind so ähnlich, dass sie in der linearen Algebra normalerweise als "derselbe" Raum betrachtet werden. Das ist eigentlich der Grund für die Notation $\mathbb R^{k}$ Im Algemeinen.

Wenn Sie streng formal sein wollen, können Sie definieren $A\times\B\times C$ als $(A\times B)\times C$ , oder Sie können es als definieren $A\times (B\times C)$ . Und die ehrliche Wahrheit ist, dass es niemanden interessiert, welche Definition Sie verwenden, da alle Ergebnisse mit einer von beiden vollkommen gültig sind. Ebenso können Sie definieren $\mathbb R^n$ als

R^{1} = R R^{k + 1} = R^{k} \times R

$\mathbb R^1=\mathbb R\\ \mathbb R^{k+1}=\mathbb R^k\times\mathbb R$

oder als

R^{1} = R R^{k + 1} = R \times R^{k}

$\mathbb R^1=\mathbb R\\ \mathbb R^{k+1}=\mathbb R\times \mathbb R^k$

und von da an ist es egal.

Abschließend habe ich mich gefragt, ob es Alternativen zur Verkettung für eine effektive Kombination von Merkmalsvektoren gibt.

Was meinst du mit effektiv? Diese Frage kann sehr schnell aus dem Rahmen der Mathematik fallen, da "effektiv" oft dadurch definiert wird, wie nützlich es in der realen Welt ist.

Dennoch möchten Sie vielleicht PCA (Principle Component Analysis) oder andere Methoden zur Dimensionsreduktion nachschlagen. Aber wie gesagt, das ist eher eine Frage für https://datascience.stackexchange.com/

Danke für die Antwort! Gibt es in dem Beispiel, das ich mit einem festen zweiten Vektor gegeben habe, etwas Interessantes, das gesagt werden kann? Vereinfacht gesagt, wenn der erste Vektor ein beliebiger 2D-Vektor und der zweite Vektor ein fester 1D-Vektor c ist, dann führt die Verkettung von ihnen zu einem 3D-Vektor, aber effektiv leben die durch solche Vektoren dargestellten Punkte auf der 2D-Ebene z= C. In höheren Dimensionen ist das schwer vorstellbar. Es ähnelt dem Beispiel zum Einbetten einer 2D-Kugel in R^3.
@orbit Was Sie beschreiben, ist dann eine affine Abbildung, und ihre Reichweite wäre eine Hyperebene.

Benutzer736865 · Answer 2

Per Definition der direkten Summe zweier Vektorräume, sagen wir $\mathbb{R}^n$ Und $\mathbb{R}^m$ , die direkte Summe $\mathbb{R}^n\oplus\mathbb{R}^m$ ist die Menge der Elemente $(u,v)$ , Wo $u\in\mathbb{R}^n$ Und $v\in\mathbb{R}^m$ . Dann kann man einen Isomorphismus aus definieren $\mathbb{R}^n\oplus\mathbb{R}^m\rightarrow\mathbb{R}^{n+m}$ durch die Karte $(u,v)\mapsto(u_1,\ldots,u_n,v_1,\ldots,v_m)$ . Die Konstruktionen, die "offensichtlich" aussehen, wie einfaches Stapeln, werden oft einfach durch Isomorphismen beschrieben. Dies sind die Karten, die Ihnen sagen, wann zwei Strukturen gleich sind, manchmal bis hin zur offensichtlichen Notation. Hoffe das hilft :)

Feature-Vektor-Verkettung

Orbit

Antworten (2)

5xum

Orbit

5xum

Benutzer736865

Warum stellen wir jede Spalte durch x- und y-Werte im Spaltenbild eines Systems linearer Gleichungen dar?

Ein Teil des Beweises einer Menge ist ein Unterraum von R3R3\mathbb{R}^3

Projektilbewegungsformel mit Luftwiderstand verstehen

Ist diese Menge linear unabhängig?

Beweis dieser linearen Algebra-Identität

Zwei komplexe Vektoren ungleich Null, die senkrecht, aber NICHT orthogonal sind?

Ist das Vektorkreuzprodukt nur für 3D definiert?

Bedeutung von Vektorgleichungen

Kreuzprodukt in höheren Dimensionen