線形代数の本質

2023-04-12 2024-12-25 约 2800 字预计阅读 6 分钟 - 次阅读

1 中英対照表

English	中文
cross production	叉积
determinantion	行列式
eigenvalue	特征值

2 ベクトル

座標としての数の導入は暴力行為である。

一方で、これは人々に空間を記述し、数値を使って空間を操作する言語を提供し、コンピュータで計算できるようにします。 ~~暴論：線代はプログラマーが空間を操作できるようにする。~~

$i$と$j$は基ベクトル（basis vector）であり、任意のベクトルはそれらの線形結合として見ることができます。

共線のベクトルは線形従属（Linearly dependent）であり、生成する空間は直線（または原点）です。非共線のベクトルは線形独立（Linearly independent）であり、生成する空間はすべてのベクトルの集合です。

3 行列

一種の線形変換

~~幸いにも線形代数は線形変換のみを扱います。~~

行列は変換の一種として理解できます。 acは基変換後の位置を表し、bdも同様であるため、1001は変換されていないことと等価です。基がどのように変換されるかを知ることで、すべてのベクトルがどのように変換されるかを知ることができます。正交変換は基ベクトルの長さを保持し、互いに直交する変換（剛体運動）です。

4 行列の積

単一の行列は線形変換であり、行列の積は複合変換です。行列の積の集合的な意味は、2つの線形変換を順に適用することにあります。非正方行列は次元を跨ぐ変換を表します。

5 行列式

これが行列式（determinant）です！👆 1x1の小さなグリッドは、行列変換後の面積が対応する行列式の値に等しいです。

行列式が0の場合、すべてが押しつぶされ、非可逆変換を示し、行列も非可逆です。行列式の値は負になることがありますが、面積も負になることがありますか？面積は絶対値に等しく、負の数は空間の向きが変わったことを示します（紙が裏返った）。

しかし、面積はすべてを説明するわけではなく、高次元では他の要素があります。

6 逆行列と列空間とランク

行列は空間を操作するだけでなく、方程式を解くためにも使用できます。

方程式系を行列の積に変換することで、自然に空間を操作する伝統的な技術に戻ります。 $\vec{x}$が行列$A$の作用で$\vec{v}$に変換される場合、逆変換$A^{-1}$を用いて元の$\vec{x}$を見つけることは方程式を解く過程です。行列式が0でない場合、逆行列を求めることで方程式を解くことができます。

行列式が0の場合でも、方程式には解があるかもしれません。その前提は$\vec{v}$が圧縮後の空間（列空間）に存在することです。

ランクの説明については、動画の8分あたりが非常に巧妙です。ランクは変換後の（列）空間の次元を表します。（方程式系において、行列のランクは制約条件の数に相当します）すべての可能な$A\vec{v}$の集合は列空間（Column space）です。変換後に原点に落ちるベクトルの集合は零空間（null space）または核（kernel）と呼ばれます。 SVMにおけるカーネル法？

7 内積の双対性

伝統的にベクトルの内積を投影として理解しますが、双対性を理解するために一旦忘れましょう。双対性は自然でありながら驚くべき対応関係を指します。ベクトルは線形変換の物理的な具現化です。（ベクトルは線形変換のキャリア）双対性の理解はヒルベルト空間、PCA IDAの理解に不可欠です。

ベクトルと対応する1×n行列の間には奇妙な関係があります。1×n行列が表す変換はn×1ベクトルとの内積と等価です。すべてのベクトルはある行列の化身であり、すべての行列はあるベクトルに対応しています。

8 クロスプロダクト

伝統的な説明は上図の通りです。

9 基の変換

異なる座標系にいる2人がどのように交流するか？他人の基ベクトルを自分の座標系に置き、変換行列を得ることで可能です。

他の座標系にあるベクトル$\vec{v}$に対して、まず変換を用いて（左三）自分の座標系のベクトルに変換し、自分の座標系で変換を行い（左中）、最後に変換結果を彼の座標に変換します（左一）。式$A^{-1}MA$は一種の転送作用を表し、この行列の積は他の人にとっても変換であり続けます。

10 固有ベクトルと固有値

機能：特性値が1の特性ベクトルは回転軸です。計算：$A\vec{v}=\lambda \vec{v}$、項を移動すると、$det(A-\lambda I)=0$、つまり空間を圧縮できるベクトルを見つけます。回転変換の特性ベクトルは複素ベクトル空間にあり、せん断変換は特性ベクトルが1つだけです。特性値が1つで、特性ベクトルが共線でない場合もあります（すべてのベクトルを2倍に引き伸ばす場合など）。

対角行列では、すべての基ベクトルが特性ベクトルであり、対角線上の値が対応する特性値です。

ある日、共線でない特性ベクトル[1 0] [0 1]を新しい座標系の基にしたい場合、この基変換の過程は類似対角化です。得られる行列は必然的に対角行列であり、値は特性値です。このような特性ベクトルは特性基（eigenbasis）とも呼ばれます。なぜ特性基変換に大きな労力を費やすのかというと、例えば上記の$\begin{bmatrix}3 &1 \ 0 & 2\end{bmatrix}$のように、100回の変換を計算するのは非常に複雑ですが、変換すると結果を迅速に得ることができ、$\begin{bmatrix}3^{100} &1 \ 0 & 2^{100}\end{bmatrix}$、再度変換すればよいのです。

11 ベクトル空間

行列式、特性ベクトルなどは選択した座標系に依存しません… 関数の微分も行列で行うことができます… では、ベクトルとは何でしょうか？

~~ベクトルは物ではありません。~~ 公理は自然法則ではなく、数学者が定義したルールであり、数学者と数学ツールを使用する人々を結びつけます。ベクトルは点、矢印、関数、奇妙な生物など、これらの公理で定義されたルールを満たすものであれば何でもかまいません。ベクトルとは何かを問うことは、「1」とは何かを問うことと同じであり、意味がありません。