Essence of Linear Algebra

2023-04-12 2024-12-25 约 2100 字预计阅读 4 分钟 - 次阅读

1 中英对照表

English	中文
cross production	叉积
determinantion	行列式
eigenvalue	特征值

2 Vector

The introduction of numbers as coordinates is an act of violence.

AND on the flip side, it gives people a language to descrbie space and the manipulation of space using numbers that can be crunched and run through a computer. ~~暴论：线代让程序员可以操纵空间。~~

$i$与$j$是基向量（basis vector）,任何向量都可以看成其线性组合。

共线的向量，线性相关(Linearly dependent)，张成的空间就是一条线（或原点）；不共线的向量，线性无关(Linearly independent)，张成空间就是所有向量的集合；

3 Matrix

kind of Linear transformation

~~好在线性代数只涉及线性变换；~~

矩阵可以理解为一种变换； ac表示一个基变换后的位置，bd也是，因此1001等价于没变换；知道基是怎样变换的，就知道了所有向量是怎么变换的；正交变换是基向量保持长度且相互正交的变换（刚体运动）;

4 Matrix Multiply

单个矩阵是线性变换，那矩阵相乘就是复合变换。矩阵相乘的集合意义就在于使两个线性变换相继作用(apply one transformation then another) 非方阵代表跨纬度的变换；

5 Determinant

这就是行列式determinant！👆 1x1的小格子，经过矩阵变换后的面积等于对应行列式的值。

如果行列式为0，全都压扁了，是一个不可逆的变换，矩阵也是不可逆的。行列式的值可以是负的，你的面积也能是负的吗？面积等于绝对值，负数代表空间orientation发生了改变（一张纸翻转了）；

不过面积不能说明一切，高维是其它东西；

6 Inverse matrices & Column space & Rank

矩阵不只是操纵空间，还可以用来解方程组。

把方程组(equation system)转换成矩阵相乘，自然又回到操作空间的传统艺能来了； $\vec{x}$在矩阵$A$的作用下变换成$\vec{v}$，那用逆变换$A^{-1}$找到原来的$\vec{x}$就是求解方程组的过程；当行列式不为0时，求逆矩阵即可解方程组；

当行列式为0时，方程组仍然可能有解，前提是$\vec{v}$幸存于压缩后的空间(列空间）里；

关于秩的解释，视频 8分钟左右真的太精妙了。秩代表变换后（列）空间的维度；（在方程组中，矩阵的秩刚好就是约束条件的个数）所有可能的$A\vec{v}$的集合就是列空间Column space; 变换后落在原点的向量集合，就是零空间null space 或者叫做核kernel; SVM中的核方法？

7 Duality of Dot Product

传统理解向量点积的方式为投影，但为了理解对偶性，先忘掉。对偶性指的是自然而又出乎意料的对应关系。 Vector is the physical embodiment of a linear transformation.(向量是线性变换的载体) 对偶性的理解对理解希尔伯特空间、PCA IDA至关重要。

向量和对应的1×n矩阵之间有奇妙的关系，1×n矩阵代表的变换等价于与n×1的向量做点积；每一个向量都是某个矩阵的化身；每一个矩阵都与某个向量对应着；

8 Cross Product

传统的解释如上图

9 Change of Basis

两个处于不同坐标系的人，该怎样交流？把他人的基向量放到自己的坐标系，得到变换矩阵即可。

对于另一个坐标系中的向量$\vec{v}$，先用一个变换转换（左三）成我们自己坐标系的向量，再在我们自己的坐标系中进行变换（左中），最后把变换结果转换成他的坐标（左一）；表达式$A^{-1}MA$代表着一种转移作用，这种矩阵的乘积仍然是一种变换，是对于其他人来说的。

10 Eigenvectors & Eigenvalues

作用：特征值为1的特征向量就是旋转轴计算：$A\vec{v}=\lambda \vec{v}$，移项之后，即$det(A-\lambda I)=0$,即找到一个可以压缩空间的向量旋转变换特征向量在复向量空间中，剪切变换仅一个特征向量；也有特征值唯一，特征向量不共线的情况（如将所有向量拉伸两倍）

对角矩阵，所有的基向量都是特征向量，对角线上的值就是对应的特征值

如果有一天，想把两个不共线的特征向量[1 0] [0 1]作为新的坐标系的基，这个基变换的过程就是相似对角化；得到的矩阵必然是对角矩阵，且值为特征值。这样的特征向量也叫做特征基(eigenbasis)；为什么要大费周章去进行特征基变换呢，比如说上面这个$\begin{bmatrix}3 &1 \ 0 & 2\end{bmatrix}$ ，计算100次这样的变换会非常复杂，变换一下后可以快速得到结果$\begin{bmatrix}3^{100} &1 \ 0 & 2^{100}\end{bmatrix}$ ，再变回来就是了。