专栏名称: 算法与数学之美
从生活中挖掘数学之美,在实践中体验算法之奇,魅力旅程,从此开始!
目录
相关文章推荐
51好读  ›  专栏  ›  算法与数学之美

PCA的数学原理

算法与数学之美  · 公众号  · 算法  · 2017-01-22 21:39

正文

请到「今天看啥」查看全文


也就是说, 设向量B的模为1,则A与B的内积值等于A向B所在直线投影的矢量长度! 这就是内积的一种几何解释,也是我们得到的第一个重要结论。在后面的推导中,将反复使用这个结论。



下面我们继续在二维空间内讨论向量。上文说过,一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量:

在代数表示方面,我们经常用线段终点的点坐标表示向量,例如上面的向量可以表示为(3,2),这是我们再熟悉不过的向量表示。


不过我们常常忽略, 只有一个(3,2)本身是不能够精确表示一个向量的 。我们仔细看一下,这里的3实际表示的是向量在x轴上的投影值是3,在y轴上的投影值是2。也就是说我们其实隐式引入了一个定义:以x轴和y轴上正方向长度为1的向量为标准。那么一个向量(3,2)实际是说在x轴投影为3而y轴的投影为2。注意投影是一个矢量,所以可以为负。


更正式的说,向量(x,y)实际上表示线性组合:

不难证明所有二维向量都可以表示为这样的线性组合。此处(1,0)和(0,1)叫做二维空间中的一组基。

所以, 要准确描述向量,首先要确定一 基,然后 出在基所在的各个直 线 上的投影值,就可以了 。只不 经常省略第一步,而默 以(1,0)和(0,1) 基。


之所以默 认选择 (1,0)和(0,1) 基, 然是比 方便,因 是x和y 正方向上的 位向量,因此就使得二 平面上点坐 和向量一一 对应 ,非常方便。但实际上任何两个 线 性无 的二 向量都可以成 基,所 谓线 性无 在二 平面 可以直 观认为 是两个不在一条直 线 上的向量。


例如,(1,1)和(-1,1)也可以成为一组基。一般来说,我们希望基的模是1,因为从内积的意义可以看到,如果基的模是1,那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了!实际上,对应任何一个向量我们总可以找到其同方向上模为1的向量,只要让两个分量分别除以模就好了。例如,上面的基可以变为


现在,我们想获得(3,2)在新基上的坐标,即在两个方向上的投影矢量值,那么根据内积的几何意义,我们只要分别计算(3,2)和两个基的内积,不难得到新的坐标为


图给 出了新的基以及(3,2)在新基上坐 值的示意



另外这里要注意的是,我们列举的例子中基是正交的(即内积为0,或直观说相互垂直),但可以成为一组基的唯一要求就是线性无关,非正交的基也是可以的。不过因为正交基有较好的性质,所以一般使用的基都是正交的。


基变 的矩 表示


下面我 找一种 便的方式 表示基变 是拿上面的例子,想一下, (3,2)变 换为 新基上的坐 ,就是用(3,2)与第一个基做 内积 运算,作 第一个新的坐 分量,然后用(3,2)与第二个基做 内积 运算,作 第二个新坐 的分量。实际上,我 可以用矩 相乘的形式 洁的表示 个变

太漂亮了!其中矩阵的两行分别为两个基,乘以原向量,其结果刚好为新基的坐标。可以稍微推广一下,如果我们有m个二维向量,只要将二维向量按列排成一个两行m列矩阵,然后用“基矩阵”乘以这个矩阵,就得到了所有这些向量在新基下的值。例如(1,1),(2,2),(3,3),想变换到刚才那组基上,则可以这样表示:


于是一组向量的基变换被干净的表示为矩阵的相乘。


一般的,如果我们有M个N维向量,想将其变换为由R个N维向量表示的新空间中,那么首先将R个基按行组成矩阵A,然后将向量按列组成矩阵B,那么两矩阵的乘积AB就是变换结果,其中AB的第m列为A中第m列变换后的结果。


数学表示为:


其中







请到「今天看啥」查看全文