特征值与秩的关系:如果矩阵可以对角化,那么非0特征值的个数就等于矩阵的秩;如果矩阵不可以对角化,这个结论就不一定成立。
从线性空间的角度看,在一个定义了内积的线性空间里,对一个N阶对称方阵进行特征分解,就是产生了该空间的N个标准正交基,然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基,而特征值的模则代表矩阵在每个基上的投影长度。特征值越大,说明矩阵在对应的特征向量上的方差越大,功率越大,信息量越多。应用到最优化中,意思就是对于R的二次型,自变量在这个方向上变化的时候,对函数值的影响最大,也就是该方向上的方向导数最大。应用到数据挖掘中,意思就是最大特征值对应的特征向量方向上包含最多的信息量,如果某几个特征值很小,说明这几个方向信息量很小,可以用来降维,也就是删除小特征值对应方向的数据,只保留大特征值方向对应的数据,这样做以后数据量减小,但有用信息量变化不大。
函数值变化最快的方向,也就是曲面最陡峭的方向,归一化以后是[0.7071;0.7071],嗯哼,这恰好是矩阵R的一个特征值,而且它对应的特征向量是最大的。因为这个问题是二阶的,只有两个特征向量,所以另一个特征向量方向就是曲面最平滑的方向。这一点在分析最优化算法收敛性能的时候需要用到。
每个数字都可以在实数域内取值(正、负、零),[公式]可以无限的延伸,联想到现在的大数据,还有什么东西不能由它表示?如果您相信万物皆数,这儿都可以说万物皆矩阵了,万物。
另外,这一堆数既可以表示数据记录,还可以表示某种不知名的抽象运算(物理上叫算子),这样的数学运算,对某些对象集,确仅仅以固有的方式伸缩,且不管它是数据记录还是抽象运算,全都一样!