1. 基本概念
针对高维空间中的数据集，矩阵分解通过寻找到一组基及每一个数据点在该基向量下的表示，可对原始高维空间中的数据集进行压缩表示。
令 X=[x1,⋯,xm]∈Rm×n 为数据矩阵，矩阵分解的数学含义即为，找到如下的两个矩阵（U∈Rm×k,A∈Rk×n），其矩阵乘法可实现对原始数据集的最优逼近：
X≈U⋅A
- U∈Rm×k，U 中的每一列（共 k列）可视为对该高维数据集空间中的基向量；
- A∈Rk×n：A 中的每一列（共 n 列）可视为每一个样本在基向量下的线性表示（k 维表示）；
从这一角度来看，矩阵分解可视为 m→k 的降维算法。
矩阵分解可进一步定义为如下的优化问题：
minU,A∥X−UA∥2F