机器学习深度科普：降维算法PCA与t-SNE应用
机器学习深度科普：降维算法PCA与t-SNE应用
在机器学习中，高维数据常让模型训练变慢、过拟合风险激增，甚至可视化困难。降维算法能有效提取核心特征，PCA（主成分分析）和t-SNE（t-分布随机邻域嵌入）是两大主流工具。本文通过FAQ形式，解答新手常见困惑，助你快速掌握它们的原理、区别及实战技巧。无论你是数据科学初学者还是进阶者，这些实用指引都将提升你的分析效率。
1. PCA和t-SNE的核心区别是什么？
PCA（主成分分析）是一种线性降维方法，通过寻找数据方差最大的方向（主成分）来保留全局结构。它计算速度快，适合处理百维以上的数据，但无法捕捉非线性关系。t-SNE则是一种非线性降维技术，专注于保留局部邻域结构，常用于高维数据的可视化，能将相似样本在二维或三维空间中紧密聚集。核心区别在于：PCA关注“全局方差最大化”，t-SNE关注“局部相似性保持”。实战中，PCA适合数据预处理（如去噪、特征压缩），而t-SNE适合探索数据聚类或模式发现，但t-SNE计算复杂度高，通常先对数据用PCA降维到50维以下再应用t-SNE。
2. 什么时候用PCA而不是t-SNE？
当你的主要目标是减少特征数量以加速模型训练、消除多重共线性或降低存储成本时，优先选择PCA。例如，在图像识别中，将1000维像素特征压缩到100维，PCA能高效保留90%以上方差。PCA也适合作为其他算法的预处理步骤，如逻辑回归或SVM。反之，若你希望可视化高维数据（如文本、基因表达数据）的聚类模式，或探索未知结构，t-SNE更佳。但注意：t-SNE不适用于特征选择或构建预测模型，因为它的输出是随机初始化的，每次运行结果可能不同。
3. 如何选择PCA的主成分数量？
常用方法是通过累计方差贡献率曲线（Scree Plot）确定。计算每个主成分解释的方差百分比，选择累计贡献率达到85%-95%的最小主成分数。例如，若前10个主成分解释了90%方差，则保留10维。另一种实用技巧：使用PCA的explained_variance_ratio_属性，在Python中调用sklearn.decomposition.PCA后，直接查看累计和。若数据集有标签，也可用交叉验证评估降维后的模型性能，选择性能稳定时的维度。注意：避免过度压缩，确保保留足够的信号而非噪声。
4. t-SNE的perplexity参数如何调优？
perplexity是t-SNE的核心超参数，控制局部与全局结构的平衡。通常取值在5到50之间，推荐从30开始尝试。较小的perplexity（如5-10）会使算法更关注局部细节，适合小数据集；较大的值（如50-100）则更关注全局分布，但计算开销增加。调优技巧：对同一数据运行多次t-SNE，观察聚类稳定性。若结果在多次运行中变化大，可能perplexity不匹配数据规模。一般准则是：样本数N的平方根附近选择，例如N=1000时，perplexity设为30左右。也可借助网格搜索，对比不同值下的Kullback-Leibler散度，选择散度最低的值。
5. PCA和t-SNE能同时使用吗？如何串联？
完全可以，且是推荐做法。由于t-SNE计算复杂度为O(n²)，处理高维（如1000维）数据时极其耗时。标准流程：先用PCA将数据降到30-50维，保留关键结构并去噪；再对降维后的数据应用t-SNE进行可视化。例如，在MNIST手写数字数据上，先PCA到50维，再用t-SNE降到2维，既能避免过拟合，又能清晰显示10个数字簇。注意：PCA降维后需保持数据标准化，确保t-SNE对距离敏感；串联顺序不可颠倒，否则t-SNE的随机性会破坏PCA的全局方差结构。
6. 降维后数据还能用于模型训练吗？
这取决于算法。PCA降维后的数据可直接用于线性模型（如逻辑回归、线性SVM）或基于距离的模型（如KNN），因为保留了主要方差信息。但t-SNE的输出不能用于训练，因为它仅用于可视化，其坐标是随机初始化的，缺乏可解释性，且可能放大噪声。实用建议：若需特征压缩后训练模型，使用PCA；若仅需探索数据分布，用t-SNE。近年来，UMAP（统一流形近似与投影）算法兼顾了PCA的效率和t-SNE的可视化效果，可作为替代方案。
7. 如何处理PCA或t-SNE中的缺失值？
PCA和t-SNE本身不支持缺失值，需预处理。常见方法：1) 删除含缺失值的样本或特征（若缺失率低，如<5%）；2) 均值/中位数填充，适用于数值型数据；3) 使用迭代PCA（如sklearn的IterativeImputer+PCA），通过EM算法估计缺失值。对于t-SNE，更推荐先填充再降维，因为t-SNE对距离敏感。实战中，若缺失值较多（如>10%），建议先用PCA降维后，再对低维表示用KNN插补。注意：填充后需验证降维结果是否稳定，避免引入偏差。
8. t-SNE的困惑度（perplexity）和迭代次数如何影响结果？
困惑度决定每个点周围的有效邻居数，影响簇的紧凑度。低困惑度（如5）会产生许多小簇，高困惑度（如50）则合并为全局结构。迭代次数（通常200-1000步）控制优化收敛性：步数太少，点未充分分散，出现重叠；步数过多，可能导致过度优化，产生虚假模式。推荐：先用默认困惑度30和迭代1000次，观察KL散度是否下降稳定。若结果混乱，尝试增加迭代至2000次；若计算慢，减少到500次。关键原则：多次运行确认可重复性，避免依赖单次结果。
掌握PCA与t-SNE的异同与调优技巧，能让你在数据降维中事半功倍。PCA适合特征压缩与全局分析，t-SNE擅长可视化探索。实际应用中，串联使用它们往往效果最佳。记住：没有万能算法，根据数据规模、目标和计算资源灵活选择，才是高效降维的核心。