Python - 如何以及在何处应用特征缩放?

pythonserver side programmingprogramming更新于 2025/9/15 20:28:17

这是数据预处理的一个步骤,应用于数据的独立变量或特征。它基本上有助于在特定范围内规范化数据。

为什么要缩放?

大多数情况下,您的数据集将包含在量级、单位和范围上差异很大的特征。但由于大多数机器学习算法在计算中使用两个数据点之间的欧几里得距离,因此这是一个问题。

如果不加考虑,这些算法只会考虑特征的量级而忽略单位。不同单位(5 公斤和 5000 克)之间的结果会有很大差异。

在距离计算中,量级高的特征比量级低的特征更重要。

为了抑制这种影响,我们需要将所有特征的量级调到相同的水平。这可以通过缩放来实现。

如何缩放特征?

  • 标准化 − 标准化用它们的 Z 分数替换值。
  • $$x^{\prime}=\frac{x\:-\:\bar{x}}{\sigma}$$这会重新分配特征,其平均值 μ = 0 和标准差 σ =1。sklearn.preprocessing.scale 帮助我们在 python 中实现标准化。
  • 均值正则化 −
  • $$x^{\prime}=\frac{x\:-\:mean(x)}{\max(x)\:-\:\min(x)}$$

    此分布的值介于 -1 和 1之间,其中 μ=0。 标准化和均值归一化可用于假设零中心数据的算法,如主成分分析 (PCA)。

  • 最小-最大缩放
  • $$x^{\prime}=\frac{x\:-\:\min(x)}{\max(x)\:-\:\min(x)}$$

    此缩放将值置于 0 和 1 之间。

  • 单位向量 −
  • $$x^{\prime}=\frac{x}{\lVert\:x\:\rVert}$$

    缩放时将整个特征向量视为单位长度。最小-最大缩放和单位向量技术产生的值范围为 [0,1]。在处理具有硬边界的特征时,这非常有用。例如,在处理图像数据时,颜色范围只能从 0 到 255。

何时缩放?

这里要遵循的经验法则是,任何计算距离或假设正态性的算法,都要缩放特征。

特征缩放很重要的一些算法示例是"减去"

  • 具有欧几里得距离度量的 k-最近邻对幅度很敏感,因此应该对所有特征进行缩放以使其权重相等。

  • 在执行主成分分析 (PCA) 时,缩放至关重要。PCA 试图获取具有最大方差的特征,并且对于高幅度特征,方差很高。这会使 PCA 偏向高幅度特征。

  • 我们可以通过缩放来加速梯度下降。这是因为 θ 在小范围内会快速下降,而在大范围内会缓慢下降,因此当变量非常不均匀时,它会低效地振荡到最优值。

  • 基于树的模型不是基于距离的模型,可以处理不同范围的特征。因此,在对树进行建模时不需要缩放。

  • 线性判别分析 (LDA)、朴素贝叶斯等算法在设计上就具备处理这种情况的能力,并相应地为特征赋予权重。在这些算法中执行特征缩放可能不会有太大效果。


相关文章


有用资源