正则化标准化（正则化处理）

本文目录

• 正则化处理
• 数据处理的基本流程
• 什么是批次归一化
• 标准化单细胞RNA测序数据—陷阱和建议
• 采用正则化方法进行数据标准化怎么实现
• 响应面模型相关系数怎么调整数据的大小

正则化处理

过拟合本质上是模型太过复杂，复杂到消弱了模型的泛化能力。由于训练数据时有限的，因此总可以通过增加参数的的方式来提升模型的复杂度，降低训练误差。可正如你学习的领域越专精，可应用的范围可能越窄，则在模型训练中就是指过拟合。

如图所示的红色曲线就是过拟合。

正则化是用于抑制过拟合方法的统称，通过动态调整模型参数的取值 来降低模型的复杂度。这是因为当一些参数的取值足够小时，参数对应的属性对结果的影响微乎其微，这在实质上去除了非相关属性的影响。

在线性回归里，最常见的正则化方式就是在损失函数中添加正则化项，而添加的正则化项往往是待估计参数的 p- 范数。将均方误差和参数的范数之和作为一个整体来进行约束优化，相当于额外添加了一重关于参数的限制条件，避免大量参数同时出现较大的取值。由于正则化的作用通常是让参数估计值的幅度下降，因此在统计学中它也被称为系数收缩方法。

w1，w2都是模型的参数，要优化的目标参数。蓝色的圆圈表示没有经过限制的损失函数在寻找最小值过程中，w的不断迭代（随最小二乘法，最终目的还是使损失函数最小）变化情况，表示的方法是等高线，z轴的值就是 E(w)。

那个红色边框包含的区域，其实就是解空间，只能在这个缩小了的空间中，寻找使得目标函数最小的w1，w2。左边图是岭回归，是由于采用了L2范数正则化项的缘故，要求两个参数的平方和小于某个固定的参数，所以是圆形。右边的LASSO，是由于采用了L1范数作为正则化项，要求两个参数的绝对值之和小于某个固定值，所以解空间是方形。

图中蓝色和红色的交点就是最优参数解，交点出现的位子取决于边界的情况，岭回归的边界是曲线，误差等值线可以在任意位置和边界相切。LASSO边界是直线，因此切点最可能出现在方形的顶点上，这就意味着某个参数的取值为0。
岭回归 ：衰减不同属性的权重，让所有属性向圆心收拢。
LASSO ：直接将某些属性的权重降为0，是对属性的过滤筛选。

当属性的数目远远大于样本的数目的高纬度统计问题，并且不少属性间还存在着相关性时，建议使用LASSO回归来属性的数目。LASSO回归会让很多属性的系数变成0，保留一些系数较大的属性，这个时候系数的取值会对结果又较大影响，因此需要对属性的取值范围进行调整，比如标准化。

当样本数远大于属性数时，岭回归更快，岭回归不会删除属性，会对属性的取值范围进行压缩，特征值小的特征向量会被压缩的很厉害，因此要求属性的取值范围差不多，这样系数差不多，压缩更有意义。

参考资料：王天一，机器学习40讲。

数据处理的基本流程

数据处理的基本流程一般包括以下几个步骤：

1、数据收集：从数据源中获取数据，可能是通过传感器、网络、文件导入等方式。

2、数据清洗：对数据进行初步处理，包括去重、缺失值填充、异常值处理等。

3、预处理：对数据进行进一步处理，例如特征选择、数据变换（如标准化、正则化）、降维等，以提高数据质量和模型训练效果。

4、模型训练：选择合适的机器学习算法，并使用已处理好的数据集来训练模型。

5、模型评估：对训练好的模型进行评估，包括在测试集上的精确度、召回率、F1值等指标，并进行模型调整。

6、部署与应用：将训练好的模型部署到实际环境中，并利用它来做出预测或进行决策。

7、持续改进：根据模型表现和反馈，对模型进行改进以提高其预测能力和稳定性。

以上是一个常见的数据处理流程，但具体流程还取决于不同的应用场景和任务。

以下是几种常见的数据处理方法：

1、数据清洗：数据清洗通常是指检查和修复数据集中的错误、缺失值和异常值等问题。这个过程可能涉及到多种技术，如删除不必要的数据、填补缺失值、纠正错误，并排除与实际情况不符的异常值。

2、数据转换：数据转换通过对数据进行组合、重构和变换来改变原始数据的形式。例如，将时间戳转换为日期时间格式、计算某些列的总和或平均值、将数据从长表格转换为宽表格等。

3、数据归约：数据归约是指通过将大量数据聚合成更少的数据来减少数据量。这个过程可以通过将数据聚合成最小、最大、平均或中位数来实现。

4、数据标准化：数据标准化是指通过将所有数据转换为相同的度量单位和数据范围，使数据具有可比性和可操作性。这个过程可能包括将数据缩放到特定的范围内、标准化相似度得分等。

5、数据分析：数据分析是指使用统计和机器学习技术，对数据进行建模、预测和推断。这个过程可能包括选取合适的模型、验证模型并进行预测，以便从数据中获得深层次的认识和洞察。

综上所述，数据处理方法因其目的不同而各异，我们需要选择合适的方法，根据具体情况制定相应的数据处理策略，以达到最佳处理结果。

什么是批次归一化

批次归一化（Batch Normalization）是一种常用的神经网络正则化技术，旨在加速神经网络的训练过程并改善其性能。

深度神经网络

在神经网络中，数据通常会被输入到每一层的神经元中进行计算和传递。批次归一化通过对每个批次的数据进行归一化处理，使得数据的分布保持在较小的范围内，有助于网络的稳定和训练的加速。其基本原理如下：

• 批次归一化过程：对于每个批次的输入数据，批次归一化首先计算该批次数据的均值和方差。然后，使用批次的均值和方差对数据进行标准化处理，使其均值接近于0，方差接近于1。最后，通过缩放和平移操作，将标准化后的数据重新映射到适当的范围内。

层归一化与批归一化

• 归一化的好处：批次归一化可以解决梯度消失和梯度爆炸的问题，使得网络训练更加稳定。它还有助于加速网络的收敛速度，减少训练的迭代次数。此外，批次归一化还具有一定的正则化效果，可以降低模型的过拟合风险。

• 批次归一化的位置：批次归一化通常应用在全连接层或卷积层之后、激活函数之前。这样可以确保数据在经过激活函数之前得到归一化，有利于激活函数的稳定性和非线性表达能力。

激活函数举例（tanh函数）

• 批次归一化的训练和推理阶段：在训练阶段，批次归一化使用每个批次的均值和方差进行标准化处理。而在推理阶段，为了保持一致性，可以使用整个训练集的均值和方差进行标准化。

批次归一化已被广泛应用于深度学习中的各种网络结构，可以提升网络性能、加快训练速度，并且有助于控制模型的泛化能力和鲁棒性。

标准化单细胞RNA测序数据—陷阱和建议

博文名称：Normalizing single cell RNA sequencing data — Pitfalls and Recommendations
***隐藏网址***
博文发表时间：Jan 29, 2020

单细胞RNA测序(scRNA-seq)的目的通常是亚群鉴定和差异基因表达分析。 为避免“维度灾难”（curse of dimensionality），将高可变基因 (HVG) 用于聚类分析。 多项研究表明，HVG对原始计数矩阵标准化方法的选择很敏感。

原始read计数不能直接用于比较细胞之间的基因表达，因为它们会被实验技术和“无趣”的生物变异所混淆（干扰）。 通过QC质控步骤和其他方法可用于过滤和回归无趣的生物变异。 虽然PCR扩增偏差通常可以通过使用唯一分子标识符 (UMI) 来处理，但需要标准化以消除其他技术引起的变异，如测序深度、细胞裂解和逆转录效率的差异。

标准化（Normalization）处理的主要目标是消除技术效应的影响，同时保留真正的生物学异质性。在标准化处理良好的数据集中，一个基因的方差应该与细胞的基因丰度和测序深度无关。 “真正”差异表达的基因应该在不同细胞类型之间表现出高差异，而看家基因应该表现出低差异。

因此，标准化是一个关键的预处理步骤，它会极大地影响scRNA分析的下游应用。 不幸的是，scRNA数据集通常沿用从bulk RNA-seq继承的方法进行标准化，但是，由于技术性质的差异和这些数据集的固有复杂性，我们很快就会看到这些方法是不合适的。

在这篇博文中，我们将看到全局缩放方法（global scaling methods）在scRNA-seq分析中的局限性。 我们还将讨论最近推出的SCNorm和SCTransform归一化方法的潜力优势，这些方法专为单细胞分析量身定制。

传统上，使用RPKM（每千碱基百万读取数）、FPKM（每千碱基百万片段）或 TPM（每百万转录本）方法将跨细胞的原始表达计数通过测序深度进行标准化。 要了解它们的工作原理，请观看此 视频 。 虽然这些方法适用于样本内标准化，但它们已广泛认为不适合样本之间的差异表达分析。

例如，考虑在两个处理条件—对照组和治疗组之间，比较两个基因A和 基因B的表达的情况。 基因A在两种处理下的表达水平相同，而基因B在处理组中细胞的表达水平高出2倍。 TPM归一化将绝对表达值转化为相对表达值，因此，我们可能会得出结论，如果基因B在两组间是差异表达的，那么基因A也是差异表达的。

基于基因集的方法为了解决全局缩放方法的固有问题，最近引入了两种有趣的归一化方法 - SCnorm (2017) 和 SCTransform (Seurat package v3, 2019)。

SCnorm 是 Bioconductor上的R包。 对于每个基因，SCnorm通过分位数回归（quantile regression）估计基因表达对测序深度的依赖性。 然后将具有相似依赖性的基因进行分组，并使用第二个分位数回归来估计每组的缩放因子（ scale factors）。 最后使用每个组特定的缩放因子调整每个基因集的测序深度，以生成标准化的基因表达估计。

单个细胞数据集（ Bacher et al ）中3个基因表达
A：原始计数与测序深度，B：标准化的全局缩放因子与测序深度，C：SCnorm计数与测序深度
上图显示来自单个样本的细胞数据集中三个基因的计数深度关系。 图 A 是未标准化或原始表达计数。 很明显，与图C 中的 SCnorm 相比，基于全局缩放因子的方法（图 B）在标准化方面做得很差。

SCTransform 是可用于Seurat v3的R包。 该方法使用正则化负二项式模型（regularized negative binomial model）对UMI计数进行建模，以消除因测序深度引起的变化。 简而言之，该方法首先使用测序深度作为自变量和UMI计数作为响应或因变量为每个基因构建广义线性模型 (GLM)。 然后根据基因表达对参数估计进行正则化（或调整）。 使用正则化参数应用第二轮负二项式回归。 该模型的输出（残差）是每个基因的标准化表达水平。

这里的关键信息是，SCnorm 和 SCTransform 方法都学习基因集（ gene-group ）特定的因素，而不是使用常数因子来标准化所有基因。 这些因素分别针对低、中和高表达基因，消除了技术变异的影响，同时保留了真正的生物异质性。

归一化方法的选择会影响高变异基因的选择，从而影响scRNA数据的所有下游分析。 直接将bulk RNA-seq的归一化方法应用于scRNA数据集是不合适的。 推荐通过选择SCNorm或SCTransform归一化方法来更新分析流程并充分利用最新的技术方法是值得的。

在RNA-Seq的分析中，对基因或转录本的read counts数目进行标准化（normalization）非常重要，因为落在一个基因区域内的read counts数目取决于基因长度和测序深度。一个基因越长，测序深度会越高，落在其内部的read counts数目就会相对越多。因此，我们使用相对测量，而不是绝对测量。

因此，我们需要标准化的两个关键因素就是基因长度和测序深度，常常用RPKM (Reads Per Kilobase Million), FPKM (Fragments Per Kilobase Million) 和 TPM (Transcripts Per Million)作为标准化数值。

计算RPKM主要包括以下三步：

其中：

FPKM与RPKM的计算过程相同，它们的区别是：RPKM用于单端测序结果，FPKM用于双端测序结果（如图2所示）。因为双端测序中，每一个fragment会包含两个reads，使用FPKM来计算基因的表达丰度时，可以避免把同一个fragment的两个reads计算两次（实际上只需要计算一次）。

单端read与双端read比对到基因组的示意图所示：

TPM与RPKM最大的区别在于消除两种影响的次序：在TPM中先消除基因长度的影响，再消除测序深度的影响。计算TPM的过程也可以分为三个步骤：

计算公式表示如下：

其中：

因为交换了两次计算的次序，TPM最终得到的结果中，每个样本总的TPM值是相同的，这样的结果便于样本间差异的比较。

有以下RNA-seq数据，测定了A、B、C、D四个基因，长度分别是2、4、1、10kb，共测定了3个生物重复：Rep1、Rep2、Rep3。

第一步，计算总Read数
由于只有4个基因，所以总Read数并没有太大，因此使用10模拟百万进行总read换算。

第二步：标准化总Read数
将Rep1、Rep2、Rep3除以各自换算后的总Read数（也就是3.5，4.5，10.6），得到RPM：

RPKM是先进行测序深度标准化，后进行基因长度标准化；而TPM是先进行基因长度标准化，后进行测序深度标准化 。事实证明，TPM的标准化方法更有优势，为何会这样，见后述。这里先看看TPM的计算。

第一步：进行基因长度标准化。先将基因A、B、C、D的Read数除以各自的基因长度（基因长度单位kb），得到RPK。

详见黄树嘉的《 为什么说FPKM和RPKM都错了 ？》

TPM的归一化考虑了基因长度和测序深度，而seurat的归一化没有考虑基因长度，只考虑了测序深度，为什么不需要考虑基因的长度？
每个归一化方法内在的考虑因素不相同，TPM考虑了基因长度，基因越长，落在基因序列上的reads数量也相应越多。
归一化还跟它要解决的问题相关。

10X官方也答复了该问题：
***隐藏网址***

答：在10x Genomics基因表达分析中，每个转录本都标记有唯一的分子标识符（UMI）序列。这些UMI能够准确定量基因表达水平，因为我们可以判断哪些read是由相同的mRNA分子产生的。因此，Cell Ranger和Space Ranger执行UMI计数（非read计数）以测量基因表达水平，并且所有下游分析步骤均基于UMI计数执行。

传统的RNA-seq数据中，完整的转录本被片段化，随后是cDNA合成、末端修复和接头连接。在此实验流程中，从长转录本中提取fragment片段的概率高于从短转录本中提取的概率。因此，TPM、RPKM、FPKM通过转录本长度（基因的长度）对read计数进行标准化是有意义的。然而，在10x基因表达分析中，这种基因长度偏差并不存在。因此，我们不建议通过基因长度使UMI计数标准化。

10X单细胞测序的UMI标签，消除PCR扩增的偏好性；

参考：
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***

采用正则化方法进行数据标准化怎么实现

spss菜单中依次选择：分析——描述统计——描述，弹出的对话框里有个复选框显示将变量保存为标准化得分，勾选后，然后把要标准化的变量选入右边变量框，然后OK，就可以得到标准分

响应面模型相关系数怎么调整数据的大小

响应面模型相关系数调整数据的大小可以使用以下方法：
1、标准化：首先将各自变量进行标准化，再用标准化后的数据进行模型拟合，以确保不同变量对模型系数的影响是平等的。
2、岭回归：加入惩罚项来约束模型系数的大小，避免过拟合或者模型不稳定。常见的惩罚项有L1和L2正则化，但岭回归常使用L2正则化。
3、Lasso回归：和岭回归类似，也是加入惩罚项的回归方法。与岭回归不同的是，Lasso回归使用L1正则化，可以使得部分系数变为0，从而达到特征选择的作用。
4、逐步回归：使用逐步回归技术，遍历模型中可能的自变量组合，筛选出最有意义的自变量，并逐步加入模型。
5、反向淘汰法：首先将所有变量引入模型，然后从中剔除对模型影响不显著的变量，以得到最终的模型。