什么是微调？

模型微调（Fine-tuning）是指在已有的大规模预训练语言模型（如GPT-3、GPT-4、BERT等）基础上，针对特定任务或领域进行的二次训练过程。

区分一下：预训练（Pre-train）模型通常在大规模无标注文本数据上进行训练，以学习语言的通用表示和规律。微调则是利用针对性的小规模、有标签的数据集，调整模型参数以使其更好地适应并精准完成特定任务，如文本分类、问答、机器翻译、情感分析等。

全微调（Full Fine-tuning）

全微调是对整个预训练模型的所有参数进行全面更新和优化。在这一过程中，模型的所有层（包括底层的嵌入层、中间的隐藏层和顶层的输出层）都将参与训练，并根据新任务的数据调整各自的权重。

全微调能够充分利用预训练模型的知识，并在此基础上对模型进行大幅度的调整以适应新的任务需求。适用于新任务与预训练任务相差较大或者需要模型具有极高灵活性和自适应能力的情况。

优点

相比于部分微调或使用特定微调技术（如Adapter、LoRA等），全微调无需在模型内部添加额外的模块或层，模型结构简单，易于理解和实现。全微调过程中，模型从前向后进行整体训练，可以学习到从输入到输出的完整映射关系，有利于优化全局优化目标，对于某些需要全局信息的任务（如文本生成）可能更为有效。

缺点

1.需要更多的计算资源（如GPU时间、内存）和更长的训练时间，模型越大越显著。

2.在目标任务数据量有限的情况下，全微调可能导致模型过拟合，即对训练数据学习的过于具体，从而在未见过的数据上表现不佳。需要采取正则化、早停等策略来防止过拟合。

3.对所有参数进行重新训练可能导致模型遗忘部分预训练阶段学到的通用知识，特别是当微调数据集较小且分布与预训练数据相差较大时，模型的泛化能力可能受到负面影响。

4.当需要对同一预训练模型进行多次微调以适应不同任务时，每次全微调都会完全覆盖之前的学习结果。若想保留对多个任务的适应能力，需要分别保存每个任务的微调模型副本，增加了存储成本和模型管理复杂性。

5.若微调过程中出现不良训练现象（如梯度爆炸、优化困难等），可能对预训练模型的内部结构造成破坏，影响其在其他任务上的表现。（相对罕见）

部分微调(Partial Fine-tuning/Repurposing或Parameter-efficient Fine-Turning，PEFT，参数高效微调)

部分微调仅更新模型的顶层(靠近输出层)或一小部分中间层的参数，而保留大部分或全部底层预训练模型参数不变。这可以通过冻结部分层的训练（不让其参数更新）或采用特殊结构（如Adapter、LoRA等）来实现。

部分微调旨在保留预训练模型在通用语言理解上的优势，同时以较低的成本对模型进行轻度调整以适应新任务。这种方法适用于新任务与预训练任务较为相关，或者希望尽可能保留预训练模型泛化能力的情况。

优点

只训练模型的部分参数，通常意味着更少的参数需要更新，这往往导致更快的收敛速度和更低的训练时间成本。预训练模型的底层通常学习到通用的语言结构和模式，部分微调可以避免这些已习得的通用特征被过度修改，从而保持对基础语言结构的良好捕获能力。

少量参数的调整相对不易过拟合特定任务的数据，尤其是在下游任务数据量有限的情况下，有助于保持模型的泛化性能。

当面临多个相关任务时，可以使用同一底层预训练模型，仅针对每个任务微调不同的顶层参数，实现知识的有效共享和跨任务迁移。

缺点