微调 Fine-Tuning (zh)

训练参数

训练参数在模型微调中非常重要，因为这些训练参数控制大模型如何去学习训练数据当中的模式以及达到最佳的训练效果。

• 批处理数 Batch size: 训练过程中一个迭代中处理的示例数量。批量的大小选择取决于训练数据的大小、内存资源和任务的复杂性等因素。较大的批处理可以更快完成训练。
• 训练周期 Epochs: 整个训练数据集和被训练的周期(次数)。选择 epoch 的值取决于训练数据的复杂性和大小。较低 epch 值可能导致欠拟合，较高值会导致模型过拟合。
• 迭代 Iteration: 完成一个训练周期 Epoch 处理完所有训练数据需要的批处理总次数。

$$Iterations = \frac{\text{Total number of examples}}{Batch size}$$

• 学习率 Learning rate: 模型从训练数据中提取数据模式的学习速度。较低的学习率需要更多 epoch 来反映效果，较高学习率更快地反应变化，即更少 epoch。

微调步骤

微调类型