DynaMiCS：带性能约束的大语言模型动态混合微调
DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
DynaMiCS是一种动态混合优化器，将多领域微调建模为带性能约束的优化问题。它通过短领域特定探测运行估计跨领域效应斜率矩阵，再基于概率单纯形优化计算混合权重，在提升目标领域性能的同时将约束领域损失维持在参考水平以下。实验表明，DynaMiCS相比固定混合基线取得更强的目标领域提升和约束满足，且计算成本更低，无需参考模型、逐样本评分或手动调节混合权重。
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力，不用手动调混合权重，对需要多任务微调又怕遗忘的团队是个小进步，不过算不上范式级突破。
大语言模型的多领域微调需要在提升目标领域性能的同时，保持受限领域（如通用知识、指令遵循或安全评估）的性能。现有的数据混合策略依赖固定的启发式规则或自适应规则，无法显式地强制保持这些能力。我们提出 DynaMiCS，一种动态混合优化器，将多领域微调建模为约束优化问题。在每次更新时，DynaMiCS 执行短时的领域特定探测运行，以估计局部跨领域效应的斜率矩阵，捕捉在每个微调数据集上训练如何影响每个评估领域。这些估计随后被用于通过在概率单纯形上优化来计算混合权重，其目标是在提升目标领域性能的同时，将受限领域的损失保持在参考水平以下。在目标领域和受限领域数量各不相同的多领域微调场景中，DynaMiCS 相比固定混合基线实现了更强的目标领域提升和更高的约束满足度，同时计算成本更低，且无需参考模型、逐样本评分或手动调优的混合权重。
- † 苏黎世联邦理工学院
- ** 在 Apple 任职期间完成的工作
来源：Apple Machine Learning Research（RSS） · machinelearning.apple.com