认知程序设计-【复杂度治理】破解通用业务域声明式
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
在SFT阶段，知识遗忘显著，需要通过混合训练（如hybrid-turning和structTuning）重新输入知识。参考SHADOW-FT，结合BASE和INSTUCT模型，通过SFT和对齐训练解决场景选择和目标设定问题。
🎯
关键要点
- SFT阶段导致知识的灾难性遗忘显著。
- 需要通过混合训练（如hybrid-turning和structTuning）重新输入知识。
- 参考SHADOW-FT的工作，结合BASE和INSTUCT模型。
- 采用在BASE模型上进行SFT和对齐训练。
- 通过叠加变化的参数与Instuct模型，获取相似效果。
- 解决场景选择和目标设定的问题。
➡️
