华为云推出MindSpore PET套件,提供6种算法,包括5种低参微调算法和1种用于下游任务精度提升的微调算法。LoRA算法通过秩分解矩阵注入Transformer全连接层,节约计算和存储内存,提高训练性能。Prefix-Tuning算法通过注入可训练的prefix向量k、v,提升生成类任务的性能。R-Drop算法用于提升精度,防止过拟合。MindSpore PET套件提供API调用接口及使用案例,开箱即用。
完成下面两步后,将自动完成登录并继续当前操作。