Kohya GUI的新进展使得在仅6GB的GPU上进行Fine Tune/DreamBooth训练成为可能,效果媲美48GB的GPU。Fine Tuning效果优于LoRA训练,相关配置和教程已发布,支持Windows和云端。LoRA提取指南提供后几乎无质量损失。改进的块交换技术提升了速度,测试在RTX A6000上进行,分辨率为1024x1024。安装程序和测试提示已分享。
本文介绍了向量召回的最佳实践,包括对称召回和非对称召回的比较、知识增强、模型演进和选型、向量模型Finetune、召回Rerank以及多路融合的工程实践。微调可以提高Recall@N的准确率,Rerank可以结合倒排和向量召回的结果。LangChain框架可以简化LLM应用开发和多种LLM模型的集成流程。建议同时考虑QQ和QD召回,用QQ和QD语料对向量模型进行Finetune。多路召回对提升知识问答的覆盖能力有正向帮助。
本文介绍了使用embedding计算语料和提问的相似度,并在prompt中补充准确的上下文语料来获取更准确的回答。OpenAI提供了Completion API来实现问答功能,但用户不能修改模型,只能使用fine-tune生成自己的模型。为了让GPT-3根据自己的语料生成正确的答案,可以使用embedding接口计算相似度,并结合fine-tune训练输入输出,以提高问答质量。综上所述,使用embedding计算相似度并补充准确的上下文可以获得更准确的回答。
EasyNLP集成K-BERT算法,使⽤户在具有知识图谱的情况下,取得更好的模型Finetune效果。
完成下面两步后,将自动完成登录并继续当前操作。