Instacart 利用大语言模型改进电商搜索的查询理解。旧系统依赖点击购买数据训练,存在标签噪声大、长尾查询覆盖不足、多模型维护成本高的问题。新方案结合历史购买候选、LLM 重排类目路径与嵌入相似度校验来提升类目识别;查询改写分为同义、放宽、替代三类,覆盖率从 50% 提升至 95% 以上;结构化标签采用离线大模型生成高质量样本,蒸馏微调 Llama-3 8B 用于实时推理,并缓存高频查询。经 LoRA 合并、H100 升级和缓存优化,延迟降至约 300 毫秒。A/B 测试显示长尾查询滚动深度下降 6%,投诉减半。
本文介绍用Unsloth和QLoRA微调Llama 3 8B以实现自定义工具调用。仅靠提示工程难以稳定输出JSON,微调可从权重层面改变模型行为。教程涵盖在免费Colab T4上搭建环境、加载4位量化模型、配置LoRA适配器、构建含系统提示、用户查询和JSON输出的数据集,并用SFTTrainer训练。约10分钟完成,模型能对未见查询返回干净JSON,最后保存适配器。
本研究探讨了语言模型在上下文学习中提取少量示例信号的机制,提出了一种新优化方法,发现Llama-3-8B模型仅依赖三个注意力头,并通过自我校正机制提高学习准确性。
本研究提出FlexiDepth,解决了层跳过方法未考虑计算需求变化的问题。它动态调整Transformer层数,在Llama-3-8B模型中成功跳过8层,保持基准性能并提升生成效率。
苹果开源了7B大模型,效果与Llama 3 8B相当,计算量仅为Llama 3 8B的1/6。小模型成为新趋势,大大降低了成本。
完成下面两步后,将自动完成登录并继续当前操作。