本研究提出了Think-J方法,旨在提升生成式语言模型(LLMs)在评判生成响应方面的能力。该方法结合有限数据和强化学习,显著提高了评估能力,超越了现有评判方法,无需额外人类注释。
AMD于2024年11月15日发布了ZenDNN 5.0深度神经网络库,优化了对Zen 5处理器的支持,并提升了生成式大型语言模型的性能,兼容PyTorch和TensorFlow。
生成式大型语言模型在处理专业任务时易出现幻觉。检索增强生成(RAG)通过外部数据源获取实时信息,提高模型准确性。RAG框架包括知识源、提示模板和生成模型,减少幻觉并提升性能。RAG应用于信息检索、内容推荐和AI助手。可通过LangChain、LlamaIndex等框架实现,结合图形数据库和代理优化过程。
本研究探讨生成式大型语言模型在机器翻译中的应用,发现多语言模型如PaLM在翻译质量上接近人类水平。提出了多语言提示翻译器(MPT)和跨语言思维提示(XLT)等新方法,显著提升了低资源语言的翻译效果,并改善了模型在多语言任务中的表现。研究还分析了非英语母语用户与模型互动时的性能差异,提出无监督提示方法以优化低资源语言的总结能力。
本文探讨了生成式大规模语言模型(LLMs)中的后门攻击问题,提出了覆盖式监督微调(OSFT)和模拟消除(SANDE)方法,以增强模型的安全性。研究表明,后门攻击对自然语言生成系统构成威胁,并提出了多种防御策略,强调了定制化语言模型的脆弱性。呼吁在发布开源模型前进行更全面的安全测试。
本文研究了生成式大型语言模型在跨语言适应中的有效性,发现跨语言词汇适应可提升推理速度达271.5%。提出了多种技术以改善低资源语言的性能,包括词汇替换和嵌入重初始化。实验表明,持续训练和任务特定微调能提高语言理解和下游任务性能,而词汇扩展效果有限。
本文介绍了一种新的零射击方法,通过将声称和证据转化为语义三元组,利用大型语言模型进行自然语言推理,提升了多个数据集上的表现。同时,提出了新的数据集FactKG和多种生成方法,以提高事实验证的可靠性和有效性。研究表明,基于生成式语言模型的知识图谱构建方法在事实核查中表现优异。
本文介绍了多种生成式语言模型的创新,包括RecycleGPT、StockGPT和D-iGPT。StockGPT在股票收益预测中表现优异,年收益达到119%。D-iGPT通过语义标记提升视觉内容理解,显示出生成型人工智能在复杂金融决策及其他领域的潜力。
本文探讨了基于Transformer架构的生成式大型语言模型(SPEED)在机器翻译中的应用,提出了并行解码方法以提高推理效率,速度提升可达38%。同时,介绍了自我推测解码方案,确保输出质量并加速推理。此外,研究提出了分块并行解码和轻量级草稿模型,显著提高了解码效率,保持高性能。
本文分析了生成式语言模型在语言学习中的应用,指出现有方法在教学场景中的局限性。研究提出了一种基于情境的对话模型,通过微调大型语言模型,旨在提高口语流利度和对话效果。同时,提出了一种新颖的自动评估方法,以应对对话系统评估的挑战。
本文综述了生成式大型语言模型(LLMs)的高效部署方法,提出了一种新颖的路由框架以提高计算效率和任务性能,显著降低计算成本。同时,研究探讨了小语言模型在资源受限设备上的应用,提出混合方法以提升解码效率,并分析了LLMs的能源效率与推理性能,为可持续部署提供了见解。
本文探讨了生成式语言模型在生成差分隐私数据集中的应用,强调通过私有调优提升合成数据质量。研究提出了基于隐私保护的分阶段生成模型(P3GM),有效解决高维数据的隐私合成问题,并提出了私有熵投影(PEP)和生成对抗网络(GANs)等算法,以增强数据生成的隐私保护和准确性。
本文综述了生成式大型语言模型的高效部署方法,包括主动学习框架的网络流量分类、容错推理算法和插拔式语言模型框架。提出了新的评估指标LAAL,解决了长文本预测的低估问题,并探讨了高效模型HigeNet和基于LLM的离线框架LAMBO的优势,展示了其在实时决策和动态环境下的应用潜力。
我们提出了一种新方法,使用生成式语言模型从文本集合中挖掘意见。该方法能够学习和转移意见,并扩大发现意见洞察的用途。
本文讨论了数据驱动产品和服务中的隐私问题,并提出了一种利用差分隐私的生成式语言模型的方法,以生成有用的合成文本并缓解隐私问题。经实证分析证明该方法产生的合成数据在实用性上与非私有对应物相当竞争,并提供了强大的隐私保护措施。
本文提出了一种方法,可以确定文章是由生成式语言模型编写还是经过重大编辑。该方法使用多个测试来判断文本单元的来源,并使用Higher Criticism方法结合这些测试。通过对数困惑度与交叉熵率的收敛以及统计模型,该方法表明大部分句子是由语言模型生成的,但也可能有一些句子是通过不同的机制产生的。通过使用真实数据展示了该方法的有效性,并分析了影响其成功的因素。该分析提出了一些未解决的问题,解决这些问题可能会提高该方法的效果。
完成下面两步后,将自动完成登录并继续当前操作。