本研究提出了NorEval,一个针对挪威生成语言模型的评估工具,填补了挪威语言基准评估的空白。该工具包含24个高质量数据集,涵盖多种任务,并提供灵活可复现的评估框架,对19个开源模型进行了基准测试。
本研究提出了一种基于自适应加权拒绝采样的快速受控生成语言模型方法,解决了局部约束解码的高成本和全局字符串分布扭曲问题。该算法显著减少了约束评估次数,并提供低方差的无偏重要性权重估计,实验证明其在多种应用中优于现有方法,提高了速度和性能。
本文介绍了BigO(Bench),一种新型编码基准,用于评估生成语言模型在理解和生成具有特定时间和空间复杂度的代码能力。研究发现,尽管模型在代码生成方面表现良好,但在理解复杂度方面存在不足,可能无法泛化到未奖励的任务。
本研究提出了一种新框架,用于评估生成语言模型在任务级输出选择中的解码效率。研究发现,解码无关的候选选择方法在多样化任务中表现优异,为未来模型设计提供了重要见解,尤其是在大规模候选池的应用潜力方面。
本研究探讨生成语言模型中的偏见与任务特定缺陷之间的关系,提出了一种偏见缓解框架,通过指令微调减少了60%以上的刻板印象输出,强调了区分“偏见”与其他错误的重要性。
Granite 3.0是一个开源的轻量级生成语言模型,适用于企业级任务,支持多语言、编程和推理,测试显示其在功能调用和格式规范方面表现优异,适合多种应用场景。
该研究通过结合传统数据增强和生成语言模型,解决了仇恨言论检测中数据集不足和忽视少数群体的问题,提升了特定仇恨类别的分类性能,促进了更公平的检测系统。
本文介绍了SentiPrompt框架在情感分析中的应用,提出了多种提升情感识别准确性的方法,如情感联想测验和情感转移测试。研究表明,结合生成语言模型和情感智能准则能够显著提高情感分析效果,尤其在隐含情感分析方面表现突出。
生成语言模型的框架包括变换器架构、预训练和对齐过程。变换器架构是基础,采用掩蔽自注意力和前馈变换。预训练通过自监督学习进行,目标是预测下一个词。对齐过程通过标准定义和微调,使模型生成符合人类期望的文本。
本文探讨了大型预训练生成语言模型(LLM)在医疗编码和文本分析中的应用。研究表明,LLM在编码任务中表现出高效性和准确性,甚至超过人工标注员,能够节省时间和成本。LLM在医疗决策支持中展现出潜力,尤其是在处理稀有编码和定性分析方面。
本文探讨了多语料库的质量评估与提升方法,特别针对低资源语言。研究表明,低资源语言的自然语言理解性能受语料库大小和领域覆盖影响更大,而非仅数据质量。通过分析不同语言的网络挖掘语料库,发现其质量差异显著,并提出改进多语言网页语料库的方法,以支持大型生成语言模型的预训练。
本文介绍了构造高质量提示来提高生成语言模型输出质量的方法,包括提示构建的基础行为、艺术、指令与内容的重要性、示例的作用、支持内容的魅力和最佳实践建议。文章还给出了几个示例,展示了改进徒步旅行建议请求的方法,并使用思维链模式提供更准确的建议。最后,作者强调了将.NET技术与人工智能相结合的潜力。
Mikko Lehtimäki探讨了“苦涩教训”理论,强调数据和计算方法在生成语言模型中的重要性。他介绍了Yokot AI平台,利用检索增强生成技术提升内容质量,并指出重排序组件在处理大量数据时的关键作用。Yokot AI通过优化数据处理和检索策略,旨在提高生成结果的准确性和效率。
本文评估了MX数据格式作为AI推理和训练中替代FP32的实用性低的替代品,超过两打基准实验证明了其实用性。同时,本文还展示了对生成语言模型进行低于8位权重、激活和梯度的训练的实现。
LLMDet是一种高效、安全、可扩展的检测工具,利用预训练模型计算文本的代理困惑度来检测文本来源,并在识别人类撰写的文本方面实现了高准确率。同时,在识别生成语言模型方面也表现出良好的结果。
完成下面两步后,将自动完成登录并继续当前操作。