ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研
原文约3600字，阅读约需9分钟。发表于：。越来越多的公司正在利用大型语言模型（LLM）开发人工智能工具，以便用自然语言查询数据问题。然而，这些工具仍处于开发初级阶段，需要谨慎使用。一些公司正在构建基于LLM的工具，以便研究人员能够更轻松地与数据进行交互。这些工具的开发需要大量的训练数据，并且需要确保模型的响应可验证和可复制。然而，基础数据的偏见和数据透明度仍然是挑战。如果这些挑战得以克服，LLM模型将带来实实在在的好处。
标签
llm
相关的文章：探索LLM在时序预测、微调任务等应用实践中的表现，以及对抗敌对攻击的攻防技巧。
利用异构上下文分片在注意力头之间进行高效的 LLM 训练和服务
原文约300字，阅读约需1分钟。发表于：。采用了异构的上下文分割策略，Sparsely-Sharded（S2）注意力算法可提升模型效率，并减少上下文处理和内存消耗。在实验中，S2-Attention 相较于 FlashAttention-2 获得了 25.3 倍的注意力加速、六倍的训练时间缩短和十倍的推理延迟，同时保持了模型质量。
该研究使用了异构的上下文分割策略，通过S2注意力算法提高了模型效率。实验结果显示，S2-Attention相较于FlashAttention-2在注意力加速、训练时间缩短和推理延迟方面分别提升了25.3倍、6倍和10倍，同时保持了模型质量。
数字取证和事件响应流程是否准备好应对 LLM 时代的文本威胁？
原文约600字，阅读约需2分钟。发表于：。在生成式人工智能时代，神经文本生成器（NTG）的广泛应用在数字取证和事件响应（DFIR）领域带来了新的网络安全挑战，特别是在鉴别和追溯高级攻击（如鱼叉式网络钓鱼和虚假信息活动）背后的信息来源方面。本研究在特定关注 NTG 文本作者鉴别和属性归因的挑战下，对面向文本安全系统的 DFIR 流程进行了严格评估。通过引入一种被称为 CS-ACT 的新型人 - NTG...
神经文本生成器（NTG）在数字取证和事件响应（DFIR）领域带来了新的网络安全挑战。本研究发现了传统DFIR方法中的漏洞，特别是在NTG的作者鉴别方面。研究结果强调了更复杂和适应性更强的策略的必要性，为未来研究和开发更具弹性的基于文本的安全系统奠定了基础。
利用 LLM 生成的上下文描述提高领域特定自动语音识别
原文约200字，阅读约需1分钟。发表于：。通过使用最先进的 Whisper 模型，同时结合 Fine-tuning 解码器和上下文扰动两种训练技术，以及使用大型语言模型 (LLM) 生成描述，我们提出的方法能够显著提高领域特定自动语音识别系统在现实数据集上的准确性，其中 LLM 生成的描述在有效性上超过了人工制作的描述。
该研究使用预训练的声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据。研究结果表明，该系统性能优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。
降低成本：优化 LLM 的 KV-Cache 消耗方法综述
原文约500字，阅读约需2分钟。发表于：。大型语言模型（LLMs）通过其先进的语言理解能力在各个行业中引起了革命，但其效率受到 Transformer 架构在处理长文本方面的困难的挑战。KV-Cache 作为解决这个问题的关键方案之一，将令牌生成的时间复杂度从二次降为线性，但增加了与对话长度成正比的 GPU 内存开销。随着 LLM 社区和学术的发展，提出了各种 KV-Cache 压缩方法。在这篇综述中，我们剖析了 KV-Cache...
大型语言模型（LLMs）的效率受到处理长文本的挑战。KV-Cache是解决这个问题的关键方案之一，但增加了GPU内存开销。综述剖析了KV-Cache的属性和优化方法，总结了评估LLMs长文本能力的指标。揭示了LLM优化的现状和未来进步的洞察。
LLM 鲁棒性能的扩展趋势探究
原文约300字，阅读约需1分钟。发表于：。语言模型的规模和训练数据的增加可以预测地提高其能力，然而，对抗提示对这些模型造成了威胁，本研究旨在探讨模型规模对语言模型的健壮性是否有影响。实证研究表明，更大规模的模型在对抗训练方面表现更好，但在缺乏明确防御措施时，模型规模对健壮性几乎没有带来益处。
该研究分析了大型语言模型中的偏见对公正性和可靠性的影响，并研究了揭示和对抗这些偏见的方法。实验证实，尽管这些模型具有先进的能力，但仍然可以操纵它们产生有偏见或不适当的回应。这强调了加强缓解技术以解决这些安全问题的重要性。
LLM 检测误导可视化的表现如何？
原文约200字，阅读约需1分钟。发表于：。通过对复杂图表的分析和对不同提示策略的影响评估，我们发现多模态语言模型在识别误导性图表方面具有强大的能力，对数据解读能进行批判性思考，进而提高可视化素养，应用多模态语言模型有望解决误导性信息的问题。
对多模态大型语言模型进行评估发现，GPT-4V在识别恶意和误导性论断方面表现出优越性能，但存在偏见和对提示敏感的问题。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示。
Scalify: 针对高效低精度 LLM 训练的规模传播
原文约400字，阅读约需1分钟。发表于：。低精度形式如 float8 已经被引入到机器学习加速硬件中，以改善大型语言模型训练和推断的计算效率。然而，由于需要复杂且有时脆弱的技术来匹配更高精度的训练准确性，ML 社区对其采用的速度放缓。本文提出了一种名为 Scalify 的端到端尺度传播范式，用于计算图的推广和形式化现有的张量缩放方法。实验结果表明，Scalify 支持开箱即用的 float8 矩阵乘法和梯度表示，以及...
低精度形式如float8已被引入机器学习加速硬件，以提高大型语言模型训练和推断的效率。Scalify是一种端到端尺度传播范式，用于计算图的推广和形式化现有的张量缩放方法。实验结果表明，Scalify支持float8矩阵乘法和梯度表示，以及float16优化器状态存储。
WildHallucinations: 用真实世界的实体查询评估 LLM 中的长篇事实准确性
原文约400字，阅读约需1分钟。发表于：。通过 WildHallucinations 基准测试，我们发现大型语言模型（LLMs）在非维基百科实体上具有更多幻觉，并且在不同领域中的幻觉率各不相同，尽管添加检索组件能稍微降低幻觉，但无法消除幻觉。
自然语言处理和大型语言模型取得进展，但存在幻觉问题。研究发现FLAN-T5-11B作为事实验证器表现最佳，超过GPT3.5和ChatGPT。大型语言模型对高质量证据依赖，鲁棒性和泛化能力不足。研究提供了生成模型的见解。
PhenoFlow: 用于探索大型和复杂中风数据集的人 - LLM 驱动的可视化分析系统
原文约500字，阅读约需1分钟。发表于：。通过与经验丰富的神经学家的一年长期合作，我们开发了 PhenoFlow，这是一个视觉分析系统，利用人类和大型语言模型（LLMs）之间的协作来分析急性缺血性中风患者的广泛复杂数据，从而使神经学家能够专注于减少认知负荷的决策制定。
本文介绍了一种新的方法FlowMind，利用大型语言模型（LLMs）如GPT，以解决RPA在即兴或不可预测任务场景下的限制，并创建一个自动工作流生成系统。FlowMind通过提供高层次的自动生成工作流描述简化用户交互，并能够有效地检查和提供反馈。使用NCEN-QA评估了FlowMind生成的工作流与基准和消融变体的性能，展示了FlowMind的成功。
