小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
自我反思的不确定性:大型语言模型是否了解其内部答案分布?

本文探讨了通过双向长短期记忆网络(bi-LSTM)提高语言识别准确性的方法。研究表明,该方法在字符级别处理语言识别,错误率降低15%至60%,模型大小减少40%至80%。这改善了苹果平台的多语言输入体验,提升了自动纠正和预测功能。

自我反思的不确定性:大型语言模型是否了解其内部答案分布?

Apple Machine Learning Research
Apple Machine Learning Research · 2025-07-11T00:00:00Z
规模法则将如何决定人工智能的未来 | YC 解码

近年来,AI实验室通过增加参数、数据和计算能力推动大型语言模型(LLMs)发展。然而,AI界开始质疑这种方法是否已到极限,或需新范式。谷歌DeepMind的Chinchilla模型表明,训练数据的充分性比模型大小更为重要。尽管取得成功,专家担心规模法则的边界已现,未来可能需要新的思维模型和计算方法以推动AI进步。

规模法则将如何决定人工智能的未来 | YC 解码

DEV Community
DEV Community · 2025-05-12T10:20:24Z

本研究系统评估了量化推理模型,发现W8A8或W4A16量化可实现无损,但较低比特宽度会影响准确性。模型大小、来源和任务难度是影响性能的关键因素,适当调整模型规模或推理步骤可提升性能。

Does Quantization Impair Inference Capability? An Empirical Study on Quantized Inference Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z
宝可梦3D API v0.2.1

宝可梦3D API v0.2.1发布,模型大小显著减少至127MB,性能提升,修复JSON路径错误,增加优化文档,支持自动化优化,改善加载速度和移动设备性能。开发者应更新项目以利用这些改进。

宝可梦3D API v0.2.1

DEV Community
DEV Community · 2025-03-16T01:37:19Z

本研究提出了一种基于条件互信息的结构化滤波器修剪方法,旨在解决深度卷积神经网络在资源有限硬件上的部署问题。该方法有效减少模型大小,且准确率几乎不变。在CIFAR-10数据集上,VGG16的滤波器数量减少超过三分之一,准确率仅下降0.32%。

Pruning Deep Convolutional Neural Networks Using Conditional Mutual Information

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-27T00:00:00Z

本文研究了语言模型性能与交叉熵损失的关系,发现模型大小、数据集规模和计算量之间存在幂律关系。提出了神经缩放定律,强调训练数据和模型参数对测试损失的影响。通过分析485个预训练模型,提出了提高预测准确性的最佳实践,为模型选择提供参考。

损失预测:针对所有数据集的缩放法则

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-19T00:00:00Z

本研究探讨音乐生成模型是否编码西方音乐理论。通过SynTheory数据集,提出框架检验模型对音乐理论概念的编码能力,发现模型大小和层次影响可检测性。这一发现推动音乐生成技术在理论理解和应用方面的进步。

Do Music Generation Models Encode Music Theory?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-01T00:00:00Z
计算优化采样:小型语言模型在推理任务中胜过大型模型

这篇文章介绍了一种名为“计算优化采样”的新训练方法,可以提高大型语言模型(LLMs)的推理能力,同时减小模型大小和计算需求。研究表明,这种方法可以在一系列推理任务上比较大且更强大的模型表现更好。文章认为,计算优化采样是一种有前景的技术,可以开发更高效和能力更强的人工智能系统。

计算优化采样:小型语言模型在推理任务中胜过大型模型

DEV Community
DEV Community · 2024-09-03T06:26:32Z

本论文研究了多语言预训练语言模型在问答任务中的校准性质,包括不同维度的研究和改进策略。实验证明了自动翻译数据增强是提高模型校准性的高效技术。进行了模型大小和多语言模型与单语模型的比较实验。

针对多语言模型剪枝的语言特定校准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

本文介绍了卷积神经网络量化技术,通过逐通道和逐层量化权重和激活,降低模型大小并提高分类准确率。作者提出了一种使用TensorFlow和TensorFlowLite进行卷积网络量化的工具,并回顾了最佳实践。建议首选逐通道量化的权重和逐层量化的激活,并支持4、8和16位的精度。

1位完全量化训练:将完全量化训练推向1位的极限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

通过分析不同预训练模型的能力表现,确认了不同大小的模型在训练动态上展示相似性。复现了Amber和OpenLLaMA,并发布了它们的中间检查点,为研究界提供资源。提供了不同模型和能力的性能比较以及训练阶段的关键指标指导。提供了评估优化状态的策略,为建立稳定的预训练流程提供指导。

训练开销比:大型语言模型训练系统的实用可靠性指标

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-14T00:00:00Z

本文介绍了利用YOLOv8变体开发的工业跌倒检测系统,通过增强型管道提高了准确性。YOLOv8m模型在计算效率和检测性能之间取得了平衡,达到了0.971的平均准确率。YOLOv8l和YOLOv8x模型具有更高的准确率和召回率,但计算要求和模型大小较高,不适合资源受限的环境。

基于YOLOv8变体的工业环境跌倒检测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

研究发现,减小大型语言模型的大小会降低回忆预训练中的事实能力,但保留了处理上下文信息的能力。密集扩展和权重剪枝都表现出这种行为。

有效地调整 LLM 测试时间计算规模比调整模型参数更有效

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z

该论文介绍了一种新的网络剪枝方法,通过块剪枝减小深度神经网络的模型大小,同时保持高准确性。实验结果表明该方法在边缘计算环境中具有最佳平衡能力,特别适用于资源有限的场景。

在移动设备上实现 DNN 加速的不对齐按块剪枝

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-29T00:00:00Z

本文介绍了卷积神经网络量化技术,通过逐通道和逐层量化权重和激活,降低模型大小并提高分类准确率。作者提出了一种使用TensorFlow和TensorFlowLite进行卷积网络量化的工具,并回顾了量化训练的最佳实践。作者建议在硬件加速和内核优化中使用逐通道量化的权重和逐层量化的激活,并提议未来处理器和硬件加速器支持多种精度。

NITRO-D: 深度卷积神经网络的原生整数训练

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-16T00:00:00Z

研究发现大型语言模型中的信息编码与模型大小存在幂律关系,并探讨了自回归结构和标记之间的关系,发现信息分布在各个标记中。

熵定律:数据压缩与 LLM 性能背后的故事

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

本研究旨在构建与人类价值观相一致的通用文本助手,通过评估发现适度干预的效益随模型大小增加而增长,不影响大模型性能。二分类和模仿学习具善意,排序偏好建模方法在对齐训练任务中表现更佳。最终研究通过“偏好模型预训练”阶段提高在人类喜好上微调的样本效率。

LIONs:一种经验优化的语言模型对齐方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

大语言模型揭示了性别偏见,即使没有性别刻板印象。模型大小和对齐会放大偏见。超参数调整、指导性指导和去偏调整是有效的偏见缓解方法。

公平聆听与发声:语义性别偏见在语音中的研究与集成大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

大型语言模型揭示了性别偏见,即使没有性别刻板印象。模型大小和对齐会放大偏见。超参数调整、指导性指导和去偏调整是有效的偏见缓解方法。

评估对隐含偏见进行无限生成的非裔女性的韵律和情感

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

该论文提出了一种混合精度搜索方法,通过可微分搜索算法和硬件感知优化算法,在不同硬件平台上优化混合精度配置,减少模型大小和延迟,保持准确性。

联合修剪与通道混合精度量化用于高效的深度神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码