小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
即使是初学者也能在Python中处理大数据集的方法

使用Python处理大数据集不需要高级技能。通过分块读取、选择特定列和优化数据类型等技术,可以有效管理超出内存限制的数据集,适合初学者,提高数据处理效率。

即使是初学者也能在Python中处理大数据集的方法

KDnuggets
KDnuggets · 2025-12-17T15:23:55Z
托马斯·冯德拉:不要给Postgres分配过多内存

在批处理过程中,过高的内存限制(如maintenance_work_mem)可能导致性能下降。测试显示,将内存从64MB增加到16GB,执行时间反而增加30%。原因包括L3缓存大小和系统压力,处理较小的数据块更有效。建议保持适度内存设置(如64MB),并在有明确好处时再调整。

托马斯·冯德拉:不要给Postgres分配过多内存

Planet PostgreSQL
Planet PostgreSQL · 2025-10-31T13:00:00Z
通过显卡来给gpt-oss做个加速

在MacBook Pro上使用gpt-oss因内存限制运行困难。在显存为6G的Windows笔记本上使用lm studio运行gpt-oss 20b模型,加载8层后生成速度有所提升,但仍受显存限制,建议使用显存大于16G的显卡。

通过显卡来给gpt-oss做个加速

Nicksxs's Blog
Nicksxs's Blog · 2025-09-21T13:58:37Z
二进制大小至关重要:在存储受限设备中适应复杂应用的挑战

现代嵌入式系统面临软件复杂性与内存限制的挑战,开发者需使用C++并优化二进制大小。C++的零成本抽象支持高层编程,但模板和智能指针等特性可能增加二进制大小。工具如Bloaty和Puncover可用于分析和优化设计,以确保在内存受限的微控制器上有效运行。

二进制大小至关重要:在存储受限设备中适应复杂应用的挑战

InfoQ
InfoQ · 2025-05-16T09:00:00Z

该研究提出了WAIT和Nested WAIT算法,以优化大型语言模型在内存限制下的推理过程,提升计算资源利用效率,显著改善数据吞吐量和延迟。

Optimizing Inference of Large Language Models: Fluid-Guided Online Scheduling under Memory Constraints

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z

本研究提出了一种新颖的超参数优化方法,通过引入训练层数作为保真度来源,显著节约了计算和内存资源,推动了多保真度超参数优化算法的发展。

冻结层:节省内存的多保真度超参数优化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-14T00:00:00Z

本研究提出了一种动态梯度稀疏更新方法,旨在解决边缘设备模型训练中的内存限制问题。该方法仅更新重要的通道和层,实验结果表明,更新2%的卷积权重可实现85.77%的准确率,同时内存使用减少98%,显著提升了训练效率。

Dynamic Gradient Sparse Update for Edge Training

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-23T00:00:00Z

本研究利用Intel CPU的高级矩阵扩展(AMX)和非结构稀疏性,解决了大语言模型在推理阶段的内存限制和解码速度慢的问题,实现了1.42倍的延迟减少,并提供了开源稀疏内核方案,提升了大语言模型在常规计算平台上的可访问性。

SparAMX: Accelerating Token Generation of Compressed Large Language Models on AMX-Supported CPUs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-18T00:00:00Z

本研究提出了VidCtx框架,旨在解决大型多模态模型在视频问答中的计算和内存限制。通过整合视觉信息和上下文文本,VidCtx显著提高了问答的相关性和有效性,实验结果表明其在视频问答基准测试中表现优异,具有良好的应用潜力。

VidCtx: Context-aware Video Question Answering Based on Image Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z
在设置Kubernetes资源限制时,灵活性至关重要

在Kubernetes中,设置CPU和内存资源的请求值至关重要,但CPU限制的设置存在争议。通常认为不应设置CPU限制,而合理的请求值可以满足资源需求。对于内存,设置限制是必要的,以防止内存不足导致故障。动态需求的工作负载需要灵活管理,自动化工具可简化资源管理。

在设置Kubernetes资源限制时,灵活性至关重要

The New Stack
The New Stack · 2024-12-13T15:00:53Z

本研究提出了BitStack,一种无训练的权重压缩方案,旨在解决大语言模型在本地设备上的内存限制问题。该方法动态调整模型大小,实现内存使用与性能的平衡,实验结果显示在极端压缩比下仍能超越现有基准。

BitStack:在可变内存环境中对压缩大语言模型的细粒度大小控制

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z
突破内存限制:通过近无限批量大小提升对比学习

该论文提出了一种名为“近无限批量大小缩放”(NIBS)的方法,旨在解决对比学习模型的内存限制。通过将损失计算与梯度更新的数据解耦,研究者实现了更大的有效批量大小,从而显著提升了多项基准任务的性能,为处理更大、更复杂的数据集提供了新机遇。

突破内存限制:通过近无限批量大小提升对比学习

DEV Community
DEV Community · 2024-10-27T06:57:13Z
闪存注意力笔记

闪存注意力介绍了深度学习中训练速度的两大限制:内存和计算。通过分块计算Q、K、V,避免存储大规模softmax中间矩阵,从而提高内存效率。这一方法加速模型训练,提升长序列任务的质量,且在速度和内存效率上优于现有方法。

闪存注意力笔记

informal
informal · 2024-10-22T16:00:00Z

该文章介绍了一种名为'channel'的工具,通过管道和TCP实现数据传输,解决了嵌入式系统中的内存和性能限制。该工具可以透传日志和实时分享内容,源于作者在做性能统计和分析工具时的需求。

日志透传工具-channel

BBing's Blog
BBing's Blog · 2024-05-27T00:17:31Z

本文介绍了在Docker容器中使用cgroup v2的方法,解决了内存使用超过限制导致容器终止的问题。通过添加--privileged和--cgroupns=host参数,作者成功控制了容器内的cgroups,保护了关键的自动恢复守护程序。这种设置对于维持模糊测试实验的弹性和效率非常重要。

在Docker容器中使用cgroup v2

Whexy Blog
Whexy Blog · 2024-05-01T18:00:00Z
微软Edge即将允许用户控制内存使用量

微软为Edge浏览器开发内存限制功能,主要面向PC游戏玩家。测试版本可设置1GB至16GB内存限制,但较低限制可能影响浏览器速度。

微软Edge即将允许用户控制内存使用量

The Verge
The Verge · 2024-04-04T12:26:55Z

嵌入式软件测试需要考虑实时性、内存限制、硬件关联等特点。单元测试在宿主机环境下进行,集成测试与硬件环境集成。测试需考虑实时响应和负载。可靠性和安全性测试也很重要。常用的嵌入式软件测试工具有ETest Studio、Klocwork、Hitex TESSY、Rapita Verification Suite、Squish、DT10和VectorCAST。

分享几款嵌入式软件测试工具

良许Linux教程网
良许Linux教程网 · 2024-03-30T14:07:09Z

本文讨论了Redis占用大量内存的原因,包括操作系统限制和.NET应用自身的限制。同时提到了大内存应用的解决方案。内存限制是开发类似Redis的中间件时需要考虑的因素。

如何让.NET应用使用更大的内存

dotNET跨平台
dotNET跨平台 · 2023-12-18T00:01:09Z

本文介绍了在.NET 8中如何通过GC降低内存限制来缩减资源消耗以及扩展内存资源提升性能,以更好地适应云原生。通过调用_RefreshMemoryLimit API来使用新的内存限制更新GC,可以自动缩减与扩展云原生相关的内存堆大小。

.Net8 GC堆对于云原生的支持

dotNET跨平台
dotNET跨平台 · 2023-10-08T00:10:28Z

该研究介绍了如何在端到端语音翻译中引入目标语言上下文,以增强连贯性并克服扩展音频片段的内存限制。同时,提出了上下文丢弃以确保对上下文缺失的鲁棒性,并通过添加说话者信息进一步提高性能。研究表明,上下文信息主要有助于捕捉上下文风格,并解决指代和命名实体问题。

通过利用目标语言上下文提升端到端会话语音翻译

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-27T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码