➡️
继续阅读
-
买显卡跑模型必看:Shoehorn让14B模型塞进24GB显存
Shoehorn是一款用Rust编写的开源工具,通过精确到字节的混合精度量化,优化大语言模型在显卡显存中的分配。它先探测显存,计算权重预算,再用重要性矩阵...
-
Jeremy Schneider:为什么Postgres会破坏Kubernetes的container_memory_working_set_bytes指标
Kubernetes的container_memory_working_set_bytes指标对PostgreSQL内存使用不准确,因为它忽略活动页缓存。...
-
Clario技术如何利用Amazon Bedrock检测DICOM图像中的PHI/PII
Clario公司利用Amazon Bedrock和Textract构建自动化系统,检测临床试验DICOM图像中的PHI/PII信息。系统扫描元数据标签和烧...
-
Ramag v0.0.5:把数据库、代码和远程环境放在同一个本地工作台
Ramag v0.0.5更新,基于Rust+GPUI的本地优先开发者工作台,整合数据库、Git、SSH/SFTP和云存储。本版优化Git工作区布局、Mar...
-
如何回答AI系统设计面试问题
AI系统设计面试已从“设计YouTube”转向“设计ChatGPT”等AI产品,重点评估候选人对概率性、成本受限系统的推理能力,核心权衡延迟、成本、质量与...
-
从使用 AI 到委托 AI:我的一些思考
本文探讨如何将复杂工作可靠地委托给AI,提出“可委托性”概念,强调稳定性、成本可预测和边界明确的验收标准。作者主张人负责意图与授权,模型执行判断,工具记录...