小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

本文深入解析Ceph CRUSH机制细节:bucket类型影响迁移量,straw2最优;rule的step语法控制失败域,firstn用于副本、indep用于EC;weight三层体系(device weight、OSD reweight、primary_affinity)不可混用;CRUSH与一致性哈希根本差异在于显式失败域约束和中心化map传播。upmap作为二次修正,需权衡迁移字节与peering风暴。

【Ceph RADOS】CRUSH 加深:rule/bucket/weight 机制与失败域语义

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

A high-performance weight synchronization framework for RL training-to-inference workflows, enabling second-level parameter updates.

Awex - A high-performance weight synchronization framework for RL training-to-inference …

云原生 云原生 · 2025-11-20T07:46:48Z

本文扩展了AdamW模型权重的RMS渐近估计,考虑了动态的Weight Decay和学习率,推导出不同条件下的权重RMS估计公式,强调了参数变化对模型性能的影响。

AdamW的Weight RMS的渐近估计(下)

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2025-11-17T08:56:00Z

本文探讨了AdamW优化器中权重RMS的渐近估计,指出其与学习率和权重衰减相关。通过平均场近似,得出权重RMS可预估的结论,强调这一结果的反直觉性。

AdamW的Weight RMS的渐近估计(上)

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2025-10-01T04:51:00Z

本研究提出了一种后训练量化框架,通过细粒度分组和EM量化方案,将大语言模型的权重量化为1位,显著降低量化误差并提升性能。

Binary Weight and Activation Implementation for Large Language Models Using Post-Training Quantization

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本研究提出GeminiGuard方法,旨在解决联邦学习在非独立同分布数据下对模型中毒攻击的脆弱性。该方法结合模型权重和潜在空间分析,提供轻量级、通用的无监督解决方案,实验结果表明其在抵御多种模型中毒攻击方面优于现有防御措施。

Two Heads Are Better than One: Model Weight and Latent Space Analysis for Federated Learning on Non-IID Data Against Poisoning Attacks

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-30T00:00:00Z

本研究提出了一种新方法,通过脑启发的类比生成器(BiAG)解决传统少量样本类增量学习在学习新类别时无法有效利用旧知识的问题。该方法在增量阶段无需参数微调即可生成新类别的权重,实验结果表明其在多个数据集上的精度超过现有方法。

Learning by Reasoning: Analogical Weight Generation for Few-Shot Class-Incremental Learning

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-27T00:00:00Z

本研究提出了一个权重印记框架,包括生成、归一化和聚合三个部分,首次揭示神经崩溃现象与新数据表示的多重代理之间的关系,性能提升可达4%。

Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z

本研究提出了一种系统化的权重重要性评估方法,以解决大型语言模型(LLMs)在训练中面临的高计算资源和环境影响问题。实验结果表明,适度修剪模型可以提高效率并降低损失,而过度修剪则会损害性能,强调了优化人工智能模型以实现可持续发展的必要性。

Systematic Weight Evaluation for Large Language Models: Enhancing Performance and Sustainability

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-24T00:00:00Z

本研究提出了一种新方法Comply,解决了生物启发神经网络在词嵌入学习中的不足。通过引入复杂权重的位置信息,单层神经网络能够有效学习序列表示,实验结果表明其性能超越FlyVec,并与更大规模模型相当。

Comply: A Complex Weight Learning Approach for Sentences Inspired by Drosophila Olfaction

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-03T00:00:00Z

EDoRA方法通过奇异值分解将预训练权重分解为大小和方向分量,冷冻低秩矩阵,并引入小的可训练矩阵,显著减少可训练参数,最多可减少30倍,同时保持学习能力。实验表明,EDoRA在GLUE基准测试中表现优异,适用于资源受限环境的多任务适应。

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

本研究评估了开放权重语言模型在立陶宛语、拉脱维亚语和爱沙尼亚语的本地化能力。尽管Gemma~2模型表现良好,但许多多语言模型在翻译准确性上仍存在挑战,误差率高达每20个词中有1个错误。

Localizing AI: Evaluating Open-Weight Language Models for the Languages of the Baltic States

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-01-07T00:00:00Z

本研究提出了一种新颖的多任务学习框架MT-ISA,旨在解决隐性情感分析中的线索词缺乏问题。通过自动化权重学习,该模型提升了隐性情感的识别能力和预测准确性。

Multi-Task Learning for Implicit Sentiment Analysis Using Large Language Models: Data-Level and Task-Level Automated Weight Learning

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-12T00:00:00Z

本研究提出了一种对称的BoRA方法,解决了低秩适应中权重矩阵维度不对称的问题,从而优化了模型的适应性。实验结果表明,BoRA在多个基准测试中优于现有的微调方法。

BoRA: Bidirectional Weight Decomposition for Low-Rank Adaptation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-09T00:00:00Z

该研究提出了一种自适应权重深度矩阵分解方法,解决了多视图聚类中的特征选择和超参数选择问题,提升了聚类结果的稳定性和适应性,并加快了收敛速度。实验结果表明,该方法在聚类性能上优于现有技术。

Multi-View Clustering with Adaptive Weight Deep Matrix Factorization

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-03T00:00:00Z

本研究探讨了Transformer模型中的上下文学习现象,提出了新的理论理解,识别了上下文学习与权重学习的条件,并通过实验验证,为大语言模型的微调研究提供了参考。

Understanding Contextual Learning and Weight Learning

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本研究提出通过权重曲率指数(WCI)来理解对抗鲁棒性的泛化,量化模型对抗扰动的脆弱性,为设计更坚韧的深度学习模型提供重要见解,增强其可靠性与安全性。

Understanding Adversarial Robust Generalization via Weight-Curvature Index

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

本研究提出了一种定向权重调整方法,以解决数据集蒸馏中的多样性缺失问题。实验结果表明,该方法能够有效生成高代表性和多样性的合成数据集,并降低计算开销。

Diversity-Driven Synthesis: Enhancing Dataset Distillation through Directed Weight Adjustment

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

本文介绍了使用SVG滤镜中的feMorphology实现文字变细的方法,feMorphology滤镜可以对图形进行侵蚀或扩张,实现文字变瘦或加粗的效果。文章提供了相关代码和滤镜语法说明,并预告了下篇文章将介绍无JavaScript的图片马赛克技术。

不使用font-weight等CSS实现文字变瘦或变胖效果

张鑫旭 张鑫旭 · 2024-05-12T14:16:25Z

本文讨论了权重衰减算法Weight Decay的缺点,并介绍了一种名为Scheduled Weight Decay的算法来解决这些问题。Scheduled Weight Decay通过调整权重衰减的强度来抑制梯度范数,改善模型的泛化能力。文章认为Weight Decay的缺点是被忽视的,而Scheduled Weight Decay是一种解决方案,但并非终极答案。

NeurIPS 2023 | 深入探讨 Weight Decay 的前世今生和隐藏缺陷

六虎 六虎 · 2024-04-02T06:52:37Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码