小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
美团发布基于 N-gram 全新模型:嵌入扩展新范式,实现轻量化 MoE 高效进化

美团 LongCat 团队推出了 LongCat-Flash-Lite,这是一款轻量化的 MoE 模型,参数量为685亿,推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异,尤其在复杂工具使用和代码修复方面,现已开源,欢迎开发者体验。

美团发布基于 N-gram 全新模型:嵌入扩展新范式,实现轻量化 MoE 高效进化

美团技术团队
美团技术团队 · 2026-02-10T00:00:00Z
矩陣的 Modified Gram Schmidt 方法

本文探讨改进的 Gram-Schmidt 正交化方法,旨在解决经典方法中的数值不稳定性和误差。改进方法在每次计算后立即更新向量,保持正交性,从而提高数值稳定性。

矩陣的 Modified Gram Schmidt 方法

Louis Aeilot's Blog
Louis Aeilot's Blog · 2025-11-27T14:45:09Z

矩陣的 QR 分解在電腦運算中可能造成誤差,本文探討一下一種改進版本的 Gram-Schmidt 正交化方法。 經典的 Gram-Schmidt 方法可能造成數值不穩定性。在電腦中,舍入誤差可能會累積,造成得到的

矩陣的 Modified Gram Schmidt 方法

Louis Aeilot's Blog
Louis Aeilot's Blog · 2025-11-27T01:45:09Z
Gram空间流形Muon

本文探讨了Muon优化器的变体,提出通过放宽Gram矩阵约束设计多种流形约束优化器。Muon优化器通过正交化权重更新改善条件数,而流形Muon进一步将权重限制在特定几何形状上。研究表明,放宽约束可以在保持良好条件的同时提升优化器的灵活性和收敛速度。

Gram空间流形Muon

Nathan Chen
Nathan Chen · 2025-10-13T00:00:00Z
Netflix Tudum 如何通过 CQRS 支持 2000 万用户

Gram是一个开源平台,旨在解决AI代理在处理复杂MCP服务器时的上下文缺失问题。用户可以添加上下文、设计多步骤工具,并快速部署MCP服务器,从而提高API的可用性和扩展性。

Netflix Tudum 如何通过 CQRS 支持 2000 万用户

ByteByteGo Newsletter
ByteByteGo Newsletter · 2025-09-09T15:30:44Z

本研究提出了一种新方法FedGraM,通过嵌入格拉姆矩阵来抵御联邦学习中的非针对性攻击,显著提升模型的防御效果。实验结果表明,FedGraM在有限数据样本下优于现有防御方法。

FedGraM: Defending Against Untargeted Attacks in Federated Learning via Embedding Gram Matrix

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z
LG超轻Gram笔记本新增英特尔芯片和离线AI功能

LG推出了更新的超轻Gram和Gram Pro笔记本,新增云端和本地AI功能。16英寸Gram Pro为首款Copilot Plus PC,搭载Intel Lunar Lake处理器,支持最高32GB内存和2TB SSD,具备离线和云端AI功能,支持文件共享和接听电话。

LG超轻Gram笔记本新增英特尔芯片和离线AI功能

The Verge
The Verge · 2024-12-31T09:00:00Z

本研究探讨深度强化学习的泛化能力,提出整合鲁棒适应模块的框架,以增强对环境动态的识别与应对,显示出在多种仿真任务中的有效性。

GRAM: Generalization in Deep Reinforcement Learning with Robust Adaptation Module

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z

本研究解决了南非11种语言的语言识别问题,发现N-gram模型中有效的数据选择对语言频率分布至关重要,同时也探讨了多种预训练的多语言模型(PLM)在语言识别中的有效性。研究表明,Serengeti模型在不同模型中表现最佳,并提出了一种轻量级的BERT-based语言识别模型(za_BERT_lid),其性能与最佳的Afri-centric模型相当。

从N-gram到预训练多语言模型用于语言识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-11T00:00:00Z

本研究分析了神经机器翻译模型在不同粒度上学习到的表示,并通过外围特性评估其质量。结果显示深层次的NMT模型学习了大量语言信息,包括词组结构和词类等语言单元。词汇语义和非局部的句法和语义依存在较高层次上表示更好。使用字符学习的表示比使用子词单位学习的更具有词形信息。多语言模型学习的表示比双语模型更丰富。

N-gram预测与词差表示在语言建模中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-05T00:00:00Z

在数据摄取过程中,模式匹配是当代数据库系统中至关重要的阶段,它的目标是识别与不同数据表相关联的两组属性之间的相似性,本研究重新审视了这个基础问题,并基于大型语言模型进行了探讨,强调了在零射和少射场景下精确匹配属性的能力。

GRAM: 基于数据安全背景下的数据模式的生成式检索增强匹配

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-04T00:00:00Z

本研究论文介绍了一种有效处理孟加拉语下一个词预测和孟加拉语句子生成的双向长短期记忆网络模型,扩展了孟加拉语处理的范围,具有多样性和潜在影响力,在各种新闻门户网站上构建了语料库数据集,并在单词预测方面取得了卓越结果,uni-gram、bi-gram 和 tri-gram 的单词预测准确率分别达到 35%、75% 和 95%。

通过扩展的 RNN 与 Bi-LSTM 模型在 N-gram 语言上增强孟加拉语下一个单词预测和句子完成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-03T00:00:00Z

该研究发现,结合字符或子词的n-gram语言模型能显著提高手写识别系统性能,挑战了仅使用深度学习模型的观点。特别是结合字符语言模型的混合方法超过了基准,证实了混合方法在文档分析系统中的价值。

重温 N-Gram 模型:对手写文本识别现代神经网络的影响

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

基于Transformer架构的大型语言模型(LLMs)在NLP应用领域展示了广泛的应用,对传统任务产生了重大影响。Transformer模型结合了深度学习、数据分析和神经网络设计,具有多功能性和潜力。

Transformer 可以表示 $n$-gram 语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z

利用预训练语言模型为电生理插值和心房颤动分类进行微调,提供了竞争性的分类性能并进行了综合的可解释性研究。

通过文本表示解释心内电 gram

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-02T00:00:00Z
自然语言的可计算性:从 N-gram 到 BERT

本文介绍了自然语言处理中的语言模型技术体系的演进过程,包括古典时代、嵌入时代和深度学习时代。古典时代主要依赖统计和计数方法,嵌入时代引入了词向量来捕捉语义和句法信息,深度学习时代使用了RNN、LSTM和Transformer等模型来处理长距离上下文。N-gram模型解决了简单性、本地上下文捕捉和模型可解释性等问题,但存在稀疏性、固定窗口大小、缺乏语义理解和计算存储需求等问题。Word2Vec、GloVe、ELMo和BERT等模型解决了这些问题,并取得了显著的效果提升。BERT是一个双向语言模型,通过MLM和NSP任务进行预训练,并在下游任务中进行微调。这些模型的发展推动了自然语言处理的进一步发展。

自然语言的可计算性:从 N-gram 到 BERT

二手知识
二手知识 · 2023-11-19T04:11:15Z
Skip-gram模型(2)

word2vec是一种计算词向量的方法,使用余弦相似度计算词相似性。skip-gram模型使用负采样、高频词抽样和词组处理来提高词向量质量和训练速度。

Skip-gram模型(2)

从百草园到三味书屋
从百草园到三味书屋 · 2023-07-12T19:36:02Z
2023年618大屏轻薄本怎么选?LG gram全家桶,总有一款适合你

LG gram系列推出了四款主打机型,包括16英寸轻薄本、17独显黑顶配、OLED Style 16和SuperSlim 15Z90RT。这些产品具有高品质、高颜值、超轻重量、超薄厚度、出色的拓展能力、强悍的长续航、杜比全景声音效和协同传输等功能。建议根据需求选择适合的机型。618活动期间,LG gram系列有优惠活动。

2023年618大屏轻薄本怎么选?LG gram全家桶,总有一款适合你

知乎每日精选
知乎每日精选 · 2023-05-27T09:06:59Z

简介 #Skip-gram1属于Word2Vec的一种,给定input,预测上下文,而CBOW(见补充)是通过上下文来预测input。 Word2Vec模型分为两个步骤2: 建立模型,这类方法与自编码模型有点像,建模不是最终目的; 通过模型获取嵌入词向量。 模型细节 #整体框架图 输入层...

Skip-gram模型(1)

从百草园到三味书屋
从百草园到三味书屋 · 2023-02-05T10:58:02Z

Boost Wav2Vec2 with n-gram LM in 🤗 Transformers

Hugging Face - Blog
Hugging Face - Blog · 2022-01-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码