小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
《GPT 图解》笔记:N-Gram、NPLM、LSTM

本文介绍了语言模型的发展历程,包括N-Gram、NPLM、RNN和LSTM等。N-Gram通过统计前n-1个词的概率进行预测,但缺乏泛化能力;NPLM引入词向量,具备一定的泛化能力;RNN和LSTM通过递归状态支持变长序列,解决了长期依赖问题。总结了N-Gram和Bag-of-Words的基本原理及应用。

《GPT 图解》笔记:N-Gram、NPLM、LSTM

Ying’s Blog
Ying’s Blog · 2026-05-10T08:00:35Z
美团发布基于 N-gram 全新模型:嵌入扩展新范式,实现轻量化 MoE 高效进化

美团 LongCat 团队推出了 LongCat-Flash-Lite,这是一款轻量化的 MoE 模型,参数量为685亿,推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异,尤其在复杂工具使用和代码修复方面,现已开源,欢迎开发者体验。

美团发布基于 N-gram 全新模型:嵌入扩展新范式,实现轻量化 MoE 高效进化

美团技术团队
美团技术团队 · 2026-02-10T00:00:00Z
矩陣的 Modified Gram Schmidt 方法

本文探讨改进的 Gram-Schmidt 正交化方法,旨在解决经典方法中的数值不稳定性和误差。改进方法在每次计算后立即更新向量,保持正交性,从而提高数值稳定性。

矩陣的 Modified Gram Schmidt 方法

Louis Aeilot's Blog
Louis Aeilot's Blog · 2025-11-27T14:45:09Z

矩陣的 QR 分解在電腦運算中可能造成誤差,本文探討一下一種改進版本的 Gram-Schmidt 正交化方法。 經典的 Gram-Schmidt 方法可能造成數值不穩定性。在電腦中,舍入誤差可能會累積,造成得到的

矩陣的 Modified Gram Schmidt 方法

Louis Aeilot's Blog
Louis Aeilot's Blog · 2025-11-27T01:45:09Z
Gram空间流形Muon

本文探讨了Muon优化器的变体,提出通过放宽Gram矩阵约束设计多种流形约束优化器。Muon优化器通过正交化权重更新改善条件数,而流形Muon进一步将权重限制在特定几何形状上。研究表明,放宽约束可以在保持良好条件的同时提升优化器的灵活性和收敛速度。

Gram空间流形Muon

Nathan Chen
Nathan Chen · 2025-10-13T00:00:00Z
Netflix Tudum 如何通过 CQRS 支持 2000 万用户

Gram是一个开源平台,旨在解决AI代理在处理复杂MCP服务器时的上下文缺失问题。用户可以添加上下文、设计多步骤工具,并快速部署MCP服务器,从而提高API的可用性和扩展性。

Netflix Tudum 如何通过 CQRS 支持 2000 万用户

ByteByteGo Newsletter
ByteByteGo Newsletter · 2025-09-09T15:30:44Z

本研究提出了一种新方法FedGraM,通过嵌入格拉姆矩阵来抵御联邦学习中的非针对性攻击,显著提升模型的防御效果。实验结果表明,FedGraM在有限数据样本下优于现有防御方法。

FedGraM: Defending Against Untargeted Attacks in Federated Learning via Embedding Gram Matrix

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z
LG超轻Gram笔记本新增英特尔芯片和离线AI功能

LG推出了更新的超轻Gram和Gram Pro笔记本,新增云端和本地AI功能。16英寸Gram Pro为首款Copilot Plus PC,搭载Intel Lunar Lake处理器,支持最高32GB内存和2TB SSD,具备离线和云端AI功能,支持文件共享和接听电话。

LG超轻Gram笔记本新增英特尔芯片和离线AI功能

The Verge
The Verge · 2024-12-31T09:00:00Z

本研究探讨深度强化学习的泛化能力,提出整合鲁棒适应模块的框架,以增强对环境动态的识别与应对,显示出在多种仿真任务中的有效性。

GRAM: Generalization in Deep Reinforcement Learning with Robust Adaptation Module

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z

本研究解决了南非11种语言的语言识别问题,发现N-gram模型中有效的数据选择对语言频率分布至关重要,同时也探讨了多种预训练的多语言模型(PLM)在语言识别中的有效性。研究表明,Serengeti模型在不同模型中表现最佳,并提出了一种轻量级的BERT-based语言识别模型(za_BERT_lid),其性能与最佳的Afri-centric模型相当。

从N-gram到预训练多语言模型用于语言识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-11T00:00:00Z

本文研究了增强语言模型预测能力的方法,包括潜在语义分析(LSA)和RNN模型的应用。结果表明,使用LSA和多语言词嵌入显著提升了模型性能,尤其在短文本处理和语义消歧方面表现突出。同时探讨了传统与现代语言模型在自然语言处理中的应用关系。

N-gram预测与词差表示在语言建模中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-05T00:00:00Z

在数据摄取过程中,模式匹配是当代数据库系统中至关重要的阶段,它的目标是识别与不同数据表相关联的两组属性之间的相似性,本研究重新审视了这个基础问题,并基于大型语言模型进行了探讨,强调了在零射和少射场景下精确匹配属性的能力。

GRAM: 基于数据安全背景下的数据模式的生成式检索增强匹配

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-04T00:00:00Z

本研究论文介绍了一种有效处理孟加拉语下一个词预测和孟加拉语句子生成的双向长短期记忆网络模型,扩展了孟加拉语处理的范围,具有多样性和潜在影响力,在各种新闻门户网站上构建了语料库数据集,并在单词预测方面取得了卓越结果,uni-gram、bi-gram 和 tri-gram 的单词预测准确率分别达到 35%、75% 和 95%。

通过扩展的 RNN 与 Bi-LSTM 模型在 N-gram 语言上增强孟加拉语下一个单词预测和句子完成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-03T00:00:00Z

本文探讨了多种语言模型的改进方法,包括基于变形金刚的手写识别、循环神经网络的语言模型和字符级输入的神经语言模型。这些模型在语言建模、文本分类和手写文本识别等任务中表现优越,尤其在少量样本学习和领域自适应方面取得了良好效果。

重温 N-Gram 模型:对手写文本识别现代神经网络的影响

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

本研究提出了一种改进的 Transformer 模型,结合 n-gram 语言模型与神经网络,以提升自然语言处理任务的性能。实验证明该方法优于传统模型,并强调了 n-gram 在文本分析中的重要性。此外,研究探讨了 Transformer 在抽象符号推理任务中的能力及其在不同行业的应用潜力。

Transformer 可以表示 $n$-gram 语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z

利用预训练语言模型为电生理插值和心房颤动分类进行微调,提供了竞争性的分类性能并进行了综合的可解释性研究。

通过文本表示解释心内电 gram

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-02T00:00:00Z
自然语言的可计算性:从 N-gram 到 BERT

本文介绍了自然语言处理中的语言模型技术体系的演进过程,包括古典时代、嵌入时代和深度学习时代。古典时代主要依赖统计和计数方法,嵌入时代引入了词向量来捕捉语义和句法信息,深度学习时代使用了RNN、LSTM和Transformer等模型来处理长距离上下文。N-gram模型解决了简单性、本地上下文捕捉和模型可解释性等问题,但存在稀疏性、固定窗口大小、缺乏语义理解和计算存储需求等问题。Word2Vec、GloVe、ELMo和BERT等模型解决了这些问题,并取得了显著的效果提升。BERT是一个双向语言模型,通过MLM和NSP任务进行预训练,并在下游任务中进行微调。这些模型的发展推动了自然语言处理的进一步发展。

自然语言的可计算性:从 N-gram 到 BERT

二手知识
二手知识 · 2023-11-19T04:11:15Z
Skip-gram模型(2)

word2vec是一种计算词向量的方法,使用余弦相似度计算词相似性。skip-gram模型使用负采样、高频词抽样和词组处理来提高词向量质量和训练速度。

Skip-gram模型(2)

从百草园到三味书屋
从百草园到三味书屋 · 2023-07-12T19:36:02Z
2023年618大屏轻薄本怎么选?LG gram全家桶,总有一款适合你

LG gram系列推出了四款主打机型,包括16英寸轻薄本、17独显黑顶配、OLED Style 16和SuperSlim 15Z90RT。这些产品具有高品质、高颜值、超轻重量、超薄厚度、出色的拓展能力、强悍的长续航、杜比全景声音效和协同传输等功能。建议根据需求选择适合的机型。618活动期间,LG gram系列有优惠活动。

2023年618大屏轻薄本怎么选?LG gram全家桶,总有一款适合你

知乎每日精选
知乎每日精选 · 2023-05-27T09:06:59Z

简介 #Skip-gram1属于Word2Vec的一种,给定input,预测上下文,而CBOW(见补充)是通过上下文来预测input。 Word2Vec模型分为两个步骤2: 建立模型,这类方法与自编码模型有点像,建模不是最终目的; 通过模型获取嵌入词向量。 模型细节 #整体框架图 输入层...

Skip-gram模型(1)

从百草园到三味书屋
从百草园到三味书屋 · 2023-02-05T10:58:02Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码