本文比较了自回归语言模型(ARMs)与扩散语言模型(DLMs)的性能。DLMs通过并行生成令牌提高算术强度,但长上下文扩展不佳;块状解码可改善此问题。批处理推理中,ARMs因序列并行优势吞吐量更高。减少采样步数是DLMs降低延迟的关键。
该文介绍了一项AI研究,通过J-lens技术在大模型Qwen3.6-27B中发现“元词元”(如“什么意思”、“gcd”、“大概率”),这些词能揭示模型处理语境、数学计算和语气调控的算法过程。实验证明,调整这些词可改变模型行为,但受限于单次读取,未来多词元J-lens有望更深入解析模型黑盒。
粤港澳大湾区大数据研究院与迅策科技合作成立了词元经济联合创新应用中心,专注于数据要素、算力经济和人工智能领域,推动项目协同机制,建设数据资产、算力基础设施及AI应用,服务大湾区及全国算力网络。
高通量测序技术与人工智能结合,推动基因组学发展。厦门大学林琛教授提出自适应分词机制,利用AI高效解读DNA序列,提升基因功能预测与疾病标志物识别能力。GenArt模型在无监督条件下自动识别生物功能边界,为基因组研究提供新思路。
随着生成式人工智能技术的发展,词元成为跨境贸易的重要载体。中国信通院启动“算力词元出海生态计划”,旨在解决跨境合规问题,推动产业高质量发展。该计划包括生态协同、技术创新和国际拓展,鼓励企业参与,共同把握出海机遇。
中国开发者通过“中转站”以低价获取美国AI模型Claude,但这一行为涉及隐私和生物信息的交易,形成灰色产业链,绕过安全措施,导致数据泄露和身份盗窃,用户在享受便宜服务的同时,实际上成为受害者。
AI智能体逐渐进入商业场景,承担交易角色,但也引发Token盗用问题。攻击者开始窃取推理资源和Token,AI企业面临的滥用情况显著高于传统SaaS企业。为应对新型欺诈,Stripe升级了反欺诈产品Radar,实时识别滥用行为,保护企业资源。AI时代的商业规则正在重构,企业需加强风控以应对全球竞争。
文章探讨了“tokenmaxxing”现象,即公司高管鼓励员工大量使用AI,表面上看似浪费,实则旨在推动员工学习新技能。随着AI技术进步,企业面临新的烧钱竞赛,尽管成本上升,仍需追求更优结果,未来的AI竞争将依赖资金转化为算力的效率。
软通动力于6月11日宣布“北京壹号词元工厂”正式投入运行,标志着大模型算力进入标准化时代。该工厂专注于智能体服务,优化硬件性能和算法,提供高性价比的“数字燃料”——Token,并发布了开源的词元工厂性能基准,构建了完整的评测体系。软通动力还参与多个国家重点项目,推动全球AI合作。
本文探讨了中转站如何通过拆解高价AI模型的访问权限,提供低成本算力服务。中转站利用闲置资源重构API调用方式,降低开发者成本,但也带来数据隐私和安全风险。随着市场演变,中转站逐渐向平台化服务发展,面临不确定性。
Token(词元)是AI模型计算和计费的基本单位,不同模型的切分方式各异。我国日均词元调用量已超过140万亿次,未来有望实现“充词元”,迈入全民AI时代。
国家数据局首次确认“词元”为Token的标准译名,标志着AI技术向全模态发展。模思智能通过语音切入,推动统一Token结构,提升情境理解能力,已成为国内领先的全模态模型公司。
2012年,张一鸣创立字节跳动,名称简洁有力。近期,AI行业对“Token”的翻译争论不断,最终确定“词元”为最佳选择,既准确又易懂。对于“Prompt”,APPSO建议翻译为“文令”,强调其功能与形态,避免误解。良好的术语翻译是技术传播的基础,目前仍有修正的机会。
本研究聚焦于变换器语言模型中当前词元嵌入到下一个词元预测的激活向量转变过程,识别出基于双元预测的子网络,这些子网络在模型性能中至关重要,尽管只占模型参数的0.2%以下。研究发现这些双元子网络主要集中在模型的首层,并与优化剪枝的子网络显著重叠,揭示了其在基本下一个词元预测中的必要性和充分性。
蚂蚁联合实验室提出的K-ON方法通过多词元并行预测,提升了大模型对知识图谱的感知能力。在知识图谱补全任务中,该方法表现优于现有技术,训练和推理效率更高。实验结果显示,K-ON在多个数据集上均取得显著优势。
LLM是一种通过大量数据训练的模型,数据来源包括书籍、文章和网站。它可以执行文本生成、翻译、摘要和问答等任务。训练时,文本被转换为数值形式,模型通过调整参数提高性能。用户输入被分解为词元,模型使用注意力机制生成响应。
使用两个简单的分类器和从其他 LLM 评估器获得的四个数值特征,本文引入了一种监督学习方法,取得了有希望的结果,并在三个不同基准测试中超越了当前最先进的成果。
完成下面两步后,将自动完成登录并继续当前操作。