小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
为智能体而构建:Spark 声明式管道的优势论证

Databricks 用同一 AI 代理对 528 个数据管道进行基准测试,比较过程式 PySpark 与声明式 Spark Declarative Pipelines。结果显示:声明式可在运行前预检结构错误,集群计算时间减少约 34 倍;代码量约为过程式一半(中位数 64 行对 131 行),且更一致;但两者对逻辑错误的检出率相近。声明式前期 LLM 令牌成本约高 2.3 倍(约 0.50 美元对 0.26 美元),但令牌成本固定,而集群浪费随数据规模增长,故生产规模下声明式更划算。

为智能体而构建:Spark 声明式管道的优势论证

Databricks Databricks · 2026-10-23T19:00:00Z

谷歌推出前沿模型Gemini 4 Argon,擅长编程、金融、法律、网络安全和科学等领域的复杂多步骤任务,在多项基准测试中领先。社区开发者基于该模型打造了五个项目:3D水上飞机模拟、实时野火与地震波3D地球、交互式涡扇喷气发动机、由单张图片生成的3D马车,以及多人夺旗网页游戏。该模型已通过API及多个谷歌平台向开发者和订阅用户开放。

看看5位开发者用Gemini 4 Argon打造了什么

The Keyword The Keyword · 2026-10-23T16:00:00Z
五个AI智能体框架参加了同一项记忆测试,结果差距悬殊。

Letta发布FrontierMemory基准,用于测试AI智能体能否从过往经验中学习并提升后续任务表现,而非仅检索记忆。结果显示智能体框架影响显著:Letta Dream以73.3%居首,Prime Agent为60%,OpenAI Agents SDK为40%,Claude与Hermes更低。在模型生成记忆能力上,Claude Opus 5.5与GLM-5.3并列第一,但GPT-6.1 Sol成本更低。该基准目前仅含15项任务,后续将加入更长任务与在线记忆更新。

五个AI智能体框架参加了同一项记忆测试,结果差距悬殊。

The New Stack The New Stack · 2026-10-22T18:34:32Z
WebRTC 基准测试:为什么一次看起来“干净”的通话恢复测试可能是错的

WebRTC基准测试须先验证限速是否真实生效:Chrome内置限速未附着于通话连接,导致Meet视频绕过限制;Zoom Web视频经数据通道传输,标准统计中无帧率数据。测试显示Meet媒体未中断,但码率稳定常超20秒,或30秒内未恢复;Zoom因限速前码率已低于500kbps,多数接收端未真正受扰。建议将“稳定恢复”纳入验收标准,区分通话运行、遥测完整与质量恢复,缺失数据不得记为零。

WebRTC 基准测试:为什么一次看起来“干净”的通话恢复测试可能是错的

实时互动网 实时互动网 · 2026-10-22T03:29:34Z
pgvector 与专用向量数据库:生产环境基准测试

文章比较了pgvector与专用向量数据库。pgvector是Postgres扩展,可在同一数据库内同时存储向量与关系数据,支持多种向量类型和距离函数。作者用Docker在本地对pgvector和Qdrant做基准测试,但10万向量的规模太小,难以得出结论。文章引用Tiger Data的5000万向量生产级测试:在99%召回率下,pgvector配合pgvectorscale吞吐达471 QPS,远超Qdrant的41 QPS;但Qdrant尾延迟更优,p99为38.71ms对74.60ms,索引构建也快约3.4倍。结论:千万级以下、需要事务一致性的场景选pgvector;超大规模、严格尾延迟SLA或零运维需求的场景选专用数据库。

pgvector 与专用向量数据库:生产环境基准测试

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-20T11:00:00Z
编程代理基准测试应匹配用户的任务流程

JetBrains分析4782个IDE编程代理会话发现,修复缺陷与新增功能的请求不足开发者请求总量的一半,其余为代码解释、规划、审查等。SWE-Bench Pro中93.8%的任务是单一消息的功能或修复请求,与真实使用差距较大。作者提出SWE-TaskFlow,将现有基准的issue拆分为多条顺序请求并加入仓库问答,使任务流更贴近真实会话,但成本增加2至2.6倍,解决率变化不大。

编程代理基准测试应匹配用户的任务流程

The JetBrains Blog The JetBrains Blog · 2026-10-20T10:27:16Z
Gemini 4 Argon 对比 Claude Opus 5.5:价格减半,准确率也减半

谷歌Gemini 4 Argon在18项基准测试中14项领先Claude Opus 5.5,且限时半价。作者实测三项任务:代码审查两者持平,Argon更便宜;规格测试因一行代码错误失败;长上下文测试中Argon推理错误严重、回答草率。结论:Argon虽便宜,但可靠性不足,不建议使用。

Gemini 4 Argon 对比 Claude Opus 5.5:价格减半,准确率也减半

The New Stack The New Stack · 2026-10-18T15:30:00Z
Álvaro Hernández:开源 Citus 以一半的数据节点实现 1000 万 QPS,与 PlanetScale 的 Neki 持平

StackGres 团队使用开源 Citus 在 EKS 上进行基准测试,在单行主键读、无写入场景下,以 24 个 worker 和 48 个查询路由器实现 1000 万 TPS,p50 延迟约 1 毫秒。相比 PlanetScale 的 Neki,Citus 以不到一半的数据节点和约 65% 的 vCPU 达到同等吞吐,成本约为其五分之一。团队将公开复现代码。

Álvaro Hernández:开源 Citus 以一半的数据节点实现 1000 万 QPS,与 PlanetScale 的 Neki 持平

Planet PostgreSQL Planet PostgreSQL · 2026-10-16T15:11:58Z
Lakebase 搜索容量规划:来自真实应用与 400 万条文本段的经验教训

Databricks 内部应用 Slide Hub 基于 Lakebase Postgres 实现混合搜索,结合向量检索与 BM25 关键词检索,无需独立搜索系统。基准测试显示:8 CU 以下时数据库为瓶颈,8 CU 以上时应用为瓶颈;缓存与索引比例决定命中率,接近 1.0 时延迟稳定。建议索引用 quality 模式、候选数设为 200,生产环境最小 0.5 CU 以避免冷启动。

Lakebase 搜索容量规划:来自真实应用与 400 万条文本段的经验教训

Databricks Databricks · 2026-10-15T00:06:48Z

谷歌发布Gemini 4 Argon前沿模型,擅长编程、金融、法律、网络安全和科研等复杂任务,在多项基准测试中领先。该模型已用于Chrome重构、代码优化、量子计算、核聚变和罕见病研究,并强化安全防护。即日起全球上线,面向开发者、企业和订阅用户开放。

Gemini 4 Argon:为攻克最难题而生

Google DeepMind Blog Google DeepMind Blog · 2026-10-13T16:01:52Z
Ming Ying:让 COUNT 查询与其余搜索操作真正快起来(第二部分)

ParadeDB 通过三项优化显著提升 COUNT 查询速度:按 ctid 分区段跳过可见性检查、反转 DocId 映射减少查找、对高频词用位图替代 BP128 编码。在过滤、排序等复杂查询上,ParadeDB 比 TIN 快 10 至 66 倍,因其将文本与元数据统一索引,可协同过滤和排序。作者强调基准测试取决于工作负载,建议用户自行测试。

Ming Ying:让 COUNT 查询与其余搜索操作真正快起来(第二部分)

Planet PostgreSQL Planet PostgreSQL · 2026-10-13T12:00:00Z

本文是BadgerDB移植仓颉系列终篇,聚焦基准测试方法论。作者复盘了四个缺陷:数据目录误落tmpfs导致I/O虚高、负载过小无统计意义、缺少环境指纹、跨语言规模不对齐;并揭示Go侧三个陷阱:frac_10读空表、key长度不等价、语义对齐基准缺失。最终给出可复现流程:只报绝对值与同二进制开关对照、必报离散度、环境指纹入报告、一条命令跑完,并指出原版本演进表无git依据。

把 BadgerDB 移植到仓颉(四):怎样测才算数

东方星痕 东方星痕 · 2026-10-13T02:00:00Z
AI智能体基准测试详解:SWE-Bench、GAIA、WebArena等

AI智能体基准测试各有侧重:SWE-Bench测代码修复,GAIA测多工具推理,WebArena测网页操作,OSWorld测桌面任务。但榜单忽略成本、延迟、安全与错误恢复,且存在数据污染和自动评分偏差。应将其作为初筛信号,再结合自身业务构建私有评测,才能可靠判断智能体能否真正胜任生产任务。

AI智能体基准测试详解:SWE-Bench、GAIA、WebArena等

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-12T11:00:00Z

作者重跑BadgerDB仓颉移植版基准,推翻原有三条结论:并发写实际比Go慢约2.6倍而非1.3倍,原因是两侧规模相差1300倍;FFI memcmp因约70纳秒调用开销,在随机key下反比逐字节比较慢18倍;io_uring在小文件场景慢2–6倍,但大写入高并发时可快1.1–1.6倍。错误源于规模未对齐、输入分布不匹配及结论超出证据边界。

把 BadgerDB 移植到仓颉(三):重跑基准,三个结论翻了

东方星痕 东方星痕 · 2026-10-12T02:00:00Z
评估Graph-RAG与标准RAG:面向事实密集型查询的幻觉基准测试

本文对比标准向量RAG与三层Graph-RAG在事实密集型查询中的幻觉表现。作者用合成篮球数据构建基准:图数据库存真实数据,向量库存含矛盾数字的噪声文本。使用Flan-T5-base模型测试50个查询,标准RAG准确率为96%,Graph-RAG为92%。结论是复杂冲突消解提示需更强模型,小模型反而表现更差。

评估Graph-RAG与标准RAG:面向事实密集型查询的幻觉基准测试

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-08T11:00:00Z
TIN v1.0.6:速度提升 2-3 倍,新增词干提取支持

TIN v1.0.6 发布,速度提升 2-3 倍,新增 18 种语言的词干提取支持,并优化 top-k 查询的并列排序。基准测试显示,TIN 在 x86-64 和 ARM64 上的吞吐量比 ParadeDB 高 3-5 倍,延迟低 2-4 倍,重夺最快 Postgres 全文索引地位。

TIN v1.0.6:速度提升 2-3 倍,新增词干提取支持

PlanetScale - Blog PlanetScale - Blog · 2026-10-08T00:00:00Z
湖仓一体是更好的数据仓库:2026年基准测试与实证

2026年,数据仓库性能差距缩小,但能力差距仍存。湖仓一体平台可同时服务BI、数据工程、机器学习和AI代理。Databricks报告SQL性能较2022年提升约4倍,客户案例显示查询提速80-90%、成本降低25-75%。湖仓支持流式、非结构化数据和开放格式,统一治理,正成为企业数据平台主流。

湖仓一体是更好的数据仓库:2026年基准测试与实证

Databricks Databricks · 2026-10-06T16:35:12Z
在笔记本电脑上运行、几乎媲美35B模型的AI安全检查

红帽AI安全团队用统一基准测试了九种护栏配置。提示注入任务中,小型DeBERTa分类器以89.01%准确率几乎追平大型LLM评审模型,延迟仅54毫秒,远快于后者。内容安全任务则相反,决策模型Jev以86.20%领先,专用分类器落后约六分。开源替代方案表现接近Jev,且策略措辞会显著改变结果。红帽结论:定义明确的风险仍适合小型分类器,宽泛策略才值得用零样本模型或LLM评审。

在笔记本电脑上运行、几乎媲美35B模型的AI安全检查

The New Stack The New Stack · 2026-10-05T18:36:28Z
Gemini 4 Argon 来了:它很强大,但你还用不上

谷歌发布旗舰模型Gemini 4 Argon,多数基准测试大幅领先OpenAI和Anthropic的顶级模型,尤其擅长知识工作,AutomationBench领先近9分。输出上限提升至100万token,具备自主发现和修补漏洞能力,已用于Wiz扫描。编码表现参差,部分测试落后。目前仅限Fairwind计划测试,定价未公布。

Gemini 4 Argon 来了:它很强大,但你还用不上

The New Stack The New Stack · 2026-09-30T20:00:00Z
精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了!

IQuest Research推出IQuest-Q1模型,采用稀疏MoE架构,总参数320B、激活15B。实测中,该模型仅凭提示词即可生成反重力赛车、国庆小游戏等HTML游戏,并能排查RL训练中因多余空格导致的奖励曲线异常。模型参与自身研发迭代,在NL2Repo、CyberGym等基准表现不俗。团队此前提出ModularRSI自进化框架,强调AI应把复杂任务做对做完。

精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了!

量子位 量子位 · 2026-09-29T07:59:46Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码