把查 AI 模型做成插件
内容提要
开源项目 dsh-ai-research 提供三个命令行工具及 DSH 插件:模型发布雷达汇总发布站、OpenRouter、博客、GitHub、arXiv 等信号;模型报告整合 13 路跑分与中英文社区口碑,强调不同刻度不混算、自报分数需标注、滞后榜单标日期,并明确列出数据缺口;AI 新闻日报聚合官方博客、X、媒体与社区源并按主题分类。工具只读公开页面、串行限速,数据缺失时如实标注而非编造,支持零配置使用。
延伸解读
“数据缺口”设计:让报告的可信度可判断
文章强调,报告开头会列出数据缺口,例如小红书未配置登录态、X 配额用尽、SWE-bench 官方榜滞后。这一设计让读者能判断结论是否基于完整信息,而不是面对一份悄悄少了几路来源却看似完整的报告。对于依赖公开数据做技术选型或写文章的人,这种透明标注比追求“全量”更有实际价值。
三条口径纪律:避免跨榜分数误读
工具明确不同刻度不混算、自报分数需标注、滞后榜单标日期。文章举例,同一模型在 A 站 82 分、B 站 71 分,可能是两套刻度,直接比较会误判“退步”。横评时只比双方都有的同名基准,拿不到可比数据就写“没有可比数据”。这提醒读者,看模型跑分时先确认来源和口径,再下结论。
串行限速与按需跳过:稳定优先于速度
文章提到,并发抓取中文社区源会导致全部返空且不报错,最终改为串行加 240~440ms 间隔。小红书签名需在页面内生成,单次约 8 秒,且每天新开页面约 4 次,触发风控要冷却 24 小时,因此默认排在最后、按需才跑。这说明工具在覆盖面和稳定性之间做了取舍,读者应预期部分源可能因限流而缺失。
只读公开页面:边界写在代码里
工具只读公开页面,不登录、不绕付费墙、不碰非公开接口;命中限流就熔断并把原因写进 gaps;拿不到就是 null 加一条说明,不用“看起来合理”的数字填坑。文章还明确,它汇总的是“网页上写了什么”,不是事实核验,同一件事不同媒体可能有不同说法。读者使用时需自行交叉验证,不宜把报告当作最终结论。
Q&A
dsh-ai-research 是什么?它主要解决什么问题?
dsh-ai-research 是一个开源项目,提供三个命令行工具及 DSH 插件,用于快速查询 AI 模型发布、模型实测口碑和 AI 新闻。它解决的是信息分散、口径不一、人工整理耗时的问题,把翻十几个站点的过程变成在会话里说一句话。
dsh-ai-research 包含哪几个工具?各自负责什么?
包含四个工具:ai_model_radar 汇总最近 N 天的模型发布/上线/开源信号;model_report 整合 13 路跑分与中英文社区口碑,生成模型体检报告;ai_news_radar 聚合官方博客、X、媒体与社区源,按主题分类生成 AI 新闻日报;ai_fetch_article 抓取指定文章正文。
model_report 在整合跑分时有哪些口径纪律?
有三条硬规则:不同刻度不混算(如 Artificial Analysis 智能指数、benchlm 同尺度分、LMArena Elo 各归各的章节,横评只比双方都有的同名基准);自报分数要标出来(llm-stats 的 verified 恒为 false,★ 永远为 0,表示无法独立复现厂商自报分数);滞后的榜单要标日期(如 SWE-bench 官方榜社区提交滞后会明写)。
为什么工具在数据缺失时要写进 gaps 而不是静默返空?
因为一份报告如果悄悄少了一路来源,读者看不出来;但在开头明确写“这一路没拿到,原因是这个”,读者至少知道该不该信它的结论。这是项目最重要的设计:拿不到就写进 gaps,绝不用看起来合理的数字填坑。
中文社区数据抓取遇到的两个主要坑是什么?怎么解决的?
坑一:并发一起打会全部返空且不报错,解法是串行 + 240~440ms 间隔,并处理标题清洗、URL 去 utm、搜狗跳转还原等细节。坑二:小红书的签名只能在页面里算,解法是让页面自己搜:启动带远程调试端口的 Chrome,注入 cookie,挂钩子捕获 /search/notes 响应,用原生 setter 塞关键词并回车,从钩子取回 JSON。
dsh-ai-research 有哪些使用边界和限制?
抓不到就是抓不到:Cloudflare、登录墙、纯前端渲染的站明确跳过(如 LMArena 站点本体、HuggingFace 模型卡正文、Bloomberg/FT/Reuters 正文)。有配额:X syndication 接口 15 分钟 30 次,小红书每天新开页面约 4 次,触发风控冷却 24 小时。有滞后:SWE-bench 官方榜靠社区提交,arXiv 只有摘要。不是事实核验,也不是投资建议。
如何安装和使用 dsh-ai-research?需要配置什么?
推荐作为 DSH 插件安装:运行 dsh plugin add dsh-ai-research,装完重启 DSH 即可在会话中调用四个工具,零配置。也可脱离 DSH 直接运行 tools/ 下的零依赖 Node ESM 命令行工具(Node ≥ 18,建议 20 以上)。需要微调时通过环境变量配置代理、缓存目录、cookie 等;只有知乎和小红书需要导入登录态 cookie,其余源不需要。